ТЕОРИЯ ПРИНЯТИЯ РЕШЕНИЙ

Decision Theory

Харьковский национальный университет имени В. Н. Каразина Факультет компьютерных наук

Подготовил: доцент каф. искусственного интеллекта и программного обеспечения, к.ф.-м. н. Гахов Андрей Владимирович 2014/2015 уч. год

ПЛАН КУРСА• Введение • Элементы решений • Решения в условиях определенности • Решения в условиях неопределенности • Решения в условиях риска • Вероятностные модели • Теория игр и принятие решений

ЛИТЕРАТУРА• Peterson M. An Introduction to Decision Theory

• Н о г и н В. Д. Принятие решений в многокритериальной среде: количественный подход

• Таха Хемди А. Введение в исследование операций

ВВЕДЕНИЕ В ТЕОРИЮ ПРИНЯТИЯ РЕШЕНИЙ

ПРОБЛЕМА ВЫБОРА

«Витязь на распутье», автор - Виктор Васнецов.

• Теория принятия решений находится на стыке статистики , экономики , философии и компьютерных наук

• Описательная теория изучает как люди сами принимают решения

• Нормативная теория стремится дать рецепты людям, принимающим решения

ПРИМЕРЫ ЗАДАЧ• Задача планирования производства Предприятие производит несколько видов продуктов и необходимо решить пропорции производства каждого вида продукта, чтобы прибыль была максимальна при минимальном потреблении энергии

• Задача инвестирования Небходимо выбрать эмитентов ценных бумаг, чтобы получить максимальную прибыль с учетом финансовых рисков и определить срок инвестирования

• Планирование рабочего графика Необходимо спланировать расписание сотрудников супермаркета на неделю, в зависимости от наплыва посетителей, чтобы нагрузка на сотрудника была минимальна

• Определение победителейКомпания проводит тедер по закупке новых компьютеров и необходимо выбрать компанию-поставщика с учетом цены, качества, гарантии и т.п. условий

РАЦИОНАЛЬНЫЕ И ПРАВИЛЬНЫЕ РЕШЕНИЯ• Рациона л ьные решения мог у т быть не правильными, а правильные решения могут быть не рациональными

• Решение называется правильным, если его результат как минимум не хуже других возможных решений

• Решение называется рациональным, если в данный момент времени принимающий решение имеет наибольшее число причин принять именно его

РИСК И НЕОПРЕДЕЛЕННОСТЬ• Принимая решение в условиях риска, принимающий решение знает вероятности всех возможных результатов

• Принимая решение в условиях неопределенности, принимающий решение вероятности возможных результатов либо не известны, либо не существуют

• Несмотря на то , что решения в у с ловиях неопределенности основываются на меньшем количестве информации, это не означает, что их принятие более трудное

ПРИМЕР• В 60-х годах прошлого века доктор Кристиан Барнард в городе Кейптаун проводил эксперименты на животных по пересадке сердца. В 1967 году он предложил Луису Вашкански, страдавшему неизлечимым сердечным заболеванием, стать первым человеком, которому пересадят сердце.

• Доктор Барнард объяснил пациенту, что данную операцию еще никто не делал, таким образом было бессмысленно оценивать шансы на успех (все что знал доктор Барнард, что его метод неплохо работал на животных). Пациент принял предложение врача, будучи в ситуации, когда он бы не выжил без пересадки сердца. Операция прошла успешно, но через 18 дней пациент все равно умер он пневмонии.

• Решение, принятое пациентом, было решением в условиях неопределенности. Однако такое решение было очень легко принять, т.к. его последствия давали результат как минимум не хуже других возможных решений (смерть от болезни сердца).

Метод работает Метод не работаетОперироваться Жить некоторое время Умереть

Не оперироваться Умереть Умереть

ТЕОРИЯ СОЦИАЛЬНОГО ВЫБОРА• Не все решения принимаются единственным человеком, принимающим решения.

• Некоторые решения принимаются коллективно некоторой группой, причем необходимо принимать во внимание интересы всех участников группы.

• Теория социального выбора рассматривает вопросы принятия решения в случаях наличия более одного принимающего решения лица.

• Пример: выбор политических лидеров в демократических странах происходит путем процедуры выборов

ТЕОРИЯ ИГР• Теория игр - математический метод изучения оптимальных стратегий в играх.

• Под игрой понимается процесс, в котором участвуют две и более сторон, ведущих борьбу за реализацию своих интересов. Каждая из сторон имеет свою цель и использует некоторую стратегию, которая может вести к выигрышу или проигрышу - в зависимости от поведения других игроков.

• Теория игр помогает выбрать лучшие стратегии с учётом представлений о других участниках, их ресурсах и их возможных поступках.

• Пример: дилема заключенного

Заключенный 2 хранит молчание

Заключенный 2 дает показания

Заключенный 1 хранит молчание

оба получают по 0.5 года(кооперативный выбор)

2-й освобождается, 1-му дают 10 лет

Заключенный 1 дает показания

1-й освобождается, 2-му дают 10 лет

оба получают по 2 года(рациональный выбор)

ЗАДАНИЯЧарльз Линдберг был первым человеком, самостоятельно перелетевшим Атлантический океан в 1927 году.

• В каких условиях он принимал решение о полете - в условии неопределенности или риска?

Представьте, что вы планируете полететь в Берлин на следующей неделе.

• В каких условиях вы принимаете решение о полете - в условии неопределенности или риска?

Вы хотите поучаствовать в воскресной лотерее и решили купить лотерейный билет.

• В каких условиях вы будете принимать решение при покупке лотерейного билета?

ЗАДАНИЯ• Рассмотрим следующие 2 лотереи:

!

!

• Сначала без всяких подсчетов, на интуитивном уровне выберете лотерею, которая вам кажется более выгодной

• А какой вариант вам кажется более разумным, если X = 100 000 000$ … а если X = 0?

• Подсчитайте математическое ожидание выигрыша. Зависит выбор варианта от лотереи или от величины X?

• Парадокс Алле - рационально действующий агент предпочитает абсолютную надежность. Узнайте больше о данном парадоксе.

Выигрыш в 89% случаев

Выигрыш в 10% случаев

Выигрыш в 1% случаев

Лотерея 1 X 1000000 $ 10000000 $Лотерея 2 X 2500000 $ 0

ЗАДАНИЯРассмотрим следующую игру, известную как “охота на оленя” и описанную впервые Жан-Жаком Руссо в 1755 году: Если охотились на оленя, то каждый понимал, что для этого он обязан оставаться на своем посту; но если вблизи кого-либо из охотников пробегал заяц, то не приходилось сомневаться, что этот охотник без зазрения совести пустится за ним вдогонку и, настигнув добычу, весьма мало будет сокрушаться о том, что таким образом лишил добычи своих товарищей.

• Составьте матрицу альтернатив для двух игроков

• Какую альтернативу следует выбрать, руководствуясь личным интересом?

• Какую альтернативу следует выбрать, руководствуясь общественным интересом?

ЭЛЕМЕНТЫ РЕШЕНИЙНачальные понятия многокритериального выбора

Основные элементы решения: • доступные выборы или альтернативы • внешние условия или критерии • исходы или результаты возможных решений

• Перед тем, как принять решение необходимо определить возможные варианты, из которых вам стоит выбирать

• Можно выбелить 3 уровня абстракций: • проблема принятия решения • формализация проблемы • визуализация проблемы

ОПРЕДЕЛЕНИЕ ИСХОДА• Исход - результат процесса выбора, который зависит от комбинации выбранной альтернативы и внешних условий (критериев)

• Знание возможных исходов важно для сравнения различных комбинаций альтернатив и внешних условий (критериев)

• Пример: Banana Republic получит 100000$ прибыли от покупок, если в финал NBA выйдут 2 команды из регионов с холодным климатом, т.к. они будут рекламировать новую летнюю куртку от дождя

ОПРЕДЕЛЕНИЕ АЛЬТЕРНАТИВ• Альтернативы (или действия) - опции, доступные лицу, принимающему решения. Теория принятия решений имеет дело с частичными действиями, а не общими по природе (например, ходить, плавать и т.п.)

• Множество X является множеством альтернатив тогда и только тогда, когда каждый элемент X является частичным действием, X включает как минимум 2 различных элемента, и все элементы X идентичны по времени, субъекту, исполнению, не могут быть объединены в пары и являются совместно исчерпывающими.

• Пример: Планируя свой вечер, вы решаете пойти в кино (действие x1) или остаться дома (действие x2). Множество альтернатив в данном случае {x1, x2}.

• Пример: Действие x1 может быть выполнено различными способами - дополнительно к предыдущему примеру, вы можете купить попкорн (действие x3) или чипсы (действие x4) в кинотеатре. Множество альтернатив в данном случае будет {x1 & x3, x1 & x4, x2 }

ЛИЦО, ПРИНИМАЮЩЕЕ РЕШЕНИЕ• Процесс выбора невозможен без наличия того, кто осуществляет этот выбор, преследуя свои цели.

• Человека (или группу лиц, подчиненную достижению определенной цели), который производит выбор и несет полную ответственность за его последствия, называют лицом, принимающим решение (ЛПР)

• Если различные индивиды в одних и тех же ситуациях выбора ведут себя одинаковым образом, то с точки зрения теории принятия решений они ничем не отличаются друг от друга, т.е. представляют собой одно и то же ЛПР.

МАТРИЦА ПРИНЯТИЯ РЕШЕНИЙ• Матрица принятия решений - это матрица, позволяющая идентифицировать, анализировать и оценивать потенциальные возможности зависимостей между множествами значений и информации

• Матрица решений применяется для описания многокритериальных задач принятия решений и является одной из простейших методик принятия решений. Элементы матрицы решений показывают решения, основанные на некоторых критериях.

• Рассмотрим многокритериальную задачу с m альтернативами, каждая из которых может быть оценена по n критериям. Такая задача может быть формализована матрицей решений m×n, где каждый элемент xij показывает возможности альтернативы i относительно критерия j

!

!

Двигатель Комфорт Цена

Автомобиль 1 Отлично Хорошо ПлохоАвтомобиль 2 Хорошо Отлично ХорошоАвтомобиль 3 Плохо Отлично Отлично

ДЕРЕВО ПРИНЯТИЯ РЕШЕНИЙ• Как правило , дерево принятия решений применяется для представления последовательных решений - решений, которые могут быть разделены на несколько отдельных шагов Пример: процесс заказа в McDonalds

• Для графической формализации задачи используются следующие обозначения: вершина выбора вершина шанса !

!

• В вершине выбора принимающий решение выбирает направление дальнейшего движения по дереву. Если выбор состоит из более чем 2-х действий, то добавляется больше ребер

• В вершине шанса принимается решение куда двигаться дальше. Самые крайние вершины отображают финальную выгоду от пройденного пути

Нет дома, есть 100000$

Есть дом и 0$

Нет дома, есть 100$

Есть дом и 100$

Купить страховку

Не покупать

Пожар

ПожарБез пожара

Без пожара

ЗАДАНИЯИгрок в казино в Лас Вегасе ставит на одно число, вероятность выпадения которого 1/38 (возможные варианты 00, 0-36). Если выпадает число, на которое поставил игрок, он выиграет в 35 раз больше, чем поставил. В противном случае он теряет свою ставку.

• Определите множество альтернатив, внешние условия и приведите пример исхода

• Постройте матрицу принятия решений

• Постройте дерево принятия решений

• Сколько денег вы ожидаете потерять (выиграть) в среднем на каждый поставленный доллар?

ЗАДАНИЯВы выиграли в лотерею авиабилет и теперь можете отправиться в один из следующих городов: Лондон, Дели или Токио. Вы были уже в Лондоне раньше и знаете, что город вам понравился, но сильно дорогой. Дели может вам очень понравиться, если вы не подхватите желудочную инфекцию, тогда путешествие будет ужасным. Токио скорее всего вам понравится, если будет не сильно холодно, иначе это будет скучная поездка

• Определите множество альтернатив, внешние условия и приведите пример исхода

• Постройте матрицу принятия решений

• Постройте дерево принятия решений

ЗАДАНИЯВаш друг предлагает вложить в его новый стартап все ваши сбережения - 10000$ Вы ничего не поняли из его бизнес-плана, но ваш друг говорит, что через 2 года вы получите 1000000$. Естественно, ваш друг может быть как прав, так и не прав, но вы чувствуете, что не можете оценить эту вероятность. Вы формализовали данную задачу следующим образом:

!

!

!

• Что не так с данной формализацией и как это исправить?

Друг прав Друг не прав

Инвестировать 1000000 $ 0

Не инвестировать 10000 $ 10000 $

ШКАЛЫ И ТИПЫ ДАННЫХ

• Шкалы измерений принято классифицировать по типам измеряемых данных

• Современная классификация шкал была предложена в 1946 году Стэнли Смитом Стивенсом

ШКАЛА НАИМЕНОВАНИЙ• Используется для измерения значений качественных признаков. Значением такого признака является наименование класса эквивалентности, к которому принадлежит рассматриваемый объект

• Пример: имена, названия стран, названия растений

• Выполняются аксиомы тождественности: • Либо A ≠ B, либо A = B • Из A = B следует B = A • Если A = B, B = C, то A = C

• С величинами, измеряемыми в шкале наименований, можно выполнять только одну операцию - проверку их совпадения или несовпадения.

ПОРЯДКОВАЯ ШКАЛА• Порядковая шкала строится на отношении тождества и порядка. Субъекты в данной шкале ранжированы.

• Пример дихотомической переменной: состояние здоровья (здоровый vs. больной), красота (красивый vs. уродливый)

• Пример недихотомической переменной: оценка успеваемости (неудовлетворительно, удовлетворительно, хорошо, отлично)

• Студент, получивший оценку 5 на экзамене будет счастливее студента, получившего 2, но мы не можем сказать, что он будет счастливее в 2.5 раза.

• Качественная (неметрическая) шкала

ИНТЕРВАЛЬНАЯ ШКАЛА• Интервальная шкала (или шкала разностей) строится на основе сравнения с эталоном

• Пример: шкала Цельсия (но не шкала Кельвина), широта, дата

• Начало отсчёта произвольно, единица измерения задана.

• Допустимые преобразования - сдвиги.

• Предположим, ночью температура воздуха в городе составляет -5 градусов Цельсия, а днем +10 градусов Цельсия. Очевидно, что ночью холоднее, но нельзя сказать, что ночью холоднее в 3 раза

• Количественная (метрическая) шкала

АБСОЛЮТНАЯ ШКАЛА

• Абсолютная шкала (или шкала отношений) - интервальная шкала, в которой присутствует дополнительное свойство - естественное и однозначное присутствие нулевой точки.

• Пример: шкала Кельвина, масса, возраст

• В шкале отношений действует отношение "во столько-то раз больше".

• Количественная (метрическая) шкала

СВОЙСТВА ШКАЛ

Номинальная шкала

Порядковая шкала

Интервальная шкала

Абсолютная шкала

Умножение “*”нет нет нет да

Деление “/“Сложение “+”

нет нет да даВычитание “-“

Отношение “>”нет да да да

Отношение “<”

Отношение “=”да да да да

Отношение “≠”

ЗАДАНИЯВаш богатый дальний родственник завещал вам картину из его колекции художников-импрессионистов. Ценность 4 картин коллекции по интервальной шкале для вас составляет: Мане (5000), Моне (8000), Писсарро (6000), Ренуар (2000).

• Какая из перечисленных шкал может быть получено из оригинальной шкалы путем позитивных линейных преобразований: • a) Мане (8), Моне (11), Писсарро (9), Ренуар (5) • б) Мане (-250), Моне (2750), Писсарро (750), Ренуар (-3250) • в) Мане (1000), Моне (3000), Писсарро (2950), Ренуар (995)

• Приведите пример оценки ценности по всем известным вам шкалам

БИНАРНЫЕ ОТНОШЕНИЯ

• Пусть A и B - два произвольных множества

• Декартовым произведением двух множеств называется множество, обозначаемое A×B и определяемое равенством:

A×B = { (a,b) | a ∈ A, b ∈ B }. • Пример: Декартовым произведением множеств A = {1,2} и B = {2,3,4} есть множество: A×B = {(1, 2),(1, 3),(1, 4),(2, 2),(2, 3),(2, 4)}.

• Бинарным отношением ℜ, заданным на множестве A, называется подмножество декартова произведения A×A, т.е. ℜ ⊆ A×A. (т.е. всякое множество пар, составленных из элементов множества A , образует некоторое бинарное отношение)

• В частности, самым «широким» бинарным отношением является множество ℜ = A×A.

• Элемент a находится в отношении ℜ с элементом b (обозначается как aℜb) если (a, b) ∈ ℜ

• В общем случае, из aℜb не следует bℜa

• Пример бинарных отношений: =, ≥, ≤, > и <

ТИПЫ БИНАРНЫХ ОТНОШЕНИЙТипизацию бинарных отношений проводят в зависимости от их свойств. Бинарное отношение ℜ, заданное на множестве A, называют:

• рефлексивным, если соотношение aℜa имеет место для всех a ∈ A

• иррефлексивным, если соотношение aℜa не выполняется ни для одного a ∈ A

• симметричным , если всякий раз из выполнения соотношения aℜb для элементов a, b ∈ A следует выполнение соотношения bℜa

• а с имметричным , е с л и и з в ы по л н е н и я соотношения aℜb для элементов a, b ∈ A всегда следует, что соотношение bℜa места не имеет

• антисимметричным , если всякий раз из выполнения соотношений aℜb , bℜa для элементов a, b ∈ A вытекает равенство a = b

• транзитивным, если для любой тройки элементов a, b, c ∈ A из выполнения соотношений aℜb, bℜc всегда следует справедливость соотношения aℜc

• инвариантным относительно линейно го положительного преобразования, если для любых трех элементов a, b, c ∈ A = ℝm и произвольного положительного числа α из выполнения соотношения aℜb всегда вытекает соотношение (α ⋅ a + c) ℜ (α ⋅ b + c)

• полным, если для любой пары элементов a, b ∈ A выполняется соотношение aℜb , или соотношение bℜa, или оба эти соотношения одновременно

• частичным, если это отношение не является полным

ПРИМЕРЫ• Рефлексивное отношение: “=“

• Иррефлексивное отношение: “>”

• Асимметричное отношение: “<“

• Транзитивное отношение: “≥“

• Инвариантное относительно линейного положительного преобразования: “≥“

• Утверждение: Всякое асимметричное отношение иррефлексивно

ОТНОШЕНИЯ ПОРЯДКА

Бинарное отношение ℜ, заданное на множестве A , называют: • отношением эквивалентности, если оно рефлексивно, симметрично и транзитивно

• отношением (частичного) порядка, если оно рефлексивно, антисимметрично и транзитивно

• отношением строгого порядка, если оно иррефлексивно и транзитивно

• линейным порядком, если оно является полным порядком

ЛЕММА 1Всякое отношение строгого порядка является асимметричным.

□ Предположим противное: некоторое отношение ℜ иррефлексивно и транзитивно, но не является асимметричным. Это означает, что найдется пара элементов a, b ∈ A для которой выполнены соотношения aℜb и bℜa одновременно. На основании транзитивности отсюда следует aℜa, что несовместимо с условием иррефлексивности отношения ℜ ■

ПРИМЕР СТОРОГО ПОРЯДКА

Будем считать, что a = (a1, a2, … am) ∈ ℝm

лексикографически больше вектора b = (b1, b2, …

bm) ∈ ℝm тогда и только тогда, когда:

• ai ≥ bi, ∀i=1… m • ∃j: aj > bj

• Утверждение: Лексикографическое отношение является отношением сторого порядка на ℝm

МНОГОКРИТЕРИАЛЬНЫЕ ЗАДАЧИ

ВЕКТОРНЫЙ КРИТЕРИЙ• Считается, что наилучшим является такое возможное решение, которое больше всего удовлетворяет желаниям, интересам или целям данного ЛПР (выраженными математически в виде одной или нескольких функций-критериев)

• Векторным критерием называется вектор из критериев, заданных на множестве альтернатив X:

f = (f1,f2, … fm)

• Векторный критерий принимает значения в пространстве m -мерных векторов ℝm - критериальное пространство (пространством оценок)

• Всякое значение векторного критерия f при определенном x ∈ X называется векторной

оценкой возможного решения x:

f(x) = (f1(x),f2(x), … fm(x)) ∈ ℝm

• Все возможные векторные оценки образуют множество возможных оценок (возможных векторов):

Y = f (X) = {y ∈ ℝm | y = f (x), x ∈ X }.

ОПРЕДЕЛЕНИЕ

• Задачу выбора , содержащую множество возможных решений X и векторный критерий f, называют многокритериальной задачей.

• При рассмотрении многокритериальной задачи принятия решения для более обоснованного выбора, кроме векторного критерия , следует располагать информацией и о предпочтениях ЛПР.

• Рассмотрим два возможных решения x′ ∈ X и x′′ ∈ X. Будем говорить, что x′ предпочтительнее x′′, если ЛПР выбирает x′ после предъявления ему данной пары решений:

x′ ≻ x′′

• Знак ≻ служит для обозначений предпочтений данного ЛПР и называется отношением (строгого) предпочтения.

• Поскольку отношение предпочтения задается на парах возможных решений , то , как нетрудно понять , оно представляет собой некоторое бинарное отношение.

• Следует отметить, что не всякие два решения x′ ∈ X и x′′ ∈ X связаны соотношением ≻ или ≺ . Иначе говоря, не из любой пары решений ЛПР может сделать окончательный выбор.

• Отношение предпочтения, заданное на множ е с т в е р еш е н и й , и н д у ц и р у е т (порождает) отношение предпочтения и на возможных оценок Y

ЗАДАЧА МНОГОКРИТЕРИАЛЬНОГО ВЫБОРАПостановка задачи многокритериального выбора включает:

• множество возможных решений X • векторный критерий f • отношение предпочтения ≻ , заданное на множестве возможных решений X.

Само ЛПР в постановку задачи многокритериального выбора не включено. В этом нет необходимости. Подразумевается, что все его устремления, вкусы, пристрастия и предпочтения, о к а з ы в а ю щ и е в л и я н и е н а п р о ц е с с в ы б о р а , «материализованы» в терминах векторного критерия и отношения предпочтения.

РЕШЕНИЯ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ

• Отношение предпочтения ≻, которым ЛПР руководствуется в процессе выбора, должно представлять собой строгий порядок, т.е. являться иррефлексивным и транзитивным.

• На основании Леммы 1 , отношение предпочтения будет еще и асимметричным.

ТРЕБОВАНИЯ К ОТНОШЕНИЮ ПРЕДПОЧТЕНИЯ

• Отношение предпочтения ≻ по своей сути является отношением строгого предпочтения в том смысле, что x ≻ x невозможно ни для какого решения x ∈ X , поскольку ни одно решение не может быть строго предпочтительнее самого себя.

• В терминах бинарных отношений, это означает, что отношение предпочтения должно быть иррефлексивным.

• Очевидно, что для любой тройки возможных решений x′, x′′, x′′′ ∈ X из выполнения соотношений x′ ≻ x′′ и x′′ ≻ x′′′ обязательно должна следовать справедливость соотношения x′ ≻ x′′′.

• В терминах бинарных отношений, это означает, что отношение предпочтения должно быть транзитивным.

МНОЖЕСТВО НЕДОМИНИРУЕМЫХ РЕШЕНИЙ

• Решение x′ ∈ X доминирует другое решение x′′ ∈ X если выполняется x′ ≻ x′′ и не выполняется x′′ ≻ x′

• Решения x′ ∈ X и x′′ ∈ X называются не сравнимыми , если не выполняется ни соотношение x′ ≻ x′′, ни соотношение x′′ ≻ x′

ИСКЛЮЧЕНИЕ ДОМИНИРУЕМЫХ РЕШЕНИЙ

• Если для некоторой пары решений x′, x′′∈ X имеет место соотношение x′ ≻ x′′, тогда x′′ не может быть оптимальным решением (x′′∉ X*)

• Множество оптимальных решений X* не должно содержать ни одного такого решения, для которого может найтись более предпочтительное решение

• Мы принимаем утверждение как требование к

множеству оптимальных решений X*

• Множество недоминируемых решений (Ndom X) определяется равенством

{ x* ∈ X | не существует x ∈ X , что x ≻ x*}

• Таким образом , Ndom X представляет собой определенное подмножество множества возможных решений X (Ndom X ⊆ X).

• В зависимости от вида X и конкретного типа отношения предпочтения множество Ndom X может: • быть пустым, т.е. не содержать ни одного решения • состоять в точности из одного решения • содержать некоторое конечное число решений • состоять из бесконечного числа решений

ЛЕММА 2• Для любого непустого множества оптимальных решений X*, удовлетворяющего требованию ис к лючения доминируемых решений , справедливо включение:

X* ⊆Ndom X

Таким образом , выбор решений следует производить только среди недоминируемых решений