26497

Марковские модели принятия решений

Реферат

Менеджмент, консалтинг и предпринимательство

Системному аналитику или управляющему алгоритму предоставлено право выбора одной из общих стратегий Z. И каждая из этих стратегий соответствует матрицам переходных вероятностей Rij где элементы матрицы задают вероятность перехода из состояния i в котором находилась система в момент времени tn1 в состояние j в следующий момент времени. Необходимо для каждого из моментов принятия решений выбрать такую последовательность общих стратегий Z которая будет обеспечивать максимальный суммарный выигрыш от функционирования системы за N этапов. Если...

Русский

2013-08-18

2.13 MB

75 чел.

3

Марковские модели принятия решений.

1.Концептуальная схема принятия решений в Марковской модели.

Концептуальная схема принятия решений при использовании Марковской модели имеет следующие особенности:

  1.  Во-первых, анализируемая система или анализируемый процесс характеризуется дискретным множеством состояний S1,S2, s, m.
  2.   Функционирование системы представляет собой логическую последовательность этапов n-1, n, n+1… N  этап. Где n малое – текущий номер этапа. Общее количество этапов N может быть фиксированным или равным бесконечности.
  3.  В момент времени tn-1 система находится в одном из состояний S.
  4.  Системному аналитику или управляющему алгоритму предоставлено право выбора одной из общих стратегий Z. И каждая из этих стратегий соответствует матрицам переходных вероятностей Rij, где элементы матрицы задают вероятность перехода из состояния i, в котором находилась система в момент времени tn-1 в состояние j в следующий момент времени. Из состояния i можно перейти в нужное состояние
  5.  Для каждой общей стратегии определена матрица выигрышей D. Элементы этой матрицы характеризуют локальные критерии оценки принятых решений. Элементы матрицы стоимостей dij фиксируют критерии эффективности, которые формируются при переходе системы из состояния i в состояние j. Необходимо для каждого из моментов принятия решений выбрать такую последовательность общих стратегий Z*, которая будет обеспечивать максимальный суммарный выигрыш от функционирования системы за этапов. Каждое решение должно иметь свою стоимость.

1

2

s

i

m

1

2

s

j

m

Состояния

rij(z)

dij(z)

(n-1)

этап

n

этап

(n+1)

этап

tn-1

tn

S={1,2…S…i…m}

z={1,2…z…p}

R=|| rij(z)||

D=|| dij(z)||

Для изображенной на рисунке концептуальной модели количество этапов представляет собой фиксированное число N. При этом оптимальную стратегию необходимо определять на каждом этапе и для каждого из состояний.

Одна из модификаций Марковской модели предполагает, что количество этапов может быть бесконечным. Следовательно, при определенных ограничениях на матрицу R(Z) система переходит в установившийся режим.

Тогда выбранная оптимальная стратегия не будет зависеть от номера этапа. Для анализа такой модифицированной модели вводится понятие стационарной стратегии – это вектор, размерность которого равна числу состояний, а значение i-й компоненты соответствует номеру общей стратегии, которую необходимо применить в случае нахождения системы в состоянии i.

Если число общей стратегии равно p, а число состояний m, то количество стационарных стратегий определяется как pm .

Множество стационарных стратегий U=(1,2,…u,…pm) формируется следующим образом:

1.Необходимо определить общую стратегию U1. Таким образом U=(1,1,1,1). То есть из m состояний стационарная стратегия U1 состоит в том, что система переводится в состояние 1.

2.В состоянии 2 если система находилась, можно применить общую стратегию U2, то есть переход во второе состояние.

3.Если система была в состоянии i, применяется общая стратегия Ui.

Анализ Марковской модели установившихся решений предполагает формирование для каждой стационарной стратегии матрицы переходных вероятностей R(U) и матрицы коэффициентов эффективности (выигрышей или доходов) D(U).

Алгоритм конструирования этих матриц для произвольной стационарной стратегии заключается в следующем:

Первая строка матрицы переходов R[U=(u1uium)]. Соответствует первой строке матрицы принятия решений R(z=u1). То есть матрица переходных вероятностей задает вероятности перехода из всех возможных состояний в момент времени tn-1 в первое состояние.

Матрица стоимостных показателей D[U=(u1uium)] соответствует первой строке матрицы принятия решения D(z=u1), то есть матрица определяет все возможные  критерии выигрышей при переходе системы из состояния iго в 1ое состояние.

Вторые строки матрицы переходов R[U=(u1uium)] соответствуют вторым строкам  матрицы принятия решений R(z=u2) и, соответственно, выигрыши D[U=(u1uium)] -  вторым строкам матрицей выигрышей D(z=u2).

Для i-й строки матрица переходов будет выглядеть как R(z=ui) и соответственно матрица стоимостей D(z=ui) для перехода из любого в любое состояние.

2.Методы анализа Марковской модели принятия решений.

2.1 Применение метода прямого перебора для анализа Марковской модели принятия решений при бесконечном количестве этапов.

При бесконечном количестве этапов мы предполагаем, что с течением времени система переходит в стационарный режим.

Для стационарного режима определены вероятности состояний при реализации U-й стратегии πi(u).

При этом на основе матрицы решений D(Z) вычислены матрицы выигрышей для стационарных стратегий D(U). D(Z) D(U)

Необходимо выбрать такую стационарную стратегию, которая бы обеспечила максимальный суммарный выигрыш за нахождение системы в каждом i-м состоянии.

- эта величина выигрыша при нахождении системы в i-том состоянии при реализации некой u-той стационарной стратегии.

В качестве критерия применяется величина выигрыша за один этап, и этот выигрыш определяется как сумма выигрышей по всем состояниям.

Таким образом, алгоритм решения задачи основан на идее полного перебора всех возможных стационарных состояний и вычислении для них значения суммарного критерия эффективности.

В качестве оптимальной выбирается такая стационарная стратегия, для которой значение функционала будет максимальным.

Таким образом для задачи полного перебора в исходные данные включены множеств общих стратегий z={1,2,…zp} соответственно матрица переходных вероятностей R(z) и матрица стоимостей из состояния в состояние j D(z).

Далее из общей стратегии справедливым условием, что z є Z.

Первый шаг алгоритма – в соответствии с общим числом стратегий p и общего числа состояний m формируется множество стационарных стратегий.

Делаем полный перебор всех ситуаций.

Второй шаг – для каждой из сформированных стационарных стратегий по матрицам конструируются матрицы принятых решений R(Z)R(U), D(Z)D(U). Очевидно, что количество переходов R(U) и количество выигрышей D(U)будет равно pm.

Третий шаг – для каждой стационарной стратегии находится вектор стационарного распределения вероятностей (u)=[π1(u),π2(u)…πi(u)…πm(u)]. Для нахождения вектора(u) используется система линейных уравнений, представленная в матричной форме

Решение системы линейных уравнений может быть выполнено либо методом подстановки, либо на основе приведения системы уравнений к канонической форме. Ах=В.

Четвертый шаг – для каждой из стационарных стратегий необходимо найти значение выигрышей за один этап функционирования системы.

Где опять же νi(u) – выигрыш за пребывание системы в i-м состоянии при реализации u-й стратегии.

Основной недостаток метода прямого перебора состоит в том, что при увеличении числа состояний m и количества общих стратегий p, число стационарных стратегий существенно возрастает. Поэтому для задач большой размерности применяется метод динамического программирования для анализа Марковской модели.

2.2. Постановка задачи – рассматривается система, которая соответствует следующей базовой концептуальной модели.

1

2

s

i

m

1

2

s

j

m

rij(z)

dij(z)

(n-1)

период

n

период

(n+1)

период

tn-1

tn

fn(1)

fn(2)

fn(S)

fn(i)

fn(m)

fn+1(1)

fn+1(2)

fn+1(S)

fn+1(j)

fn+1(m)

Количество этапов N ограничено. Задано множество стратегий Z={1,2…zp}, задана матрица вероятности переходов R(Z) и матрица выигрышей D(Z). Необходимо для каждого состояния на каждом из этапов найти оптимальные общие стратегии, которые обеспечивают максимальный локальный выигрыш.

Для решения этой задачи введем функцию fn(i), которая означает оптимальный выигрыш для i-того состояния за n-1, n, n+1 этапы функционирования.

Для данной модели уравнение Беллмана представляется следующим образом

νi(z) - выигрыш от пребывания системы в i-м состоянии при реализации общей стратегии Z.

Этот выигрыш при реализации алгоритма обратной прогонки, если известно количество этапов и оно ограничено N, то для решения уравнения Беллмана целесообразно применить алгоритм обратной прогонки.

В этом случае решение производится начиная с последнего этапа принятия решений, то есть n=N и fN(i)=max{νi(z)}

На следующем шаге рассматривается решение принятое на предпоследнем этапе, то есть n=N-1. В этом случае уравнение Беллмана

Где νi(z)– выигрыш от пребывания системы в i-м состоянии при реализации общей стратегии Z и в этом решении учитывается значение функции fN(j), найденное в предыдущем решении. Функционал fN-1(i) представляет собой локальный выигрыш, получаемый при функционировании системы за n-1 и n этапы. Аналогичные уравнения составляются для остальных шагов до первого шага включительно. После этого производится просмотр полученных таблиц в прямом порядке для нахождения безусловных оптимальных стратегий.  


 

А также другие работы, которые могут Вас заинтересовать

812. База данных 250.5 KB
  Совокупность сведений о реальных объектах, процессах, событиях или явлениях, относящихся к определённой теме или задаче. Создание базы данных Продажи книг. Описание структуры базы данных, обработка данных и управление данными.
813. Особенности использование кодов 170 KB
  Создать алфавит А, используемый при форматировании Ф.И.О., которые будут являться исходным текстом. Построить прямые двоичные коды постоянной длины и закодировать ими исходный текст. Коды, учитывающие частоту символов. Коды Грея. Построение кода для обнаружения и исправления ошибок.
814. Сознание в философии 229 KB
  Постановка проблемы сознания в философии. Информационное взаимодействие как генетическая структура. Сознание как необходимое условие воспроизводства. Типы и уровни информационного взаимодействия.
815. Привод ленточного транспортера 7.73 MB
  Подготовка данных для расчета червячной передачи на ЭВМ. Выбор типа и схемы установки подшипников. Расчет валов на статическую прочность и сопротивление усталости. Порядок сборки привода, выполнение необходимых регулировочных работ. Выбор смазочных материалов и системы смазывания.
816. Реформы и контрреформы государственного управления во второй половине ХIХ в. 227.5 KB
  Предпосылки реформ государственного управления в начале ХIХ века. Поиск путей совершенствования государственного управления при Александре I. Конституционные проекты декабристов. Причины незавершенности реформ государственного управления 1-й половины ХIХ века. Кризис абсолютистко-бюрократической системы управления при Николае I. Сущность и значение реформ государственного управления в период правления Александра II.
817. Разработка техпроцессов сборки и монтажа 222 KB
  Выбор возможного типового или группового ТП и (при необходимости) его доработка. Составление маршрутов ТП сборки блоков (сборочных единиц) и установление технологических требований к входящим в них сборочным единицам и деталям. Выдача технического задания на проектирование и изготовление специальной технологической оснастки. Корректировка документации по результатам испытаний опытной партии.
818. Исследование спектров амплитудно-модулированных сигналов 263 KB
  Модуляция гармоническим колебанием. Модуляция периодической последовательности прямоугольных импульсов. Значения амплитуд и частот спектральных составляющих.
819. Інноваційні технології корекційно-компенсаторного впливу на дітей з вадами розвитку (на прикладі ДЦП) 201.5 KB
  Комплексне лікування дитячого церебрального паралічу. Медикаментозні засоби, лікувальна фізкультура, ортопедична допомога, різні види масажу, рефлексотерапія, фізіотерапевтичні процедури, заняття з логопедом і психологом, навчання навичкам самообслуговування та праці.
820. Выбор наиболее безопасного варианта инвестирования и комплексное планирование в здравоохранении 199 KB
  Основы определения себестоимости продукции на предприятии. Классификация затрат, включаемых в себестоимость. Выбор наиболее безопасного варианта инвестирования медицинского учреждения. Расчёт рентабельности инвестиций и коэффициентов степени риска. Специфика финансового планирования медицинского учреждения.