26494

Применение метода динамического программирования в задачах принятия решений

Реферат

Менеджмент, консалтинг и предпринимательство

Концептуально динамическое программирование применяется для анализа систем которые характеризуются следующими признаками: процесс функционирования системы включает последовательные этапы текущие этапы i конечный этап m. предполагается что для системы выполняется принцип отсутствия последействия. Суть этого принципа заключается в том что состояние Si зависит только от состояния системы на предыдущем этапе то есть на Si1 а так же зависит от управляющего воздействия Ui. И не зависит от предыдущих состояний системы и предыдущих...

Русский

2013-08-18

26.55 KB

50 чел.

4

Применение метода динамического программирования в задачах принятия решений.

1. Основные понятия и определения.

2. Общая схема решения функционального уравнения Беллмана.

1. Основные понятия и определения метода динамического программирования.

Динамическое программирование представляет собой совокупность процедур, используемых для оптимизации многошаговых процессов принятия решений. Вопросы динамического программирования были освещены в работах известных ученых (Вальда, Гирши), однако основной вклад в развитие теории многошаговых процессов внес американский математик Ричард Эрнст Беллман.

Беллманом был сформулирован принцип оптимальности и получено функциональное уравнение. Кроме того Беллман разработал схемы принятия решений на основе принципа оптимальности для многочисленных оптимизационных задач. Концептуально динамическое программирование применяется для анализа систем, которые характеризуются следующими признаками:

- процесс функционирования системы включает последовательные этапы, текущие этапы i, конечный этап m.

- на i-м шаге управляющее воздействие переводит систему из состояния Si-1, которое достигнуто на i-1 этапе в состояние Si.

- предполагается, что для системы выполняется принцип отсутствия последействия. Суть этого принципа заключается в том, что состояние Si зависит только от состояния системы на предыдущем этапе, то есть на Si-1, а так же зависит от управляющего воздействия Ui. И не зависит от предыдущих состояний системы и предыдущих управляющих воздействий.

- так же известна частная целевая функция или локальная Wi(Si, Ui), которая определяет значение критерия оптимальности, получаемого при применении на i-м этапе управляющего воздействия Ui и при нахождении системы в состоянии Si.

Критерий оптимальности функционирования системы за этапов равен сумме локальных частных критериев, полученных на каждом из этапов.

Таким образом, при решении задач методом динамического программирования необходимо найти такой вектор управлений u=(u1,…uium), который обеспечит максимизацию суммарного критерия оптимальности.

Понятия таких терминов динамического программирования как этап, состояние системы, управляющее воздействие и локальный критерий оптимальности зависят от предметной ориентации системы. Для организационно-экономических систем в качестве этапов могут выступать интервалы планирования (год, квартал, месяц). В качестве состояний могут выступать наличие свободных финансовых средств на каждом этапе. Управляющее воздействие может быть представлено возможными вариантами инвестирования финансовых средств на каждом этапе. Локальный критерий оптимальности или локальный доход – это может быть прибыль, получаемая на каком-то этапе. Суммарный критерий оптимальности – это суммарная прибыль.

Если применить метод динамического программирования для дискретной системы принятия решений, например для задачи коммивояжера, под этапами можно понять переезд бригады между пунктами.

Для решения задач принятия решений методом динамического программирования может быть использовано два подхода:

- Первый подход предполагает, что одновременно находятся компоненты вектора управления для всех компонентов решения. Это метод глобальной оптимизации. Этот метод имеет существенный недостаток, который заключается в том, что при большой размерности вектора управления, существенно возрастают объем и трудоемкость вычислений.

- Второй подход базируется на нахождении оптимального управления последовательно для каждого из этапов. При этом если находить оптимальное воздействие для первого этапа и не учитывать при этом влияние управляющего воздействия на последующие решения, то итоговое оптимально решение может существенно отличаться от локального оптимального решения.

Классическая идея динамического программирования основана на реализации алгоритма обратной прогонки. W=

Суть этой идеи состоит в том, что в качестве этапа, для которого на первом шаге определяется локальное оптимальное управляющее воздействие. При таком подходе является неизвестным состояние, в котором может оказаться система перед началом выполнения последнего этапа. Поэтому локальное оптимальное управление необходимо рассматривать для всех возможных состояний, в которых может находиться система.

Как только мы определили локальные оптимальные управляющие воздействия для всех возможных состояний, начинается процесс оптимизации управления на предпоследнем этапе. Далее для каждого состояния предпоследнего этапа определяется оптимальное управляющее воздействие и эта процедура повторяется для всех последующих этапов в обратном порядке. Оптимальное решение для первого этапа определяется с учетом найденных оптимальных решений для последующих этапов.

2. Общая схема решения функционального уравнения.

Суть принципа Беллмана состоит в следующем:

Каково бы ни было состояние системы на i-м этапе, управляющее воздействие должно быть выбрано из условия, что на последующих этапах управление будет оптимальным. Дословно формулировка предложенная Беллманом звучит следующим образом: оптимальное поведение обладает тем свойством, что каковы бы ни были первоначальные состояния и решения в начальный момент, последующие решения должны составлять оптимальное поведение относительно состояния полученного в результате первого решения.

Современная трактовка: Допущенную ошибку на начальных этапах нельзя исправить на последующих этапах решения.

Общая схема решения задач на основе принципа Беллмана предполагает формальное определение  основных понятий процесса управления.

Первое понятие: этапы – количество этапов конечно. Качественное определение этапа зависит от природы системы и эти этапы связаны с процессом временной либо логической последовательности принятия решения.

Второе понятие: состояние системы – это набор параметров, который однозначно характеризует поведение системы. Состояние системы должно быть описано с той степени подробности, которая позволяет провести оценку текущих альтернативных решений.

Управление: это целенаправленное управляющее воздействие на i-м этапе принятия решения.

Условное оптимальное управление – наилучшая стратегия для каждого из состояний.

Оператор перехода – определяет условия перехода из одного состояния в другое, из состояния S в состояние S. S=

Локальный критерий оптимальности – это значение критерия оптимальности (величина прибыли), получаемое от функционирования системы на i-м этапе при условии, что система находилась в состоянии S и была выбрано управляющее воздействие Ui.

Условный суммарный критерий оптимальности – это значение критерия оптимальности (суммарный оптимальный доход), полученный от функционирования системы на i, i+1 и т.д. этапах работы.

Таким образом, с учетом принятых определений суммарный критерий оптимальности на i-м этапе для состояния S – это максимум суммы локального критерия.

В соответствии с алгоритмом обратной прогонки, решение функционального уравнения начинается с последнего этапа принятия решения, то есть полагается, что i=m. Тогда суммарная оптимальность будет определяться выражением.

В результате решения уравнения находится условное оптимальное управление для каждого состояния Um(S) и условный критерий оптимальности W(S). Найденные значения управляющего воздействия используются для решения функционального уравнения Беллмана при i=m-1.

 

В результате решения уравнения находится условное оптимальное управление Um(S) и условный критерий оптимальности W(S) на m-1 этапе. Таким образом, последовательное решение уравнения Беллмана позволяет определить пары условных оптимальных воздействий и условных оптимальных критериев на каждом шаге.

Для того, чтобы определить полное состояние системы, необходимо задать начальное состояние S0 и определить оптимальное управляющее воздействие U1(S0). После этого можно найти состояние системы исходя из этих данных.

– переход из 0-го в 1-е состояние

 Формируем цепочку оптимальных состояний. Она выглядит следующим образом:

Принцип решения задачи динамического программирования с помощью уравнения Беллмана можно пояснить на примере задачи поиска кратчайшего пути в ориентированном графе. Для ориентированного графа известными являются вершины и дуги, длина пути в графе представляет собой сумму длин участков входящих в этот граф. В соответствии с алгоритмом в графе рассматриваются дуги для узлов с кратчайшими путями.

В задаче динамического программирования при использовании схемы прямой прогонки функциональное уравнение Беллмана имеет следующий вид:

- оператор обратного перехода устанавливающий состояние предыдущего этапа. Если провести аналогию с графом при разработке, то алгоритм прямой прогонки основан на том, что рассматриваются дуги, кратчайшие пути для которых известны.


 

А также другие работы, которые могут Вас заинтересовать

34590. МЕСТО РОССИИ СРЕДИ МИРОВЫХ ЦИВИЛИЗАЦИЙ 24 KB
  МЕСТО РОССИИ СРЕДИ МИРОВЫХ ЦИВИЛИЗАЦИЙ Составитель: С. Соответственно и место России во всемирной истории определялось с точки зрения принадлежности ее к одной из общественноэкономических формаций.К какому же типу отнести Россию В какой мере самобытна цивилизация России Ответы на эти вопросы давались историками публицистами общественными деятелями с высоты своего времени с учетом всего предшествующего развития России а также в соответствии со своими идейнополитическими установками. Абсолютное большинство населения России исповедует...
34591. ВОСТОЧНЫЕ СЛАВЯНЕ В ДОФЕОДАЛЬНЫЙ ПЕРИОД 22.91 KB
  ВОСТОЧНЫЕ СЛАВЯНЕ В ДОФЕОДАЛЬНЫЙ ПЕРИОД Составитель: Л. Степанова Появление славян как самостоятельного этноса согласно археологическим материалам произошло еще в первое тысячелетие до н. славяне известны под именем антов и венедов. в источниках появляется имя славяне.
34592. ДРЕВНЕРУССКОЕ ГОСУДАРСТВО: ЗАКОНОМЕРНОСТИ И ОСОБЕННОСТИ ОБРАЗОВАНИЯ, СОЦИАЛЬНЫЙ И ПОЛИТИЧЕСКИЙ СТРОЙ (IX – начало XII вв.) 21.55 KB
  Но произошло это объединение в результате похода князя Олега датируемого летописью 882 годом при активном участии его Руси – варяжской дружины вместе с другими племенами Поильменья. Рассматривая особенности политического устройства Киевской Руси следует выделить такой родоплеменной пережиток как наследование великого княжения по старшинству. Это заставляло всю многочисленную родню Рюриковичей время от времени менять свое пребывание в одном из княжеств и перебираться в другое что не способствовало ни укреплению центральной власти в Киеве...
34593. США во Второй мировой войне 14.25 KB
  Когда УВП не удалось взять под свой контроль добычу и поставки сырья Рузвельт создал сначала управление экономической стабилизации а затем управление военной мобилизации наделенное чуть ли не диктаторскими полномочиями. Комиссия по справедливому найму которую Рузвельт был вынужден создать под угрозой негритянского марша на Вашингтон во главе с Филипом Рэндолфом председателем профсоюза железнодорожных проводников помогла афроамериканцам бороться с дискриминацией в военной промышленности особенно после того как в 1943 Рузвельт наделил...
34594. США в конце XX – начале XXI вв 15.84 KB
  Укрепление политического экономического военного лидерства в мире стало ведущей идеей политики США во второй половине XX начале XXI в. Этому способствовало с одной стороны ключевое положение США в ООН в составе 5 государств членов Совета Безопасности а с другой активное участие в создании НАТО сети других военнополитических блоков. Была развернута сеть военных баз и объектов США в Европе в государствах участниках НАТО на Дальнем Востоке и в бассейне Тихого океана в Латинской Америке и зоне Карибского бассейна на Ближнем...
34595. Соединенное Королевство: географическое положение, рельеф, природные условия, флора и фауна. Символы 40.5 KB
  Официально же она именуется Соединенное Королевство Великобритании и Северной Ирландии. В целом на их долю приходится приблизительно 1 3 площади Великобритании и бoльшая часть Северной Ирландии. В Северной Ирландии змей нет. Символы: Флаг Соединенного Королевства Великобритании и Северной Ирландии или как его принято называть Юнион Джек Union Jck является сочетанием трех крестов святых покровителей Англии прямой красный крест на белом поле крест Св.
34596. Столетняя война 17.15 KB
  Столетняя война наименование длительного военного конфликта между Англией и Францией 13371453 вызванного стремлением Англии вернуть принадлежавшие ей на континенте Нормандию Мен Анжу и др. а также династическими притязаниями английских королей на французский престол. война между Англией и Францией. причины войны: стремление Франции вытеснить Англию с югозапада страны провинция Гиень и ликвидировать этот последний оплот английской власти на франц.
34597. Династия Тюдоров. Генрих VII 19.17 KB
  Генрих VII Генрих VII Тюдор 28 января 1457 – 21 апреля 1509 – король Англии и государь Ирландии 1485 – 1509. Родители: Эдмунд Тюдор 1й граф Ричмонд; единоутробный брак короля Генриха VI Маргарита Бофорт. 1471 – гибель Генриха VI и принца Уэльского Генрих – почти единственный родственник Ланкастеров. Генрих поклялся в Ренне в случае захвата власти жениться на дочери Эдуарда IV Елизавете Йоркской.
34598. Реформация, противостояние католиков и протестантов 12.42 KB
  Первоначально Генрих VIII был противником Реформации книга против Лютера В защиту 7 таинств 1521 г. Генрих был женат на Екатерина Арагонской единственный ребенок – девочка Мария Тюдор. Поняв что мальчиков не будет Генрих решил добиться развода однако Папа Римский Климент VII на это не согласился. Генрих обвинил английское духовенство в неповиновении статуту статут запрещал признавать любое лицо назначенное Папой без утверждения королем заставил духовенство признать себя главой церкви Англии.