32231

Метод динамического программирования Р. Беллмана

Лекция

Информатика, кибернетика и программирование

6 величина определяется в соответствии с уравнениями 7.10 При условиях ; Оптимальное уравнение определяется в результате решения уравнения 7.10 можно заменить уравнениями в частных производных 7.4 получим Из уравнения получим П 7.

Русский

2013-09-04

1.14 MB

35 чел.

Лекция №7

Метод динамического программирования Р. Беллмана

В основу динамического программирования положен принцип оптимальности. Согласно этому принципу оптимальное уравнение определяется конечной целью управления и состоянием системы в рассматриваемый момент времени не зависимо от предыстории системы (как она попала в рассматриваемую точку). Это означает что для оптимальных траекторий каждый участок, связывающий любую промежуточную точку этой траектории с конечной точкой, также является оптимальной траекторией.

Задача оптимизации состоит в том, чтобы определить оптимальное управление  и оптимальную траекторию (экстремаль) из условия выполнения минимума (или максимума) функция …. (критерия)

     (7.1)

При заданных динамикой объекта управления уравнений

      (7.2)

или        (7.3)

и заданных краевых условиях ,  на интервале  при наличии ограничений , и может , где  – области допустимых значений переменных состояний объекта и управляющих воздействий.

В данном методе вводится вспомогательная функция S, называемая функцией Беллмана

     (7.4)

Дадим приращение по времени Δt. Тогда

     (7.5)

где ,  - вектор переменных (координат) объекта в момент .

Пусть 0, тогда с учетом выражения (7.5) получим

     (7.6)

Получаемая из (7.6) величина  определяется в соответствии с уравнениями (7.2) или (7.3) оптимальную траекторию .

Первое слагаемое в первой части выражения (7.6) с точностью до малых величин   …. Порядка  можно заменить приближенным выражением

   (7.7)

Второе слагаемое разложим в ряд Тейлора и ограничимся линейными слагаемыми относительно переменной .

  (7.8)

В соответствии с (7.2) точность для любых малых более высокого порядка

С учетом этого выражение (7.8) примет вид:

 (7.9)

На основании (7.6), (7.7) и (7.8) запишем

После деления всех членов на  и переходя к пределу 0 получим нелинейное уравнение Беллмана в частных производных

  (7.10)

При условиях ; ,

Оптимальное уравнение  определяется в результате решения уравнения (7.10), что в общем случае сделать достаточно сложно. Для внутренней области  условие (7.10) можно заменить уравнениями в частных производных

   (7.11)

Решая эту систему можно определить закон оптимального управления .

Для стационарного объекта управления в (7.11) можно представить в виде

   (7.12)

Пример: определим оптимальный закон управления для предыдущего примера методом динамического программирования:

    (П 7.1)

    (П 7.2)

или       (П 7.3)

где ; ; .

В соответствии с (7.12) для нашего случая будет:

   (П 7.4)

И условие минимума не управляющему воздействию (второе уравнение (7.11)) дает следующее уравнение:

    (П 7.5)

Из (П 7.5) следует

     (П 7.6)

После подстановки (П 7.6) в (П 7.4) получим

Из уравнения получим

   (П 7.7)

Подставляем значение  в (П 7.6) получим оптимальный закон управления

   (П 7.8)

где   – коэффициент обратной связи будет определятся, как

  (П 7.9)

Что совпадает с результатами, полученными в предыдущих примерах.

Наиболее эффективное применение динамического программирования при численном решении уравнения Беллмана. Для этого заменяем дифференциальные уравнения объекта управления (7.3) уравнениям в конечных разностях, т.е. дифференциальные уравнения  заменяем на разность  

    (П 7.9)

, k=1,2,…N – число временных …

Функционал (критерий оптимальности) примет вид

   (П 7.9)

На каждом интервале  считаем  - непостоянной величиной. Таким образом решая рекуррентные уравнения (7.13) находится значения оптимального уравнения на каждом значения оптимального уравнения на каждом интервале : , ,…,, также что  ,  и которые обеспечивают минимум функционала (7.14). при численном решении задача оптимизации на каждом участке решается в обратном порядке -  от конца к началу.

Графически вычислительную процедуру можно в виде пути, который проходит через точку, минимальных значений критерия (7.14) на рис 7.1 представлена оптимальная траектория (экстремаль) x(t). Величина x разбита на интервалы Δx и время t на интервалы Δt. В точках пересечения показаны численные значения приращения функционала ΔJ.

Рис. 7.1. Расчет оптимальной траектории x(t) по минимому приращения функционала.

Минимальное значение функционала достигается при движении по траектории, обозначается при движении по траектории, обозначенной сплошной строкой.


x

1,5

1,3

1,1

0,7

1,8

1,6

1,5

1,2

2,7

2,4

2,1

1,8

 0

 0

1,1

0,8

0,6

0,3

3,5

3,2

2,8

2,3

1,6

1,2

0,8

0,6

X5

Δx

X4

Δx

X3

Δx

X2

Δx

X1

Δx

t1

Δt

t2

Δt

t3

Δt

t4

Δt

t5


 

А также другие работы, которые могут Вас заинтересовать

47874. Зміст категорії ефективність управління 136.5 KB
  Зміст категорії ефективність управління Результативність управління розуміється як його цільова спрямованість на створення потрібних корисних речей здатних задовольняти певні потреби забезпечити досягнення кінцевих результатів адекватних поставленим цілям управління.
47875. Кольори та їх значення 237.5 KB
  Тема: СИМВОЛІКА КОЛЬОРІВ План Особливе значення читання мови барв Кольорові асоціації Кольорова символіка країн світу Мета: сформувати естетичні уявлення про колір пояснити основну символіку кольору дізнатися про значення кольору в різних країнах Обладнання: навчальні плани програми підручники посібники для дизайну; ТЗН для мультимедіа презентації. Так в астрології промені Сонця що розкладені в спектр і дають 7 кольорів відповідали 7 основним планетам: червоний колір Марса синій колір Венери жовтий колір...
47876. Своєрідність драматичних творів першої половини ХХ століття 51.5 KB
  Антігона надзвичайно любить життя, природу і красу. Вона кохає Гемона, сина Креона, мріє стати його дружиною і народити сина. Але цілком свідомо відмовляється від усього цього. Чому Антігона це зробила, вона намагається пояснити у своєму діалозі-змаганні з Креоном, який займає майже третину тексту. На відміну від античної героїні нею керує не почуття обов’язку
47877. Професійне мовлення вчителя 152.5 KB
  Культура мовлення вчителя компонент педагогічної майстерності. Специфіка педагогічного мовлення. Функції і комунікативні якості мовлення вчителя.
47878. Економічна історія 258.56 KB
  Критерії періодизації курсу Економічна історія історія народного господарства важлива гуманітарна дисципліна складова частина вищої економічної освіти. До історії господарства професіоналекономіст звертається усвідомлюючи це чи ні буквально на кожному кроці. Адже вся технікоорганізаційна динаміка даного господарства має історичний характер; при порівнянні показників різних періодів по суті простежується історикоекономічний процес формування і розвитку виробництва. Вона забезпечує тісний звязок історичних знань з економікою...
47880. Загальна патологія 135.5 KB
  Павлова про розвиток хвороби та його основні положення. Наука яка вивчає закономірності виникнення розвитку і кінця хвороби або іншими словами вивчає життєдіяльність хворого організму називається патологічною фізіологією. Перша частина нозологія або загальне вчення про хвороби. При аналізі хвороби виникає два запитання: чому виникла хвороба і як вона розвивається.
47881. Судова, правоохоронна та правозахисна діяльність 271 KB
  Поняття правоохоронного органу та правоохоронної діяльності Поняття правоохоронного органу. Під правоохоронним органом розуміють державну установу або державну юридичну особу яка діє в системі органів влади й виконує на основі закону державні функції владні організаційнорозпорядчі контрольноперевірочні тощо в різних сферах внутрішньої та зовнішньої діяльності Української держави. За законом до правоохоронного органу належить такий державний орган предмет діяльності якого законодавче зафіксовано як його завдання або функції саме...
47882. ГОСПОДАРСЬКІ РІШЕННЯ У РІЗНИХ СФЕРАХ ПІДПРИЄМНИЦЬКОЇ ДІЯЛЬНОСТІ 814 KB
  Сутнісна характеристика господарських рішень План: Господарські рішення та їх види Способи формалізації та реалізації господарських рішень Якість і ефективність господарських рішень Доповідь: Особливості управління ризиками господарської діяльності Л1Ст. ГОСПОДАРСЬКІ РІШЕННЯ ТА ЇХ ВИДИ Від прийняття господарських рішень їх якості раціональності й обґрунтованості в багатьох випадках залежать реальні можливості досягнення цілей організації її ефективна діяльність....