32231

Метод динамического программирования Р. Беллмана

Лекция

Информатика, кибернетика и программирование

6 величина определяется в соответствии с уравнениями 7.10 При условиях ; Оптимальное уравнение определяется в результате решения уравнения 7.10 можно заменить уравнениями в частных производных 7.4 получим Из уравнения получим П 7.

Русский

2013-09-04

1.14 MB

35 чел.

Лекция №7

Метод динамического программирования Р. Беллмана

В основу динамического программирования положен принцип оптимальности. Согласно этому принципу оптимальное уравнение определяется конечной целью управления и состоянием системы в рассматриваемый момент времени не зависимо от предыстории системы (как она попала в рассматриваемую точку). Это означает что для оптимальных траекторий каждый участок, связывающий любую промежуточную точку этой траектории с конечной точкой, также является оптимальной траекторией.

Задача оптимизации состоит в том, чтобы определить оптимальное управление  и оптимальную траекторию (экстремаль) из условия выполнения минимума (или максимума) функция …. (критерия)

     (7.1)

При заданных динамикой объекта управления уравнений

      (7.2)

или        (7.3)

и заданных краевых условиях ,  на интервале  при наличии ограничений , и может , где  – области допустимых значений переменных состояний объекта и управляющих воздействий.

В данном методе вводится вспомогательная функция S, называемая функцией Беллмана

     (7.4)

Дадим приращение по времени Δt. Тогда

     (7.5)

где ,  - вектор переменных (координат) объекта в момент .

Пусть 0, тогда с учетом выражения (7.5) получим

     (7.6)

Получаемая из (7.6) величина  определяется в соответствии с уравнениями (7.2) или (7.3) оптимальную траекторию .

Первое слагаемое в первой части выражения (7.6) с точностью до малых величин   …. Порядка  можно заменить приближенным выражением

   (7.7)

Второе слагаемое разложим в ряд Тейлора и ограничимся линейными слагаемыми относительно переменной .

  (7.8)

В соответствии с (7.2) точность для любых малых более высокого порядка

С учетом этого выражение (7.8) примет вид:

 (7.9)

На основании (7.6), (7.7) и (7.8) запишем

После деления всех членов на  и переходя к пределу 0 получим нелинейное уравнение Беллмана в частных производных

  (7.10)

При условиях ; ,

Оптимальное уравнение  определяется в результате решения уравнения (7.10), что в общем случае сделать достаточно сложно. Для внутренней области  условие (7.10) можно заменить уравнениями в частных производных

   (7.11)

Решая эту систему можно определить закон оптимального управления .

Для стационарного объекта управления в (7.11) можно представить в виде

   (7.12)

Пример: определим оптимальный закон управления для предыдущего примера методом динамического программирования:

    (П 7.1)

    (П 7.2)

или       (П 7.3)

где ; ; .

В соответствии с (7.12) для нашего случая будет:

   (П 7.4)

И условие минимума не управляющему воздействию (второе уравнение (7.11)) дает следующее уравнение:

    (П 7.5)

Из (П 7.5) следует

     (П 7.6)

После подстановки (П 7.6) в (П 7.4) получим

Из уравнения получим

   (П 7.7)

Подставляем значение  в (П 7.6) получим оптимальный закон управления

   (П 7.8)

где   – коэффициент обратной связи будет определятся, как

  (П 7.9)

Что совпадает с результатами, полученными в предыдущих примерах.

Наиболее эффективное применение динамического программирования при численном решении уравнения Беллмана. Для этого заменяем дифференциальные уравнения объекта управления (7.3) уравнениям в конечных разностях, т.е. дифференциальные уравнения  заменяем на разность  

    (П 7.9)

, k=1,2,…N – число временных …

Функционал (критерий оптимальности) примет вид

   (П 7.9)

На каждом интервале  считаем  - непостоянной величиной. Таким образом решая рекуррентные уравнения (7.13) находится значения оптимального уравнения на каждом значения оптимального уравнения на каждом интервале : , ,…,, также что  ,  и которые обеспечивают минимум функционала (7.14). при численном решении задача оптимизации на каждом участке решается в обратном порядке -  от конца к началу.

Графически вычислительную процедуру можно в виде пути, который проходит через точку, минимальных значений критерия (7.14) на рис 7.1 представлена оптимальная траектория (экстремаль) x(t). Величина x разбита на интервалы Δx и время t на интервалы Δt. В точках пересечения показаны численные значения приращения функционала ΔJ.

Рис. 7.1. Расчет оптимальной траектории x(t) по минимому приращения функционала.

Минимальное значение функционала достигается при движении по траектории, обозначается при движении по траектории, обозначенной сплошной строкой.


x

1,5

1,3

1,1

0,7

1,8

1,6

1,5

1,2

2,7

2,4

2,1

1,8

 0

 0

1,1

0,8

0,6

0,3

3,5

3,2

2,8

2,3

1,6

1,2

0,8

0,6

X5

Δx

X4

Δx

X3

Δx

X2

Δx

X1

Δx

t1

Δt

t2

Δt

t3

Δt

t4

Δt

t5


 

А также другие работы, которые могут Вас заинтересовать

15210. ТАРЛАН ТАЛАНТ ТАҒДЫРЫ 75 KB
  ТАРЛАН ТАЛАНТ ТАҒДЫРЫ Мұқанов Сәбит Мұқанұлы 1900-1973 қазақтың әйгілі жазушысы қоғам қайраткері Қазақ КСР Ғылым академиясының академигі. Туған жері қазіргі Солтүстік Қазақстан облысының Жамбыл ауданындағы Жаманшұбар деген жер. Әке шешеден жастай жетім қа
15211. Сәкен Иманасовтың өлеңдерiн оқудан өрбiген ой 47.5 KB
  Екi тумас ер ақын Сәкен Иманасовтың өлеңдерiн оқудан өрбiген ой Әлемдi билейтiн сөз сөздi билейтiн ақын. Талантпен талғаммен қоса табандылықты азаматтықты қажет ететiн ақын болу қиынның қиыны. Азаматтық жоқ жерде ақындық та жоқ. Төлеген Айбергенов: Ақын болу оң
15212. Сүйінбай Аронұлы 170 KB
  Сүйінбай Аронұлы 1815-1898 Сүйінбай ақын Алматы облысының Жамбыл ауданы Қарақыстақ ауылында дүниеге келген сонда қайтыс болды. Қазақ халқының ақыны айтыс өнерінің шебері. Аронұлы Сүйінбай 1815 1898 қазақтың әйгілі ақыны айтыс өнерінің майталман жүйрігі. Туып өске...
15213. Торайғыров Сұлтанмахмұт 59 KB
  Торайғыров Сұлтанмахмұт 1893-1920 Торайғыров Сұлтанмахмұт қазақ ақыны ағартушы қоғам қайраткері ойшыл. Солтүстік Қазақстан облысының Уәлиханов ауданында туған. Торайғыровтың 3 жасында шешесі қайтыс болып 6 жасына дейін әжесінің тәрбиесінде болды. Кейін әкес
15214. Төлеген Айбергенов 62 KB
  Төлеген Айбергенов Сағындым жаным мен сені Көркіңді жүрген қуаныш қылып мендей ме екен бар ағаң Шын інім болсаң бас бұрма жаным өсек ғайбатқа бораған. Қажет жерінде қатыгездік пен қаталдық керек десек те Адамның заңғар ұлылығын сен сағынышымен есепте. ...
15215. Ұлтымыздың Ұстазы - Ахмет Байтұрсынов 314.5 KB
  Ұлттың ұлы ұстазы: А.Байтұрсынұлының 130 жылдығына арналған әдістемелік құрал / ҚМРБК Құраст. А.Байжұманова. Алматы 2003. 46 б. Биылғы жыл халқымыздың көрнекті қоғам қайраткері кешегі Абай Ыбырай Шоқан салған ағартушылық демократтық бағытты ілгері жалғастырушы ір...
15216. Халел Досмұхамедұлы - Мұрат ақын шығармаларын жинаушы һәм зерттеуші 42 KB
  Алаш қайраткерлері ұлтымыздың рухани мұрасын жинауда, жариялауда және зерттеуде маңызды істер атқарғаны белгілі. Олардың бұл саладағы аса нәтижелі жұмыстары – осы халық үшін маңызды мәселенің бастауында тұрғандығымен де бағалы. Айталық, Әлихан Бөкейхан, Ахмет Байтұрсынұлы халық ауыз әдебиеті үлгілерін, Мағжан Жұмабаев Базар
15217. ҚАЛАМ ҚҰДІРЕТІ 69.5 KB
  ҚАЛАМ ҚҰДІРЕТІ Алла тағала берген ақылымен теңіздей терең білімімен уақыттың өзінен озған ғұлама фәниден бақиға аттанарда өсиет айтыпты: €œДауыл ма жауын ба сең бе сел ме өрт пе дерт пе... қандай қысылтаяң қиын шақ болса да ең алдымен халықтың қазынасын құтқарыңд
15218. Хамит Ерғалиев 53.5 KB
  Қайран Хамаң Дүниеден Хамаң Хамит ақын Ерғалиев озғалы да бірнеше жылдың мұғдары болыптыау. Кейде өзіңненөзің отырып таңғаласың: біртуар тұлғаларды күнде көріп олардың лебізін тыңдап жүргенде ондай адамдар ешқашан өмірден өтпейтіндей көресің. Оның үстіне Хамит ...