21693

Обучение контроллера: подход на основе прогнозируемой ошибки выхода

Лекция

Информатика, кибернетика и программирование

Шаг 1. read ; Шаг 2. {Обучение эмулятора} for := downto 0 do begin :=; ; end; Шаг 3. {Генерация управляющего входного сигнала} :=; или :=; :=; Шаг 4.

Русский

2013-08-03

361.5 KB

4 чел.

етоды искусственного интеллекта

Лекция № 10

МЕТОДЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

ЛЕКЦИЯ № 10

На прошлой лекции мы начали заниматься проблемой эффективного управления с помощью нейроконтроллеров. Я напомню, г-н Омату предлагает три метода обучения. Первый — это обучение эмулятора, а другие два — это обучение контроллера, либо на ошибке инверсно-прямого управления, либо на основе прогнозируемой ошибки выхода.

Мы остановились на втором подходе, и пришли к выводу, что он сам по себе даёт плохие результаты: выход нейроконтроллера устанавливается на некоторой постоянной величине, в результате чего ошибка обучения оказывается нулевой, однако характеристики управления оставляют желать лучшего. Этот недостаток присущ всем методам обучения, основанным на минимизации ошибки инверсного управления. Его можно устранить, используя сочетание таких методов управления с другими, непосредственно минимизирующими ошибку системы регулирования.

Мы начали рассматривать пример, который это иллюстрирует.

Пусть р=3, q=2 и только что получена величина у(9). Предположим также, что в памяти имеются аналогичные величины, что и в предыдущем примере: , , …  и , … .

Обозначим через  текущее отображение, выполняемое нейроконтроллером. Равенство  означает, что обучения ещё нет. Входной сигнал для объекта управления  можно вычислить из соотношения , где .

Для обучения в соответствии с подходом на основе ошибки инверсно-прямого управления можно использовать следующие векторы:

Эти векторы и входные величины ,  и  образуют три обучающих образца (входной вектор и желаемый выход) для обучения нейроконтроллера в момент времени . Однако такой метод обучения непосредственно не минимизирует ошибку управления, поэтому на практике необходимо его сочетание с другими методами.

На рисунке этот подход будет выглядеть так:

{рис. 4.4.1-б, с. 127}

На рисунке показано сочетание множественного обучения на основе инверсно-прямого управления и простого обучения на основе обучающей конфигурации. В результате выполняется 4 обучающих итерации за один период дискретизации. Вектор  задаётся составляющими . Через  обозначено состояние нейроконтроллера во время -го интервала дискретизации, после -й обучающей итерации. В результате достигается точное обучение нейроэмулятора за счёт усложнения процесса обучения.


3. Обучение контроллера: подход на основе прогнозируемой ошибки выхода

Более сложный подход к множественному обучению нейроконтроллера можно получить на основе конфигурации из эмулятора и контроллера (рис. 4.2.5, с. 98). Предположим, что в момент времени  в дополнение к  значениям переменной  (включая ) и  предыдущим значениям переменной     имеется также  значений опорного сигнала .

Наличие таких данных эквивалентно наличию в памяти  входных векторов . В момент времени  входной управляющий сигнал  определяется следующим образом:

.

Однако с момента времени, когда вектор  был сохранён, до текущего момента времени  было выполнено несколько корректировок нейроконтроллера. Поэтому в момент времени  сохранённый входной вектор  даст следующий виртуальный входной сигнал:

.

Это означает только, что последняя величина  с соответствующими величинами  и   может быть непосредственно использована для обучения на основе одной из конфигураций адаптивного управления. Однако это не относится в полной мере к предыдущим величинам  для . Для таких случаев можно спрогнозировать соответствующий выходной сигнал объекта управления с помощью эмулятора в соответствии с выражением:

,

где второй верхний индекс в обозначении  опущен для простоты, а вектор задаётся следующим образом:

{рис. 4.4.2-а, с. 130}

Для лучшего понимания процесса обучения нейроконтроллера представим себе нейроконтроллер и нейроэмулятор как одну многослойную сеть. В момент времени  каждому входному вектору  пусть соответствует прогнозируемая ошибка , и обучение направлено на минимизацию некоторой нормы предсказанной ошибки выхода. Функция ошибки может иметь следующий вид:

.

В обучающей конфигурации нейроконтроллер обучается на основе ошибки, представляющей собой расхождение между опорным сигналом и выходом нейроэмулятора, а не расхождение между опорным сигналом и выходом объекта управления, как в схеме прямого адаптивного управления. Предыдущие значения величины выхода объекта управления  необходимы для входных векторов нейроконтроллера и нейроэмулятора.

Пример. Пусть ,  и только что получена величина . Предположим, что в памяти имеются значения , а также , и ещё ,  и . Входные векторы нейроконтроллера, используемые для вычисления трёх последних значений входного управляющего сигнала, можно записать в следующей форме:

Возможная процедура обучения для момента времени  показана на следующем рисунке:

{рис. 4.4.2-б, с. 130}

За один период дискретизации выполняется три обучающих итерации.

Мы сейчас рассмотрели методы оперативного обучения, предложенные г-ном Омату. А теперь мы рассмотрим, в теории, алгоритмы в псевдокоде, который обеспечит определённую однозначность реализации таких методов.

Алгоритмы обучения

Сперва обращу внимание, что алгоритм обратного распространения мы будем указывать в виде вызова процедуры ,

где  — это имя процедуры,  — корректируемая сеть,  — входной вектор,  — желаемый выход, а  — фактический выход.

1. Множественное обучение эмулятора

Пусть в момент времени  в памяти хранятся векторы  для . Из этого следует, что новейшие данные соответствуют значению , а более старые данные соответствуют большим значениям . Начиная с момента времени , алгоритм множественного обучения эмулятора можно представить в следующей форме.

Шаг 1.

read ;

Шаг 2. {Обучение эмулятора}

for :=() downto 0 do

begin

:=;

;

end;

Шаг 3. {Генерация управляющего входного сигнала}

:=;

или

:=;

:=;

Шаг 4. Применить  к объекту управления и ждать время .

Шаг 5. {Сдвиг данных}

for :=() downto 1 do

:=;

Шаг 6. {Новейший вектор данных}

:=;

Шаг 7.

:=;

Шаг 8. Переход к шагу 1.

2. Множественное обучение контроллера: инверсно-прямое управление

Пусть в момент времени  в памяти хранятся векторы  для . Начиная с момента времени , алгоритм множественного обучения контроллера можно представить в следующей форме.

Шаг 1.

read ;

Шаг 2. {Новейший вектор данных}

:=;

Шаг 3. {Обучение контроллера}

for :=() downto 0 do

begin

 :=;

;

end;

Шаг 4. {Генерация управляющего входного сигнала}

:=;

или

:=;

:=;

Шаг 5. Применить  к объекту управления и ждать время .

Шаг 6. {Сдвиг данных}

for :=() downto 1 do

 :=;

Шаг 7.

:=;

Шаг 8. Переход к шагу 1.

3. Множественное обучение контроллера: прогнозируемая ошибка выхода

Пусть в момент времени  в памяти хранится -вектор  или . Обозначим через  нейронные сети, образованные связыванием нейроконтроллера и нейроэмулятора. Начиная с момента времени , алгоритм множественного обучения контроллера можно представить в следующей форме.

Шаг 1.

read ;

Шаг 2. {Обучение контроллера по прогнозируемым ошибкам}

for :=() downto 1 do

begin

for :=0 to  do

 :=;

{виртуальный входной вектор для эмулятора}

:=;

{виртуальный выход}

:=;

 ;

end;

Шаг 3. {Обычное обучение с использованием новейших данных}

;

Шаг 4. {Сдвиг данных}

for :=() downto 1 do

 :=;

Шаг 5. {Генерация управляющего входного сигнала}

:=;

или

:=;

:=;

Шаг 6. Применить  к объекту управления и ждать время .

Шаг 7.

:=;

Шаг 8. Переход к шагу 1.

Сегодня мы закончили изучать методы эффективного обучения нейроэмуляторов и нейроконтроллеров, рассмотрели в теории алгоритм работы каждого из этих методов. На следующем практическом занятии мы будем изучать, как это работает с реальными цифрами.

PAGE  2

Томский политехнический университет,

Дмитрий Афонин, апрель 2006 г.


 

А также другие работы, которые могут Вас заинтересовать

26081. Горизонтальный, вертикальный и трендовый анализ баланса 28 KB
  Изменение удельного веса отдельных статей позволяет отслеживать и прогнозировать структурные изменения в составе активов и их источников покрытия. Анализ динамики валюты баланса структуры активов и пассивов организации позволяет сделать ряд важных выводов необходимых как для осуществления текущей финансовохозяйственной деятельности так и для принятия управленческих решений на перспективу. Исследование изменения структуры активов организации позволяет получить важную информацию. Так увеличение доли оборотных средств в имуществе может...
26082. Государственная поддержка малых форм хозяйствования в аграрном секторе 33 KB
  Малые формы хозяйствования на селе без поддержки государства и без собственного внутригруппового взаимодействия не всегда способны успешно противостоять в конкурентной борьбе крупному капиталу отстаивать свои экономические политические и социальные интересы поэтому формирование системы государственной поддержки малых форм хозяйствования на селе является одним из ключевых моментов в решении задач агропродовольственной политики. Главным принципом государственной поддержки малых форм хозяйствования является создание экономических и правовых...
26083. Государственное регулирование экономики: необходимость, сущность, объекты, цели, методы 31 KB
  Особая роль государства в развитии аграрной сферы объективно обусловлена рядом причин. Таким образом активная аграрная политика государства является необходимым условием нормального развития сельского хозяйства в любой стране. Из этой главной двуединой задачи государства в области сельского хозяйства вытекает целый ряд более конкретных задач которые также носят долговременный стратегический характер: содействие научнотехническому прогрессу и росту эффективности производства в сельском хозяйстве; поддержание эквивалентности в...
26084. Органы управления финансами в Российской Федерации 64.5 KB
  Депутаты обеих палат Федерального Собрания Российской Федерации рассматривающие и утверждающие проект закона о федеральном бюджете и отчете о его исполнении другие финансовые и связанные с ними законодательные акты правительственные программы могут обладая правом законодательной инициативы вносить на рассмотрение проекты финансовых законодательных актов поправки в действующее законодательство. Государственная Дума заслушивает отчет Правительства Российской Федерации об исполнении федерального бюджета. Государственная Дума и Совет...
26085. Структура государственных органов управления финансами в РФ 47 KB
  Именно эти органы принимают окончательное решение при утверждении федерального бюджета и отчета о его исполнении. На Министерство финансов возложены следующие задачи: 1 разработка и реализация единой государственной финансовой политики; 2 составление проекта и исполнение федерального бюджета; 3 осуществление финансового контроля за рациональным и целевым расходованием бюджетных средств и средств федеральных внебюджетных фондов; 4 обеспечение устойчивости государственных финансов и осуществление мер по развитию финансового рынка Основными...
26086. Порядок исчисления и уплаты ЕСХН 45.5 KB
  При определении объекта налогообложения налогоплательщики уменьшают полученные ими доходы на следующие расходы: 1 расходы на приобретение сооружение и изготовление основных средств а также на достройку дооборудование реконструкцию модернизацию и техническое перевооружение основных средств; 2 расходы на приобретение нематериальных активов создание нематериальных активов самим налогоплательщиком; 3 расходы на ремонт основных средств в том числе арендованных; 4 арендные в том числе лизинговые платежи за арендуемое в том числе...
26087. Культура и общество, Социальная культура 69.96 KB
  Место и роль культуры в обществе велики. Личность несет печать конкретной культуры и конкретного общества. Кроме того общество создает условия для массового использования ценностей культуры а следовательно порождает потребности в тиражировании и репродуцировании артефактов что в свою очередь превращается в процессы воспроизводства культуры. Понятно что вне общественных форм жизни эти особенности в развитии культуры были бы невозможны.
26088. Семиотическое измерение культуры 15.56 KB
  Явления культуры – знаки и совокупность знаков тексты в которых зашифрована социальная информация т. В рамках семиотического подхода культура представляется как система коммуникаций обмена информацией а явления культуры рассматриваются как система знаков. Возможности понимания и трансляции культуры могут реализовываться с помощью различных знаковых систем или языков культуры: естественного языка фольклора традиций предметов быта охоты или другого вида деятельности ритуалов обрядов церемоний этикета типа жилища посредством...
26089. Динамика культуры 16.85 KB
  Законом общественного развития в том числе и законом развития культуры принято называть объективно существующую повторяющуюся необходимую существенную связь явлений общественной жизни или этапов исторического процесса.Вебер до отказа от признания закономерностей развития культуры например О. Кроме того позиции ученых различаются в зависимости от того какой масштаб действия законов развития культуры ими признается: или законы действуют в масштабах всего человечества так считают большинство исследователей За десять тысяч лет своего...