49902

Искусственный нейрон. Алгоритм обратного распространения

Доклад

Информатика, кибернетика и программирование

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении...

Русский

2014-01-12

467.33 KB

2 чел.

Искусственный нейрон.

Несмотря на большое разнообразие вариантов нейронных сетей все они имеют общие черты. Так все они, также как и мозг человека, состоят из большого числа однотипных элементов – нейронов, которые имитируют нейроны головного мозга, связанных между собой.

На рис.1 показана схема нейрона

                    

d0.1

Из рисунка видно, что искусственный нейрон, так же как и живой, состоит из синапсов, связывающих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле

  (1)

где

n - число входов нейрона

xi – значение i-го входа нейрона

wi – вес i-го синапса

Затем определяется значение аксона нейрона по формуле

Y = f(S)   (2)

Где f - некоторая функция ,которая называется активационной. Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет следующий вид:

(3)

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

(4)

При уменьшении параметра α сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при α =0. При увеличении α сигмоид все больше приближается к функции единичного скачка.

Алгоритм обратного распространения

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении, противоположном направлению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон слоя i связан с каждым нейроном слоя i+1, т.е. речь идет о полносвязной НС.

В общем случае задача обучения НС сводится к нахождению некой функциональной зависимости Y=F(X) где X-вектор входной, а Y -выходной векторы. В общем случае такая задача, при ограниченном наборе входных данных имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки НС, которая находится по методу наименьших квадратов:

 (1)

где  – реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

 (2)

Здесь wij – весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n,  – коэффициент скорости обучения, 0<<1.

Как показано в [2],

(3)

Здесь под yj, подразумевается выход нейрона j, а под sj – взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dyj/dsj является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим,  функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

 (4)

Третий множитель sj/wij, очевидно, равен выходу нейрона предыдущего слоя yi(n-1).

Что касается первого множителя в (3), он легко раскладывается следующим образом[2]:

(5)

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

(6)

мы получим рекурсивную формулу для расчетов величин j(n) слоя n из величин k(n+1) более старшего слоя n+1.

(7)

Для выходного же слоя

(8)

Теперь мы можем записать (2) в раскрытом виде:

(9)

Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (9) дополняется значением изменения веса на предыдущей итерации

(10)

где  – коэффициент инерционности, t – номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что

(11)

где M – число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение; yi(n-1)=xij(n) – i-ый вход нейрона j слоя n.

yj(n) = f(sj(n)), где f() – сигмоид  (12)

yq(0)=Iq, (13)

где Iq – q-ая компонента вектора входного образа.

2. Рассчитать (N) для выходного слоя по формуле (8).

Рассчитать по формуле (9) или (10) изменения весов w(N) слоя N.

3. Рассчитать по формулам (7) и (9) (или (7) и (10)) соответственно (n) и w(n) для всех остальных слоев, n=N-1,...1.

4. Скорректировать все веса в НС

(14)

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае – конец.

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других.


 

А также другие работы, которые могут Вас заинтересовать

85174. Буржуазные реформы 1860-1880 гг. в Российской империи и особенности их проведения в белорусских губерниях 29.45 KB
  Крестьяне получали гражданские права могли заниматься промыслами торговать приобретать имущество поступать на учебу и на службу; помещики не могли продавать и судить крестьян. Однако крестьяне не сразу становились лично свободными. Помещики признавались собственниками всей земли которая принадлежала им до реформы а крестьяне получали небольшие наделы в пользование которые должны были выкупить на протяжении 9 лет. Купить свой земельный надел крестьяне могли только путем заключения выкупной сделки.
85175. Восстание 1863-1864 гг. и его итоги 28.15 KB
  Белые рассчитывали этого путем переговоров с царем с помощью Франции других стран Запада а красные опирались на восстание населения на свои силы.Калиновский который готовил восстание издавал газету Мужицкая правда боролся за свободу народа. Восстание началось зимой 1863 Для руководства восстанием были созданы руководящие органы: Центральный нац.Калиновский возглавил восстание в Гродненской губернии.
85176. Развитие капитализма в Беларуси в 1860 - 1890-е годах 29.42 KB
  Ускорили развитие капиталистических отношений в эк. Сохранилась сельская община чересполосица что сдерживало развитие с х. Быстрое развитие всех форм хозяйствования и в первую очередь укрупнение промышленного прова потребовало создания кредитной системы.
85177. Общественно-политическое движение в белорусских губерниях в 1860-е гг. - начале XX века 27.66 KB
  Во второй половине XIX века в общественнополитическую жизнь Беларуси активно включились представители третьего сословияразночинцы получившие название народников. С возникновением в Петербурге организации Земля и воля 1876 народническое движение в Беларуси развивалось под ее непосредственным влиянием. В начале 1884 года с инициативой объединения в общую организацию всех кружков Беларуси выступила группа Гомон. Гомоновцы впервые в истории общественной мысли Беларуси заявили о существовании белорусской нации.
85178. Революция 1905-1907 гг. Белорусские земли в условиях ускорения буржуазной модернизации (начало XX в.) 29.88 KB
  Основными причинами революции 1905-07гг стали недовольство царизмом,нерешенность аграрного, рабочего и национального вопросов. Начало революции ускорило поражение России в войне с Японией (1904-05гг). Революция нач.9 янв 1905 в Петербкрге с расстрела мирной демонстрации рабочих (Кровавое воскресенье).
85179. Первая мировая война и Февральская революция 1917г. Борьба политических партий за выбор путей общественного развития 28.2 KB
  Значительная часть территории Беларуси стала ареной военных действий. Около половины территории Беларуси оказалась под немецкой оккупацией. На захваченной германскими войсками территории Беларуси был введен жесткий режим деспотизма грабежа и насилия. Тяжёлое положение сложилось и на неоккупированной территории Беларуси.
85180. Культура Беларуси во второй половине XIX - начале XX века 27.25 KB
  Начинается новый этап в развитии белорусской литературы. Писатели постепенно становились на путь создания развитой литературы. Шел процесс ее жанрового обогащения литературы совершенствовалась стихотворение. Вершиной развития белорусского литературы стало творчество Франтишка Богушевича.
85181. Становление белорусской нации: закономерности и особенности 27.44 KB
  Продолжался процесс формирования белорусского нации. Существование нации характеризовалась наличием следующих признаков: сообщество территории и экономической жизни культуры и литературного языка общностью черт национального характера. Формирование белорусской нации сдерживалось русификаторской политикой царизма: расширение российского землевладения переводом начальной школы полностью на русскую язык обучения отсутствием высших учебных заведений белорусской печати.
85182. Октябрьская революция 1917 г. и белорусские земли. Первые социалистические преобразования 29.63 KB
  Что касается крестьянских советов то их абсолютное большинство находилось под влиянием эсэров и БСГ. 26 октября 2ой Всероссийский съезд Советов объявил советскую власть в центре и на местах принял Декрет о мире и земле. Это были 1 съезд Советов рабочих и крестьянских депутатов Западной области 3 съезд Советов крестьянских депутатов Минской и Виленской губерний и 2 съезд армии Западного фронта.