49902

Искусственный нейрон. Алгоритм обратного распространения

Доклад

Информатика, кибернетика и программирование

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении...

Русский

2014-01-12

467.33 KB

2 чел.

Искусственный нейрон.

Несмотря на большое разнообразие вариантов нейронных сетей все они имеют общие черты. Так все они, также как и мозг человека, состоят из большого числа однотипных элементов – нейронов, которые имитируют нейроны головного мозга, связанных между собой.

На рис.1 показана схема нейрона

                    

d0.1

Из рисунка видно, что искусственный нейрон, так же как и живой, состоит из синапсов, связывающих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле

  (1)

где

n - число входов нейрона

xi – значение i-го входа нейрона

wi – вес i-го синапса

Затем определяется значение аксона нейрона по формуле

Y = f(S)   (2)

Где f - некоторая функция ,которая называется активационной. Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет следующий вид:

(3)

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

(4)

При уменьшении параметра α сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при α =0. При увеличении α сигмоид все больше приближается к функции единичного скачка.

Алгоритм обратного распространения

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении, противоположном направлению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон слоя i связан с каждым нейроном слоя i+1, т.е. речь идет о полносвязной НС.

В общем случае задача обучения НС сводится к нахождению некой функциональной зависимости Y=F(X) где X-вектор входной, а Y -выходной векторы. В общем случае такая задача, при ограниченном наборе входных данных имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки НС, которая находится по методу наименьших квадратов:

 (1)

где  – реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

 (2)

Здесь wij – весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n,  – коэффициент скорости обучения, 0<<1.

Как показано в [2],

(3)

Здесь под yj, подразумевается выход нейрона j, а под sj – взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dyj/dsj является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим,  функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

 (4)

Третий множитель sj/wij, очевидно, равен выходу нейрона предыдущего слоя yi(n-1).

Что касается первого множителя в (3), он легко раскладывается следующим образом[2]:

(5)

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

(6)

мы получим рекурсивную формулу для расчетов величин j(n) слоя n из величин k(n+1) более старшего слоя n+1.

(7)

Для выходного же слоя

(8)

Теперь мы можем записать (2) в раскрытом виде:

(9)

Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (9) дополняется значением изменения веса на предыдущей итерации

(10)

где  – коэффициент инерционности, t – номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что

(11)

где M – число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение; yi(n-1)=xij(n) – i-ый вход нейрона j слоя n.

yj(n) = f(sj(n)), где f() – сигмоид  (12)

yq(0)=Iq, (13)

где Iq – q-ая компонента вектора входного образа.

2. Рассчитать (N) для выходного слоя по формуле (8).

Рассчитать по формуле (9) или (10) изменения весов w(N) слоя N.

3. Рассчитать по формулам (7) и (9) (или (7) и (10)) соответственно (n) и w(n) для всех остальных слоев, n=N-1,...1.

4. Скорректировать все веса в НС

(14)

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае – конец.

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других.


 

А также другие работы, которые могут Вас заинтересовать

79193. Философско-методологические аспекты соотношения науки и техники. Методология технознания и проектирования в соотношении с научной методологией 17.83 KB
  Философскометодологические аспекты соотношения науки и техники. В современной литературе по философии техники можно выделить следующие основные подходы к решению проблемы изменения соотношения науки и техники: техника рассматривается как прикладная наука; процессы развития науки и техники рассматриваются как автономные но скоординированные процессы; наука развивалась ориентируясь на развитие технических аппаратов и инструментов; техника науки во все времена обгоняла технику повседневной жизни; до конца XIX в. Рассмотрение техники как...
79194. Убийство при превышении пределов необходимой обороны 32.26 KB
  Общественные отношения обеспечивающие жизнь человека. совершение действий по средствам которых осуществляется физическое механическое химическое или биологическое воздействие на организм человека либо не совершается действие которое лицо должно и могло было совершить для устранения опасности грозящей жизни человека.
79195. Причинение смерти по неосторожности 32.84 KB
  От причинения смерти по неосторожности следует отличать невиновное причинение смерти казус которое исключает уголовную ответственность ст. От умышленного причинения тяжкого вреда здоровью повлекшего смерть потерпевшего по неосторожности ч. 111 УК РФ причинение смерти по неосторожности ст.
79196. Понятие и виды телесных повреждений 34.48 KB
  Понятие вред здоровью в уголовном законе не раскрывается. Определение вида вреда производилось в соответствии судебно медицинской экспертизой тяжести вреда здоровью на основании критериев указанных в постановлении Правительства РФ от 17 августа 2007 г. N 522 Об утверждении правил определения степени тяжести вреда здоровью человека . С медицинской точки зрения под вредом здоровью понимают нарушение анатомической целостности органов и тканей или их физиологических функций либо заболевания или патологические состояния возникшие в результате...
79197. Умышленное причинение тяжкого вреда здоровью. Состав и виды 34.79 KB
  Имеется в виду причинение вреда здоровью опасного для жизни человека который по своему характеру угрожает жизни потерпевшего и может вызвать его смерть. Причинение тяжкого вреда здоровью распространяется и на повреждения неопасные для жизни в момент их причинения но повлекшие угрожающие жизни состояния и заболевания или патологические состояния возникшие в результате воздействия различных внешних факторов и закономерно осложняющиеся угрожающим жизни состоянием или сами представляющие угрозу для жизни человека. В соответствии с...
79198. Заражение ВИЧ-инфекцией. Состав и виды 30.41 KB
  Способы совершения данного преступления различные: в результате полового контакта; при переливании крови или ее препаратов содержащих вирус; при контактах поврежденных поверхностей тела; при использовании для инъекций не стерильных шприцев а также женщинойвирусоносителем при родах либо с молоком матери зараженным вирусом и в других случаях. Состав преступления формальный для окончания преступления не требуется наступления последствий а именно заражения потерпевшего.
79199. Оставление в опасности 30.24 KB
  Преступление небольшой тяжести состав основной простой формальный Объект общественные отношения обеспечивающие безопасность жизни или здоровья Обязательный признак потерпевший другой человек находящийся в опасном для жизни или здоровья состоянии и лишенное возможности принять меры к самосохранению по малолетству старости болезни или вследствие своей беспомощности Объективная сторона характеризуется общественноопасным деянием в форме бездействия оставление без помощи вышеуказанного лица обстоятельства совершения...
79200. Общая характеристика преступлений против свободы, чести и достоинства личности 31.93 KB
  Отнесение рассматриваемой главы к разделу о преступлениях против личности которым открывается Особенная часть УК РФ вытекает из конституционных положений об охране свободы защите своей чести и доброго имени достоинства личности например ст. 126128 УК РФ; б честь и достоинство человека включая оценку его личности окружающими и им самим ст.
79201. Похищение человека. Состав и виды. Отличие от незаконного лишения свободы 34.79 KB
  Под похищением человека ст. Но при всех условиях похищение признается оконченным с момента захвата похищенного лица т. Наказание за похищение значительно усиливается при наличии квалифицирующих обстоятельств ч.