49902

Искусственный нейрон. Алгоритм обратного распространения

Доклад

Информатика, кибернетика и программирование

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении...

Русский

2014-01-12

467.33 KB

2 чел.

Искусственный нейрон.

Несмотря на большое разнообразие вариантов нейронных сетей все они имеют общие черты. Так все они, также как и мозг человека, состоят из большого числа однотипных элементов – нейронов, которые имитируют нейроны головного мозга, связанных между собой.

На рис.1 показана схема нейрона

                    

d0.1

Из рисунка видно, что искусственный нейрон, так же как и живой, состоит из синапсов, связывающих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле

  (1)

где

n - число входов нейрона

xi – значение i-го входа нейрона

wi – вес i-го синапса

Затем определяется значение аксона нейрона по формуле

Y = f(S)   (2)

Где f - некоторая функция ,которая называется активационной. Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет следующий вид:

(3)

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

(4)

При уменьшении параметра α сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при α =0. При увеличении α сигмоид все больше приближается к функции единичного скачка.

Алгоритм обратного распространения

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении, противоположном направлению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон слоя i связан с каждым нейроном слоя i+1, т.е. речь идет о полносвязной НС.

В общем случае задача обучения НС сводится к нахождению некой функциональной зависимости Y=F(X) где X-вектор входной, а Y -выходной векторы. В общем случае такая задача, при ограниченном наборе входных данных имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки НС, которая находится по методу наименьших квадратов:

 (1)

где  – реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

 (2)

Здесь wij – весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n,  – коэффициент скорости обучения, 0<<1.

Как показано в [2],

(3)

Здесь под yj, подразумевается выход нейрона j, а под sj – взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dyj/dsj является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим,  функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

 (4)

Третий множитель sj/wij, очевидно, равен выходу нейрона предыдущего слоя yi(n-1).

Что касается первого множителя в (3), он легко раскладывается следующим образом[2]:

(5)

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

(6)

мы получим рекурсивную формулу для расчетов величин j(n) слоя n из величин k(n+1) более старшего слоя n+1.

(7)

Для выходного же слоя

(8)

Теперь мы можем записать (2) в раскрытом виде:

(9)

Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (9) дополняется значением изменения веса на предыдущей итерации

(10)

где  – коэффициент инерционности, t – номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что

(11)

где M – число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение; yi(n-1)=xij(n) – i-ый вход нейрона j слоя n.

yj(n) = f(sj(n)), где f() – сигмоид  (12)

yq(0)=Iq, (13)

где Iq – q-ая компонента вектора входного образа.

2. Рассчитать (N) для выходного слоя по формуле (8).

Рассчитать по формуле (9) или (10) изменения весов w(N) слоя N.

3. Рассчитать по формулам (7) и (9) (или (7) и (10)) соответственно (n) и w(n) для всех остальных слоев, n=N-1,...1.

4. Скорректировать все веса в НС

(14)

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае – конец.

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других.


 

А также другие работы, которые могут Вас заинтересовать

33514. Метод соцреализма в литературе (идейно-тематическая нормативность, концепция личности) 15.02 KB
  Социалистический реализм художественный метод литературы и искусства представляющий собой эстетическое выражение социалистически осознанной концепции мира и человека обусловленной эпохой борьбы за установление и созидание социалистического общества. Изображение жизни в свете идеалов социализма обусловливает и содержание и основные художественноструктурные принципы искусства соцреализма.Социалистический реализм художественный метод литературы и искусства построенный на социалистической концепции мира и человека. Художник должен был...
33515. Образ Клима Ивановича Самгина 14.95 KB
  В романе нет ни одной сюжетной линии которая не была бы непосредственно связана с Самгиным. Какая бы ситуация ни изображалась в романе автора интересует поведение Самгина в данной ситуации его точка зрения его переживания. Клим Самгин является представителем русской буржуазной интеллигенции конца XIX начала XX века.
33516. Собачье сердце 13.83 KB
  В основу повести лег рискованный эксперимент. Для автора повести это было недопустимым вмешательством в естественный ход вещей последствия которого могли оказаться плачевными для всех в том числе и для самих âэкспериментаторовâ. Одним из главных героев выразителем авторских мыслей в повести становится профессор Преображенский. Новаторство же повести âСобачье сердцеâ не только в сатирическом и юмористическом мастерстве Булгакова но и в сложной философской концепции этого произведения.
33517. Периодизация русской литературы ХХ века 14.73 KB
  Периодизация русской литературы ХХ века. Принято считать что первый период развития русской литературы ХХ века начинается с 90х годов ХIХ века и заканчивается в 1917 году. С точки зрения собственно литературной как правильно отмечала эмигрантская критика это было прямое продолжение литературы предреволюционной. Но в ней вызревали качественно новые признаки и великий раскол на три ветви литературы произошел в начале 20х.
33518. Белая гвардия 15.21 KB
  Семья Турбиных типичная интеллигентная семья военных где старший брат полковник младший юнкер сестра замужем за полковником Тальбергом. Алексей Турбин на наш теперешний взгляд очень молод: в тридцать уже полковник. Особенно близок Турбин к Рощину из âХождения по мукамâ. В пьесе две сцены когда Алексей Турбин проявляется как характер.
33519. Идейно-тематические и художественные особенности лирики Бродского 16.94 KB
  Однако через постижение этих отдельных пространств и их бытия Бродский выводил общие законы. Бродский являет собой историка межвременных коллизий и событий исследуя которые можно понять общее для всей человеческой истории. Это значит что Бродский приверженец в своей основе классицистической поэтики использует в стихотворениях только ту лексику которая максимально отвечает его замыслу. Бродский может изменять по своему желанию устойчивые словоформы отрекается от постоянства метра в одном стихотворении.
33520. Ведущие темы в лирике Есенина 22.6 KB
  Ведущие темы в лирике Есенина. Сложная и интересная судьба поэта множество путешествий смена мест и образа жизни в сочетании с творческим подходом к осмыслению действительности обусловили богатство и разнообразие тем и мотивов лирики Есенина. Время творчества Есенина время крутых поворотов в истории России. Есенина.
33521. Тема революции в поэме С. Есенина «Анна Снегина» 18.29 KB
  Есенина Анна Снегина. Поэма Анна Онегина написанная незадолго до смерти поэта в 1924 году явилась своеобразным обобщением размышлений Есенина об этом драматическом и противоречивом времени и вобрала в себя многие мотивы и образы его лирики. Это ощущение усиливается в поэме тем что на её страницах в качестве олицетворения его юности появляется Анна Снегина первая любовь девушка в белой накидке которая ласково сказала: Нет Несмотря на былые воспоминания автор прекрасно понимает что прошлое вернуть невозможно:...
33522. Творчество В.Набокова (роман по выбору). Проблематика, конфликты, герои 16.5 KB
  Защита Лужина Роман Защита Лужина привлекает и своим заглавием и своим содержанием писатель неоднократно объяснял его замысел: Русское заглавие этого романа Защита Лужина относится к шахматной защите будто бы придуманной моим героем сочинять книгу было нелегко надо был ввести роковое предназначение в жизнь Лужина и придать очертанию сада поездки событиям подобие замысловатой игры а в последних главах настоящей шахматной атаки разрушающей до основания здоровье моего героя. У Лужина неожиданно счастливая семейная жизнь...