49902

Искусственный нейрон. Алгоритм обратного распространения

Доклад

Информатика, кибернетика и программирование

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении...

Русский

2014-01-12

467.33 KB

2 чел.

Искусственный нейрон.

Несмотря на большое разнообразие вариантов нейронных сетей все они имеют общие черты. Так все они, также как и мозг человека, состоят из большого числа однотипных элементов – нейронов, которые имитируют нейроны головного мозга, связанных между собой.

На рис.1 показана схема нейрона

                    

d0.1

Из рисунка видно, что искусственный нейрон, так же как и живой, состоит из синапсов, связывающих входы нейрона с ядром, ядра нейрона, которое осуществляет обработку входных сигналов и аксона, который связывает нейрон с нейронами следующего слоя. Каждый синапс имеет вес, который определяет насколько соответствующий вход нейрона влияет на его состояние. Состояние нейрона определяется по формуле

  (1)

где

n - число входов нейрона

xi – значение i-го входа нейрона

wi – вес i-го синапса

Затем определяется значение аксона нейрона по формуле

Y = f(S)   (2)

Где f - некоторая функция ,которая называется активационной. Наиболее часто в качестве активационной функции используется так называемый сигмоид, который имеет следующий вид:

(3)

Основное достоинство этой функции в том, что она дифференцируема на всей оси абсцисс и имеет очень простую производную:

(4)

При уменьшении параметра α сигмоид становится более пологим, вырождаясь в горизонтальную линию на уровне 0,5 при α =0. При увеличении α сигмоид все больше приближается к функции единичного скачка.

Алгоритм обратного распространения

Нейронные сети обратного распространения – это мощнейший инструмент поиска закономерностей, прогнозирования, качественного анализа. Такое название – сети обратного распространения (back propagation) они получили из-за используемого алгоритма обучения, в котором ошибка распространяется от выходного слоя к входному, т.е. в направлении, противоположном направлению распространения сигнала при нормальном функционировании сети.

Нейронная сеть обратного распространения состоит из нескольких слоев нейронов, причем каждый нейрон слоя i связан с каждым нейроном слоя i+1, т.е. речь идет о полносвязной НС.

В общем случае задача обучения НС сводится к нахождению некой функциональной зависимости Y=F(X) где X-вектор входной, а Y -выходной векторы. В общем случае такая задача, при ограниченном наборе входных данных имеет бесконечное множество решений. Для ограничения пространства поиска при обучении ставится задача минимизации целевой функции ошибки НС, которая находится по методу наименьших квадратов:

 (1)

где  – реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; djp – идеальное (желаемое) выходное состояние этого нейрона.

Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

 (2)

Здесь wij – весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n,  – коэффициент скорости обучения, 0<<1.

Как показано в [2],

(3)

Здесь под yj, подразумевается выход нейрона j, а под sj – взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dyj/dsj является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим,  функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

 (4)

Третий множитель sj/wij, очевидно, равен выходу нейрона предыдущего слоя yi(n-1).

Что касается первого множителя в (3), он легко раскладывается следующим образом[2]:

(5)

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

(6)

мы получим рекурсивную формулу для расчетов величин j(n) слоя n из величин k(n+1) более старшего слоя n+1.

(7)

Для выходного же слоя

(8)

Теперь мы можем записать (2) в раскрытом виде:

(9)

Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (9) дополняется значением изменения веса на предыдущей итерации

(10)

где  – коэффициент инерционности, t – номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что

(11)

где M – число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение; yi(n-1)=xij(n) – i-ый вход нейрона j слоя n.

yj(n) = f(sj(n)), где f() – сигмоид  (12)

yq(0)=Iq, (13)

где Iq – q-ая компонента вектора входного образа.

2. Рассчитать (N) для выходного слоя по формуле (8).

Рассчитать по формуле (9) или (10) изменения весов w(N) слоя N.

3. Рассчитать по формулам (7) и (9) (или (7) и (10)) соответственно (n) и w(n) для всех остальных слоев, n=N-1,...1.

4. Скорректировать все веса в НС

(14)

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае – конец.

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других.


 

А также другие работы, которые могут Вас заинтересовать

33431. Финансовый план 24.12 KB
  Финансовый план баланс доходов и расходов предприятия состоит из четырех разделов: доходы и поступления средств расходы и отчисления кредитные взаимоотношения взаимоотношения с бюджетом. Доходы и поступления средств 1. Планируемые внереализационных доходы в том числе: доходы от долевого участия в уставном капитале других предприятий; доходы полученные от ценных бумаг; доходы от хранения денежных средств на депозитных счетах в банках и других финансовокредитных учреждениях; доходы от сдачи имущества в аренду.
33432. Финансовые результаты предприятия 22.58 KB
  Анализ формирования и использования прибыли. Определяются абсолютные суммы средств выплачиваемых из прибыли их динамика и структура. Использование прибыли означает уплату в бюджет налога на прибыль; распределение прибыли оставшейся в распоряжении предприятия. Налог на прибыль уплачивается в бюджет не со всей суммы прибыли отчетного года а с так называемой налоговой прибыли налогооблагаемой прибыли.
33433. Функции финансового менеджмента 21.87 KB
  Функции объекта управления воспроизводственная обеспечивает воспроизводство авансированного капитала на расширенной основе; производственная – обеспечение непрерывного функционирования предприятия и кругооборота капитала; контрольная контроль управления капиталом предприятием. Функции субъекта управления прогнозирование финансовых ситуаций и состояний; планирование финансовой деятельности; регулирование; координация деятельности всех финансовых подразделений с основным вспомогательным и обслуживающим подразделениями предприятия; анализ и...
33434. Чистый поток наличности 22.29 KB
  Именно чистые денежные потоки различных периодов дисконтируются при оценке эффективности проекта. На начальной стадии осуществления проекта инвестиционный период денежные потоки как правило оказываются отрицательными. Дополнительная выручка от реализации продукции равно как и дополнительные производственные затраты возникшие в ходе осуществления проекта могут быть как положительными так и отрицательными величинами. Наряду с денежными потоками при оценке инвестиционного проекта используется также накопленный кумулятивный денежный...
33435. Анализ денежных потоков 22.32 KB
  С точки зрения руководства предприятия на динамическом уровне представляет собой план будущего движения денежных фондов предприятия во времени либо сводку данных об их движении в предшествующих периодах. Цель анализа денежных потоков это прежде всего анализ финансовой устойчивости и доходности предприятия. Его исходным моментом является расчет денежных потоков прежде всего от операционной текущей деятельности.
33436. Виды источников финансирования 23.06 KB
  Уровень самофинансирования предприятия зависит не только от его внутренних возможностей но и от внешней среды налоговой бюджетной таможенной денежнокредитной политики государства. Основные формы внутреннего финансирования это: В составе внутренних источников основное место принадлежит прибыли остающейся в распоряжении фирмы которая распределяется на цели накопления и потребления. Источником финансирования являются доходы получаемые от внереализационных операций за вычетом расходов на их осуществление.
33437. Виды и методы финансового планирования 22.09 KB
  планы динамики активов предприятия в целом его структурных элементов а также планы применяемых финансовых ресурсов. Основными видами текущих финансовых планов являются баланс а также план доходов и расходов предприятия план поступления и расходования денежных средств план формирования и распределения финансовых ресурсов а также капитальный бюджет. Планирование финансовых показателей осуществляется посредством определенных методов: нормативного расчетноаналитического балансового метода оптимизации плановых решений...
33438. Выручка от реализации: способы определения, назначение 24.28 KB
  Выручка отличается от прибыли так как прибыль это выручка минус расходы издержки которые компания понесла в процессе производства своих продуктов. Для благотворительных организаций выручка включает общую стоимость полученных денежных подарков. Выручка от реализации продукции работ услуг включает в себя денежные средства либо иное имущество в денежном выражении полученные или подлежащие получению в результате реализации товаров готовой продукции работ услуг по ценам тарифам в соответствии с договорами.
33439. УПРАВЛЕНИЕ ДЕБИТОРСКОЙ ЗАДОЛЖНОСТЬЮ ВИДЫ 22.48 KB
  RTR = продажи в кредит или выручка средняя дебиторская задолженность. Дебиторская задолженность делится на две группы: 1. дебиторская задолженность за товары работы и услуги срок оплаты которых не наступил.