45355

Рекуррентные сети

Доклад

Информатика, кибернетика и программирование

В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями что привело к новым неожиданным результатам. Таким образом под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1t и y2t а в следующий момент времени под воздействием этих сигналов подаваемых на вход вырабатываются новые выходные сигналы y1t1 и y2t1. Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала поэтому для...

Русский

2013-11-16

91.5 KB

33 чел.

15 Рекуррентные сети

Как показали нейрофизиологические исследования, мозг человека имеет гораздо более сложную структуру и механизмы взаимодействия между нейронами, чем те, которые реализованы в рассмотренных выше искусственных нейронных сетях. В частности, между биологическими нейронами выявлено большое число не только прямых, но и обратных связей. В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями, что привело к новым неожиданным результатам.

Рассмотрим персептрона, у которого выходные сигналы у1 и у2 через элементы единичных задержек z-l подаются обратно на входы персептрона (рис. 5.10). Таким образом, под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1(t) и y2(t), а в следующий момент времени под воздействием этих сигналов, подаваемых на вход, вырабатываются новые выходные сигналы y1(t+1) и y2(t+1).

Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала, поэтому для обучения рекуррентных сетей может быть применен метод обратного распространения ошибки.

В настоящее время нашли применение рекуррентные нейросети, в которых элементы единичных задержек включены как в обратные, так и во входные связи, а сами обратные связи исходят как с выходных нейронов, так и с нейронов скрытых слоев.

а)

б)

Рисунок 5.10 – Рекуррентная сеть на базе персептрона (а) и идентичная ей развернутый персептрон (б)

На рисунке ниже приведена сеть, имеющая один вход и один выход, причем как входной, так и выходной сигналы подаются на нейроны скрытого слоя через элементы задержек. Таким образом, выходной сигнал, образующийся в момент времени t+1, является функцией N+Р переменных:

,

из которых N переменных представляют собой последовательность входных сигналов, а Р переменных являются ответами персептрона в разные моменты времени и называются контекстными аргументами.

Рисунок 5.11 – Рекуррентная сеть, имеющая N-1 элементов задержек входного сигнала и Р элементов задержек в обратной связи

Сети такого типа широко применяются для математического моделирования динамических объектов и может использоваться для управления данного объекта.

Если дальше развивать вопрос о возможной классификации нейросетей, то можно выделить бинарные и аналоговые сети. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше перцептрон. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Еще одна классификация делит нейросетей на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.

Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций нейронных сетей встречаются такие, при классификации которых по принципу обучения не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга. Эти сети обычно используются для организации ассоциативной памяти.

Структурная схема сети Хопфилда состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан со всеми остальными нейронами, а также имеет один вход, через который осуществляется ввод сигнала.

Рисунок – Структурная схема сети Хопфилда

Такая нейронная сеть работает следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного сигнала, поданного на её вход, выделить соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов.

Рисунок – Структурная схема сети Хэмминга

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то такие задачи успешно решает сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объёмом вычислений.

Сеть Хэмминга состоит из двух слоев. Первый и второй слои имеют по m (m – число образцов) нейронов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.


z-1

z-1

x1

2

y1

y2

x1

x2

y1(t)

y2(t)

y1(t+1)

y2(t+1)

z-1

z-1

z-1

z-1

z-1

x(t)

y(t)

N-1

P


 

А также другие работы, которые могут Вас заинтересовать

25510. Неполная семья 13.95 KB
  В больших семьях с их богатыми внутренними связями возможно перераспределение возникающих напряжений а в диадических мать ребенок отец ребенок любое событие может приобретать преувеличенное значение. Такая мать а иногда это может быть и отец очень болезненно воспринимает неизбежный кризис в своих взаимоотношениях с подростком когда первоначальный эмоциональный альянс разрушается. Это происходит в том случае если мать находится от него в сильной эмоциональной зависимости и начинает тяжело переживать его первые шаги в самостоятельной...
25511. Нормативно правовая основа реализации государственной политики в отношении молодых семей 18.2 KB
  В нашей стране отсутствует четкая и единая согласованная политика в отношении молодой семьи а попытки ее выстраивания носят случайный характер. Однако в рамках государственной молодежной политики статус молодой семьи более определен. В отдельном отделе отражены меры по государственной поддержке молодой семьи: Предусмотреть для молодых семей льготы в выделении земельных участков для индивидуального жилищного строительства при предоставлении долгосрочных кредитов на строительство и приобретение жилых домов отдельных квартир для уплаты...
25512. Конструкционные материалы, обрабатываемые давлением. Свойства материалов 200 KB
  Диаграмма фазового равновесия (диаграмма состояния) железо-углерод (иногда говорят железо-цементит) — графическое отображение фазового состояния сплавов железа с углеродом в зависимости от их химического состава и температуры.
25513. Особенности межличностной коммуникации в молодой семье 14.23 KB
  Межличностное общение в семье является ключевым моментом ее жизнедеятельности. Задачи коммуникации: естественный обмен информации согласование усилий выполнение ролей в совместной деятельности установление и развитие межличностных отношений познание партнёра и самопознание Особенностью межличностной коммуникации в семье является высокая эмоциональная насыщенность и интенсивность общения. В работах Петровской андреевой Сатир Роджерса Гордона и других выделены условия эффективного межличностного общения в семье: 1 открытость 2 высокая...
25515. планирование семьи появился в XX веке когда проблемой и процессом выбора числа детей в семье и времени их ро. 24.2 KB
  Деятельность служб планирования семьи. В широком смысле под планированием семьи понимается совокупность социальноэкономических правовых медицинских педагогических мероприятий направленных на рождение желанных детей воспитание в обществе культуры осознанного родительства достижение гармонии в браке поддержание репродуктивного здоровья населения. Термин планирование семьи появился в XX веке когда проблемой и процессом выбора числа детей в семье и времени их рождения управлять стало максимально возможно.
25516. Повторный брак 19.19 KB
  Во втором типе брака психологические проблемы могут возникать при отказе детей признать право отчима на полноправное место в структуре семейных отношений. Он может восприниматься ими как незваный гость отнимающий у детей часть материнского времени и любви. Жена начинает чувствовать себя обиженной и раздраженной когда новый муж позволяет себе критиковать ее детей. Она называет семью созданную мужчиной и женщиной имеющих детей от первого брака смешанной семьей.
25517. Половое воспитание в России: история и современное состояние 24.69 KB
  Кроме того по решению Министерства просвещения СССР с 1983 года в программы школ страны были введены обязательные курсы Гигиеническое и половое воспитание 8 кл. В постсоветский период начинают распространяться различного рода программы сексуального просвещения. Появляются всё новые и новые фантастические программы оздоровления психического совершенствования эстетического развития и т. Возникла потребность в переработки программы 1982 года по данному предмету.
25518. Понятие, особенности молодой семьи 15.71 KB
  Понятие Молодая семья давно используется в демографической социологической педагогической литературе. Использовалось в постановлении ЦК КПСС и совета министров СССР от 22 января 1981 г О мерах по усилению государственной помощи семьям имеющим детей. Затем стало выделяться понятие студенческая семьясм. Молодая семья возраст каждого из супругов которой не превышает 30 лет либо не полная семья состоящая из 1 молодого родителя возраст которого не превышает 30 и одного и более детей.