45355

Рекуррентные сети

Доклад

Информатика, кибернетика и программирование

В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями что привело к новым неожиданным результатам. Таким образом под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1t и y2t а в следующий момент времени под воздействием этих сигналов подаваемых на вход вырабатываются новые выходные сигналы y1t1 и y2t1. Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала поэтому для...

Русский

2013-11-16

91.5 KB

28 чел.

15 Рекуррентные сети

Как показали нейрофизиологические исследования, мозг человека имеет гораздо более сложную структуру и механизмы взаимодействия между нейронами, чем те, которые реализованы в рассмотренных выше искусственных нейронных сетях. В частности, между биологическими нейронами выявлено большое число не только прямых, но и обратных связей. В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями, что привело к новым неожиданным результатам.

Рассмотрим персептрона, у которого выходные сигналы у1 и у2 через элементы единичных задержек z-l подаются обратно на входы персептрона (рис. 5.10). Таким образом, под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1(t) и y2(t), а в следующий момент времени под воздействием этих сигналов, подаваемых на вход, вырабатываются новые выходные сигналы y1(t+1) и y2(t+1).

Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала, поэтому для обучения рекуррентных сетей может быть применен метод обратного распространения ошибки.

В настоящее время нашли применение рекуррентные нейросети, в которых элементы единичных задержек включены как в обратные, так и во входные связи, а сами обратные связи исходят как с выходных нейронов, так и с нейронов скрытых слоев.

а)

б)

Рисунок 5.10 – Рекуррентная сеть на базе персептрона (а) и идентичная ей развернутый персептрон (б)

На рисунке ниже приведена сеть, имеющая один вход и один выход, причем как входной, так и выходной сигналы подаются на нейроны скрытого слоя через элементы задержек. Таким образом, выходной сигнал, образующийся в момент времени t+1, является функцией N+Р переменных:

,

из которых N переменных представляют собой последовательность входных сигналов, а Р переменных являются ответами персептрона в разные моменты времени и называются контекстными аргументами.

Рисунок 5.11 – Рекуррентная сеть, имеющая N-1 элементов задержек входного сигнала и Р элементов задержек в обратной связи

Сети такого типа широко применяются для математического моделирования динамических объектов и может использоваться для управления данного объекта.

Если дальше развивать вопрос о возможной классификации нейросетей, то можно выделить бинарные и аналоговые сети. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше перцептрон. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Еще одна классификация делит нейросетей на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.

Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций нейронных сетей встречаются такие, при классификации которых по принципу обучения не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга. Эти сети обычно используются для организации ассоциативной памяти.

Структурная схема сети Хопфилда состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан со всеми остальными нейронами, а также имеет один вход, через который осуществляется ввод сигнала.

Рисунок – Структурная схема сети Хопфилда

Такая нейронная сеть работает следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного сигнала, поданного на её вход, выделить соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов.

Рисунок – Структурная схема сети Хэмминга

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то такие задачи успешно решает сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объёмом вычислений.

Сеть Хэмминга состоит из двух слоев. Первый и второй слои имеют по m (m – число образцов) нейронов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.


z-1

z-1

x1

2

y1

y2

x1

x2

y1(t)

y2(t)

y1(t+1)

y2(t+1)

z-1

z-1

z-1

z-1

z-1

x(t)

y(t)

N-1

P


 

А также другие работы, которые могут Вас заинтересовать

29042. Определение числа свай в фундаменте. Конструирование ленточных свайных фундаментов 27 KB
  Определение числа свай в фундаменте. Конструирование ленточных свайных фундаментов. Зная несущую способность сваи Fα и принимая что ростверк обеспечивает равномерную передачу нагрузки на все сваи фундамента необходимое число свай n на 1 м длины ленточного фундамента определяется по формуле: 1 где γк коэффициент надёжности принимаемый в зависимости от способа определения несущей способности сваи; N01 расчётная нагрузка на 1 м длины ленточного фундамента. Число свай на 1 м найденное по формуле 1 может быть дробным.
29043. Определение числа свай в фундаменте. Конструирование отдельно стоящих свайных фундаментов 22 KB
  Определение числа свай в фундаменте. Конструирование отдельно стоящих свайных фундаментов. Зная несущую способность сваи Fα принимая что ростверк обеспечивает равномерную передачу нагрузки на все сваи фундамента необходимое число свай n в кусте определяют по формуле 1 где γк коэффициент надёжности принимаемый от способа определения несущей способности сваи; N01 расчётная нагрузка на куст. Полученное по формуле 1 число свай округляется в сторону увеличения до целого числа.
29044. Договор аренды: понятие, элементы, права и обязанности сторон 125.5 KB
  Договор аренды имущественного найма это соглашениепо которому арендодатель обязуется предоставить арендатору имущество за плату во временное владение и пользование или во временное пользование. Поэтому правовое регулирование аренды обусловлено также платным характером временного пользования. Общие положения об аренде представляют собой нормы которые могут применяться к любым видам договора аренды если иное не установлено правилами об этих договорах ст.
29045. Договор подряда: понятие, элементы, права и обязанности сторон 51.5 KB
  По договору подряда одна сторона подрядчик обязуется выполнить по заданию другой стороны заказчика определенную работу и сдать ее результат заказчику а заказчик обязуется принять результат работы и оплатить его. Особенности данного договора: предметом договора является изготовление или переработка вещи либо выполнение другой работы. Оплачивается результат работы который подлежит передаче заказчику а не процесс; сторонами договора являются: подрядчик физическое или юридическое лицо. Отдельные виды договора подряда: бытовой подряд;...
29046. Договор хранения: понятие, элементы, права и обязанности сторон 87 KB
  Договор хранения: предмет договора виды форма договоров хранения. Права и обязанности сторон по договору хранения Договор хранения соглашение по которому хранитель должен хранить вещь переданную ему поклажедателем и возвратить ее в сохранности. Договоры хранения можно разделить на два вида: бытовые как правило безвозмездные и коммерческие.
29047. Договор займа: понятие, элементы, исполнение договора 46.5 KB
  По договору займа одна сторона займодавец передает в собственность другой стороне заемщику деньги или другие вещи определенные родовыми признаками а заемщик обязуется возвратить займодавцу такую же сумму денег сумму займа или равное количество других полученных им вещей того же рода и качества. Предметом займа обычно являются денежные средства однако заем может предоставляться и иными вещами определенными родовыми признаками например зерном топливом. Договор займа является реальным и односторонним договором и считается...
29048. а предусмотренных обстоятельств страхового случая произвести обусловленную страховую выплату другому лиц. 56 KB
  По договору страхования одно лицо страховщик обязано при наступлении в определенный срок или без указания срока предусмотренных обстоятельств страхового случая произвести обусловленную страховую выплату другому лицу страхователю или иному лицу выгодоприобретателю застрахованному лицу и вправе требовать оплаты страховых премий а страхователь обязан уплачивать страховые премии и вправе требовать предоставления соответствующих страховых выплат. Основная функция страхования распределение разложение имущественных потерь...
29049. Договоры поручения, комиссии, агентирования: сравнительная характеристика 90.5 KB
  Договор поручения Договор поручения это соглашение в силу которого одна сторона поверенный обязуется совершить от имени и за счет другой стороны доверителя определенные юридические действия. Договор поручения тесно связан с институтами представительства и доверенности. В то же время в отличие от представительства призванного в первую очередь определить полномочия представителя вовне перед третьими лицами договор поручения регулирует внутреннюю сторону отношений между представителем и представляемым.
29050. Договор банковского счета: понятие, элементы, права и обязанности сторон, ответственность 74 KB
  Договор банковского счета – соглашение в силу которого банк обязуется принимать и зачислять поступающие на счет открытый клиенту владельцу счета денежные средства выполнять распоряжения клиента о перечислении и выдаче соответствующих сумм со счета и проведении других операций по счету . Банк обязан незамедлительно открыть счет клиенту независимо от того поступили для или от клиента денежные средства или нет. Он также является как правило возмездным поскольку обычно клиент уплачивает банку комиссионные за проведение расчетных...