45355

Рекуррентные сети

Доклад

Информатика, кибернетика и программирование

В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями что привело к новым неожиданным результатам. Таким образом под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1t и y2t а в следующий момент времени под воздействием этих сигналов подаваемых на вход вырабатываются новые выходные сигналы y1t1 и y2t1. Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала поэтому для...

Русский

2013-11-16

91.5 KB

31 чел.

15 Рекуррентные сети

Как показали нейрофизиологические исследования, мозг человека имеет гораздо более сложную структуру и механизмы взаимодействия между нейронами, чем те, которые реализованы в рассмотренных выше искусственных нейронных сетях. В частности, между биологическими нейронами выявлено большое число не только прямых, но и обратных связей. В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями, что привело к новым неожиданным результатам.

Рассмотрим персептрона, у которого выходные сигналы у1 и у2 через элементы единичных задержек z-l подаются обратно на входы персептрона (рис. 5.10). Таким образом, под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1(t) и y2(t), а в следующий момент времени под воздействием этих сигналов, подаваемых на вход, вырабатываются новые выходные сигналы y1(t+1) и y2(t+1).

Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала, поэтому для обучения рекуррентных сетей может быть применен метод обратного распространения ошибки.

В настоящее время нашли применение рекуррентные нейросети, в которых элементы единичных задержек включены как в обратные, так и во входные связи, а сами обратные связи исходят как с выходных нейронов, так и с нейронов скрытых слоев.

а)

б)

Рисунок 5.10 – Рекуррентная сеть на базе персептрона (а) и идентичная ей развернутый персептрон (б)

На рисунке ниже приведена сеть, имеющая один вход и один выход, причем как входной, так и выходной сигналы подаются на нейроны скрытого слоя через элементы задержек. Таким образом, выходной сигнал, образующийся в момент времени t+1, является функцией N+Р переменных:

,

из которых N переменных представляют собой последовательность входных сигналов, а Р переменных являются ответами персептрона в разные моменты времени и называются контекстными аргументами.

Рисунок 5.11 – Рекуррентная сеть, имеющая N-1 элементов задержек входного сигнала и Р элементов задержек в обратной связи

Сети такого типа широко применяются для математического моделирования динамических объектов и может использоваться для управления данного объекта.

Если дальше развивать вопрос о возможной классификации нейросетей, то можно выделить бинарные и аналоговые сети. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше перцептрон. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Еще одна классификация делит нейросетей на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.

Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций нейронных сетей встречаются такие, при классификации которых по принципу обучения не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга. Эти сети обычно используются для организации ассоциативной памяти.

Структурная схема сети Хопфилда состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан со всеми остальными нейронами, а также имеет один вход, через который осуществляется ввод сигнала.

Рисунок – Структурная схема сети Хопфилда

Такая нейронная сеть работает следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного сигнала, поданного на её вход, выделить соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов.

Рисунок – Структурная схема сети Хэмминга

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то такие задачи успешно решает сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объёмом вычислений.

Сеть Хэмминга состоит из двух слоев. Первый и второй слои имеют по m (m – число образцов) нейронов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.


z-1

z-1

x1

2

y1

y2

x1

x2

y1(t)

y2(t)

y1(t+1)

y2(t+1)

z-1

z-1

z-1

z-1

z-1

x(t)

y(t)

N-1

P


 

А также другие работы, которые могут Вас заинтересовать

40766. Стилістика як мовознавча дисципліна Стилістична система української мови. Стилістична норма 670.91 KB
  Стилістика як мовознавча дисципліна Стилістична система української мови. Стилістична норма Мета: поглибити знання студентів про систему стилів ознайомити студентів із стилістичними нормами набуття ними знань щодо стилістичних особливостей сучасної української літературної мови; вивчення особливостей функціонування офіційноділового наукового публіцистичного художнього та розмовного стилів розкрити усі параметри їх характеристик їх різновиди; розвивати вміння будувати висловлювання за даним стилем; виховувати мовне чуття яке...
40767. Ординалістська теорія поведінки споживача. Гранична норма заміщення благ: суть і методика обчислення 61.08 KB
  Криві байдужості як спеціальний інструментарій мікроекономічного аналізу. Карта байдужості. Із цієї гіпотези можна зробити висновок що криві байдужості випуклі до початку координат. Крива байдужості Залежність сукупної корисності від кількості двох товарів TU крива споживчої байдужості однакової сукупної корисності.
40768. МОДЕЛЮВАННЯ ПОВЕДІНКИ СПОЖИВАЧА НА РИНКУ ТОВАРІВ 138.97 KB
  Тоді формула бюджетного обмеження матиме вигляд: Гранична норма заміщення благом Х витрат споживача на інші блага виражається в грошовій формі й означає міру готовності пожертвувати можливістю витратити бюджет на інші блага задля споживання додаткової одиниці Х залишаючись на даній кривій байдужості.Побудова лінії Енгеля на основі лінії дохід ...
40769. Попит, пропозиція їх взаємовідносини 78.95 KB
  Такими є основні контури моделі в теорії попиту і пропозиції що посідає одне з найважливіших місць у поясненні поведінки ринкових субєктів як на мікро так і на макрорівні. Функція на якій базується модель попиту має вигляд 5.1 де QD обсяг величина попиту на товар одиниць за проміжок часу; P ціна на товар грош. Обсяг величина попиту є саме такою кількістю товару яку бажає і може придбати споживач споживачі в певний проміжок часу за деякою ціною з діапазону можливих цін за інших незмінних умов.
40770. Економічна природа лізингового кредиту 32.86 KB
  Об'єктом предметом лізингу є будьяке нерухоме і рухоме майно яке може бути віднесене до основних фондів: машини устаткування транспортні засоби обчислювальна та інша техніка будинки споруди системи телекомунікацій тощо не заборонене законодавством до вільного обігу на ринку. Суб'єктами лізингу як правило є три особи: постачальник або продавець предмету лізингу підприємство організація та інші суб'єкти господарювання які здійснюють виробництво і реалізацію машин і обладнання; лізингодавець суб'єкт господарювання який...
40771. Валютні відносини та валютні системи 444.55 KB
  Поняття та види валюти. У цей момент національні гроші набувають форми валюти. Використання валюти для обслуговування зовнішньоекономічних відносин надає останнім специфічної форми валютних відносин. Залежно від економічного призначення валютних платежів у валютних відносинах можна виділити такі складові: міжнародні розрахунки за зовнішньоторговельними операціями; одержання і погашення різних видів міжнародних позичок; переміщення валюти при здійсненні зовнішніх інвестицій; переміщення валюти при наданні економічної і технічної...
40772. Логос античної і середньовічної філософії 40.42 KB
  Античні філософи Анаксагор Анаксімандр Анаксімен Аристокл Аристотель Геракліт Гіппій Горгій Демокріт Демокріт Емпедокл Епіктет Епікур Зенон Ксенофан Левкіп Лукрецій Кар Марк Аврелій Марк Терренцій Варрон Меліс Панецій Парменід Піфагор Платон Плотін Порфирій Посідоній Прарменід Продік Прокл Протагор Сенека Сократ Фалес Ціцерон Антична філософія. Давньогрецька філософія класичного періоду. Філософія Арістотеля: логіка метафізика етика. Елліністична і римська філософія...
40773. ТЕХНОГЕННІ НЕБЕЗПЕКИ ТА ЇХ НАСЛІДКИ 48.43 KB
  Техногенні небезпеки та їх вражаючі фактори Техногенні небезпеки це небезпеки повязані з використанням транспортних засобів експлуатацією транспортних комунікацій використанням горючих легкозаймистих і вибухонебезпечних речовин та матеріалів хімічних речовин небезпечних гідродинамічних обєктів та різними видами випромінювання. Станом на 2005 рік Державний реєстр потенційно небезпечних обєктівПНО містить відомості про 9000 обєктів до переліку яких входять промислові підприємства шахти карєри магістральні газо нафто і...