45355

Рекуррентные сети

Доклад

Информатика, кибернетика и программирование

В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями что привело к новым неожиданным результатам. Таким образом под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1t и y2t а в следующий момент времени под воздействием этих сигналов подаваемых на вход вырабатываются новые выходные сигналы y1t1 и y2t1. Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала поэтому для...

Русский

2013-11-16

91.5 KB

31 чел.

15 Рекуррентные сети

Как показали нейрофизиологические исследования, мозг человека имеет гораздо более сложную структуру и механизмы взаимодействия между нейронами, чем те, которые реализованы в рассмотренных выше искусственных нейронных сетях. В частности, между биологическими нейронами выявлено большое число не только прямых, но и обратных связей. В связи с этим были предприняты попытки дополнить искусственные нейронные сети обратными связями, что привело к новым неожиданным результатам.

Рассмотрим персептрона, у которого выходные сигналы у1 и у2 через элементы единичных задержек z-l подаются обратно на входы персептрона (рис. 5.10). Таким образом, под воздействием входных сигналов х1 и х2 на выходе сети в момент времени t вырабатываются сигналы y1(t) и y2(t), а в следующий момент времени под воздействием этих сигналов, подаваемых на вход, вырабатываются новые выходные сигналы y1(t+1) и y2(t+1).

Для всякой рекуррентной сети может быть построена идентичная сеть без обратных связей с прямым распространением сигнала, поэтому для обучения рекуррентных сетей может быть применен метод обратного распространения ошибки.

В настоящее время нашли применение рекуррентные нейросети, в которых элементы единичных задержек включены как в обратные, так и во входные связи, а сами обратные связи исходят как с выходных нейронов, так и с нейронов скрытых слоев.

а)

б)

Рисунок 5.10 – Рекуррентная сеть на базе персептрона (а) и идентичная ей развернутый персептрон (б)

На рисунке ниже приведена сеть, имеющая один вход и один выход, причем как входной, так и выходной сигналы подаются на нейроны скрытого слоя через элементы задержек. Таким образом, выходной сигнал, образующийся в момент времени t+1, является функцией N+Р переменных:

,

из которых N переменных представляют собой последовательность входных сигналов, а Р переменных являются ответами персептрона в разные моменты времени и называются контекстными аргументами.

Рисунок 5.11 – Рекуррентная сеть, имеющая N-1 элементов задержек входного сигнала и Р элементов задержек в обратной связи

Сети такого типа широко применяются для математического моделирования динамических объектов и может использоваться для управления данного объекта.

Если дальше развивать вопрос о возможной классификации нейросетей, то можно выделить бинарные и аналоговые сети. Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). К этому классу сетей относится и рассмотренный выше перцептрон. В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Еще одна классификация делит нейросетей на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один нейрон. Во втором – состояние меняется сразу у целой группы нейронов, как правило, у всего слоя.

Нейронные сети Хопфилда и Хэмминга

Среди различных конфигураций нейронных сетей встречаются такие, при классификации которых по принципу обучения не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга. Эти сети обычно используются для организации ассоциативной памяти.

Структурная схема сети Хопфилда состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан со всеми остальными нейронами, а также имеет один вход, через который осуществляется ввод сигнала.

Рисунок – Структурная схема сети Хопфилда

Такая нейронная сеть работает следующим образом. Известен некоторый набор двоичных сигналов (изображений, звуковых оцифровок, прочих данных, описывающих некие объекты или характеристики процессов), которые считаются образцовыми. Сеть должна уметь из произвольного сигнала, поданного на её вход, выделить соответствующий образец (если такой есть) или "дать заключение" о том, что входные данные не соответствуют ни одному из образцов.

Рисунок – Структурная схема сети Хэмминга

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то такие задачи успешно решает сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объёмом вычислений.

Сеть Хэмминга состоит из двух слоев. Первый и второй слои имеют по m (m – число образцов) нейронов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.


z-1

z-1

x1

2

y1

y2

x1

x2

y1(t)

y2(t)

y1(t+1)

y2(t+1)

z-1

z-1

z-1

z-1

z-1

x(t)

y(t)

N-1

P


 

А также другие работы, которые могут Вас заинтересовать

24517. Способы реализации взаимных исключений путем запрещения прерываний, использования блокирующих переменных, системных вызовов 103.83 KB
  Поток при входе в критическую секцию запрещает все прерывания а при выходе из критической секции снова их разрешает. Это самый простой но и самый неэффективный способ так как опасно доверять управление системой пользовательскому потоку который может надолго занять процессор а при крахе потока в критической области крах потерпит вся система потому что прерывания никогда не будут разрешены. Для синхронизации потоков одного процесса программист может использовать глобальные блокирующие переменные к которым все потоки процесса имеют прямой...
24518. Назначение и использование семафоров 46.4 KB
  Пусть буферный пул состоит из N буферов каждый из которых может содержать одну запись рис. Для решения задачи введем три семафора: e число пустых буферов; f число заполненных буферов; b блокирующая переменная двоичный семафор используемый для обеспечения взаимного исключения при работе с разделяемыми данными в критической секции. Использование семафоров для синхронизации потоков Здесь операции Р и V имеют следующее содержание: Ре если есть свободные буферы то уменьшить их количество на 1 если нет то перейти в состояние...
24519. Взаимные блокировки процессов. Методы предотвращения, обнаружения и ликвидации тупиков 35.63 KB
  Методы предотвращения обнаружения и ликвидации тупиков. Тупиковые ситуации надо отличать от простых очередей хотя и те и другие возникают при совместном использовании ресурсов и внешне выглядят похоже: процесс приостанавливается и ждет освобождения ресурса. Проблема тупиков включает в себя решение следующих задач: предотвращение тупиков; распознавание тупиков; восстановление системы после тупиков. Другой более гибкий подход динамического предотвращения тупиков заключается в использовании определенных правил при назначении ресурсов процессам.
24520. Функции ОС по управлению памятью. Типы адресов. Преобразование адресов 40.26 KB
  Сама ОС обычно располагается в самых младших или старших адресах памяти. Функциями ОС по управлению памятью являются: отслеживание свободной и занятой памяти; выделение и освобождение памяти для процессов; вытеснение процессов из оперативной памяти на диск когда размеры основной памяти не достаточны для размещения в ней всех процессов и возвращение их в оперативную память когда в ней освобождается место; настройка адресов программы на конкретную область физической памяти. Программист при написании программы в общем случае обращается...
24521. Методы распределения памяти без использования диска (фиксированными, динамическими, перемещаемыми разделами) 83.87 KB
  Методы распределения памяти без использования диска фиксированными динамическими перемещаемыми разделами. Методы распределения памяти. Рассмотрим наиболее общие подходы к распределению памяти которые были характерны для разных периодов развития ОС. Классификация методов распределения памяти 5.
24522. Понятие виртуальной памяти, ее назначение. Свопинг 14.41 KB
  Понятие виртуальной памяти ее назначение. Понятие виртуальной памяти. Необходимым условием для того чтобы программа могла выполняться является ее нахождение в оперативной памяти. Уже давно пользователи столкнулись с проблемой размещения в памяти программ размер которых превышает имеющуюся в наличии свободную память.
24523. Страничное распределение оперативной памяти 90.7 KB
  В общем случае размер виртуального адресного пространства не является кратным размеру страницы поэтому последняя страница каждого процесса дополняется фиктивной областью. Чтобы упростить механизм преобразования адресов размер страницы обычно выбирается равным 2n: 512 1024 и т. Смежные виртуальные страницы не обязательно располагаются в смежных физических страницах. Запись таблицы называемая дескриптором страницы включает следующую информацию: номер физической страницы в которую загружена данная виртуальная страница; признак...
24524. Сегментное распределение оперативной памяти 30.45 KB
  Сегментное распределение оперативной памяти.Сегментное распределение памяти. Рассмотрим каким образом сегментное распределение памяти реализует эти возможности рис. Во время загрузки процесса система создает таблицу сегментов процесса аналогичную таблице страниц в которой для каждого сегмента указывается: начальный физический адрес сегмента в оперативной памяти; размер сегмента; права доступа; признак модификации; признак обращения к данному сегменту за последний интервал времени и т.
24525. Странично-сегментное распределение оперативной памяти 42.01 KB
  Каждый сегмент в свою очередь делится на виртуальные страницы которые нумеруются в пределах сегмента. Оперативная память делится на физические страницы. Перемещение данных между памятью и диском осуществляется не сегментами а страницами. При этом часть страниц процесса размещается в оперативной памяти а часть на диске.