36245

Распознавание образов: подходы

Доклад

Информатика, кибернетика и программирование

Ассоциативность памяти и задача распознавания образов Динамический процесс последовательной смены состояний нейронной сети Хопфилда завершается в некотором стационарном состоянии являющемся локальным минимумом энергетической функции ES. Невозрастание энергии в процессе динамики приводит к выбору такого локального минимума S в бассейн притяжения которого попадает начальное состояние исходный пред'являемый сети образ S0. Поскольку для двух двоичных векторов минимальное число изменений компонент переводящее один вектор в другой является...

Русский

2013-09-21

36 KB

4 чел.

31. Распознавание образов: подходы.

Ассоциативность памяти и задача распознавания образов

Динамический процесс последовательной смены состояний нейронной сети Хопфилда завершается в некотором стационарном состоянии, являющемся локальным минимумом энергетической функции E(S). Невозрастание энергии в процессе динамики приводит к выбору такого локального минимума S, в бассейн притяжения которого попадает начальное состояние (исходный, пред'являемый сети образ) S0. В этом случае также говорят, что состояние S0 находится в чаше минимума S.

При последовательной динамике в качестве стационарного состояния будет выбран такой образ S, который потребует минимального числа изменений состояний отдельных нейронов. Поскольку для двух двоичных векторов минимальное число изменений компонент, переводящее один вектор в другой, является расстоянием Хемминга r H(S,S0), то можно заключить, что динамика сети заканчивается в ближайшем по Хеммингу локальном минимуме энергии.

Пусть состояние S соответствует некоторому идеальному образу памяти. Тогда эволюцию от состояния S0 к состоянию S можно сравнить с процедурой постепенного восстановления идеального образа S по его искаженной (зашумленной или неполной) копии S0. Память с такими свойствами процесса считывания информации является ассоциативной. При поиске искаженные части целого восстанавливаются по имеющимся неискаженным частям на основе ассоциативных связей между ними.

Ассоциативный характер памяти сети Хопфилда качественно отличает ее от обычной, адресной, компьютерной памяти. В последней извлечение необходимой информации происходит по адресу ее начальной точки (ячейки памяти). Потеря адреса (или даже отного бита адреса) приводит к потере доступа ко всему информационному фрагменту. При использовании ассоциативной памяти доступ к информации производится непосредственно по ее содержанию, т.е. по частично известным искаженным фрагментам. Потеря части информации или ее информационное зашумление не приводит к катастрофическому ограничению доступа, если оставшейся информации достаточно для извлечения идеального образа.

Поиск идеального образа по имеющейся неполной или зашумленной его версии называется задачей распознавания образов. В нашей лекции особенности решения этой задачи нейронной сетью Хопфилда будут продемонстрированы на примерах, которые получены с использованием модели сети на персональной ЭВМ.

В рассматриваемой модели сеть содержала 100 нейронов, упорядоченных в матрицу 10 x 10. Сеть обучалась по правилу Хебба на трех идеальных образах - шрифтовых начертаниях латинских букв M, A и G (Рис. 8.3.). После обучения нейросети в качестве начальных состояний нейронов пред'являлись различные искаженные версии образов, которые в дальнейшем эволюционировали с последовательной динамикой к стационарным состояниям.

Рис. 8.3. Идеальные образы обучающей выборки. Темные квадратики соответствуют нейронам в состоянии +1, светлые -1.

Для каждой пары изображений на рисунках этой страницы, левый образ является начальным состоянием, а правый - результатом работы сети - достигнутым стационарным состоянием.

Рис. 8.4. (A) - Один из идеальных образов является стационарной точкой. (Б) - Образ, заданный другим шрифтом, удачно распознается.

Рис. 8.5. (A,Б) - Образы с информационным шумом удачно распознаются.

Рис. 8.6. Образ может быть распознан по небольшому фрагменту.

Рис. 8.7. (A) - Пример релаксации к ложному образу. (Б) - Добавление информации к левой картинке (А) приводит к правильному распознаванию.

Образ на Рис. 8.4.(А) был выбран для тестирования адекватности поведения на идеальной задаче, когда пред'явленное изображение точно соотвествует информации в памяти. В этом случае за один шаг было достигнуто стационарное состояние. Образ на Рис. 8.4.(Б) характерен для задач распознавания текста независимо от типа шрифта. Начальное и конечное изображения безусловно похожи, но попробуйте это об'яснить машине!

Задания на Рис. 8.5 характерны для практических приложений. Нейросетевая система способна распознавать практически полностью зашумленные образы. Задачи, соответствующие Рис. 8.6. и 8.7.(Б), демонстрируют замечательное свойство сети Хопфилда ассоциативно узнавать образ по его небольшому фрагменту. Важнейшей особенностью работы сети является генерация ложных образов. Пример релаксации к ложному образу показан на Рис. 8.7.(А). Ложный образ является устойчивым локальным экстремумом энергии, но не соответствует никакому идеальному образу. Он является в некотором смысле собирательным образом, наследующим черты идеальных собратьев. Ситуация с ложным образом эквивалентна нашему "Где-то я уже это видел".

В данной простейшей задаче ложный образ является "неверным" решением, и поэтому вреден. Однако, можно надеяться, что такая склонность сети к обобщениям наверняка может быть использована. Характерно, что при увеличении об'ема полезной информации (сравните Рис. 8.7.(А) и (Б)), исходное состояние попадает в область притяжения требуемого стационарного состояния, и образ распознается.

Несмотря на интересные качества, нейронная сеть в классической модели Хопфилда далека от совершенства. Она обладает относительно скромным об'емом памяти, пропорциональным числу нейронов сети N, в то время как системы адресной памяти могут хранить до 2N различных образов, используя N битов. Кроме того, нейронные сети Хопфилда не могут решить задачу распознавания, если изображение смещено или повернуто относительно его исходного запомненного состояния. Эти и другие недостатки сегодня определяют общее отношение к модели Хопфилда, скорее как к теоретическому построению, удобному для исследований, чем как повседневно используемому практическому средству.

На следующих лекциях мы рассмотрим развитие модели Хопфилда, модификации правила Хебба, увеличивающие об'ем памяти, а также приложения вероятностных обобщений модели Хопфилда к задачам комбинаторной оптимизации.


 

А также другие работы, которые могут Вас заинтересовать

37094. Февральская революция 1917 18.58 KB
  2 Одновременно с возникновением Временного правительства и подчиненных ему административных учреждений сложилась другая система органов власти – советы рабочих солдатских и крестьянских депутатов. Именно такой подход был наиболее юридически грамотным но стремление Временного правительства действовать строго в рамках закона интерпретировалось как нежелание учитывать интересы трудящихся. Падению авторитета Временного правительства непосредственно способствовала и ситуация двоевластия. 28 февраля на заседании Исполкома Петроградского Совета...
37095. 1917 год – от Февраля к Октябрю: борьба политических сил за выбор пути развития страны 22.69 KB
  правительство приняло решение о введении в Петрограде карточной системы распределения продуктов. Петроградский Совет стал первым народным правительством. Вечером 2 марта было сформировано Временное правительство. Временное правительство выражало интересы буржуазнопомещичьих кругов.
37096. Формирование советской политической системы. Временный блок большевиков с левыми эсерами. Разгон Учредительного собрания 21.09 KB
  Для укрепления власти большевики стремились привлечь на свою сторону крестьянство. Большевики и левые эсеры полностью поддержали политику Советского правительства и выступили против передачи власти предстоящему Учредительному собранию. Вскоре новый исполком крестьянского съезда Советов в состав которого были избраны только большевики и левые эсеры присоединился к ВЦИКу.1917 большевики заключили официальный блок с левыми эсерами которые вошли в правительство и возглавили пятьнаркоматов.
37097. Белое движение 15.26 KB
  Цель инициаторов Белого движения ген. Причинами поражения Белого движения являлись: недостаточно скоординированные действия разрозненность очагов антибольшевистского сопротивления отсутствие детальной политической программы поддержки широких слоев населения прежде всего крестьянства. Красное движение Состав красного движения: пролетариат бедное крестьянство солдаты часть интеллигенции и офицерства. Более однородный состав Представители красного движения:...
37098. ВОЕ́ННЫЙ КОММУНИ́ЗМ 12.75 KB
  Политика военного коммунизма включала комплекс мероприятий затронувших экономическую и социальнополитическую сферу. Основой военного коммунизма были чрезвычайные меры в снабжении городов и армии продовольствием свертывание товарноденежных отношений национализации всей промышленности включая мелкую продразверстка снабжение населения продовольственными и промышленными товарами по карточкам всеобщая трудовая повинность и максимальная централизация управления народным хозяйством и страной в целом....
37099. Причины перехода к НЭПу 16.36 KB
  Массовые крестьянские восстания Падение промышленного производства Волнения городского населения в 7 раз Беспорядки в армии и на флоте Уменьшение валовой продукции Угроза разрыва между рабочим классом и крестьянством Необходимость создания механизма реализации материальных интересов всех слоев населения Обобщение предыдущей практики социалистического строительства Новая экономическая политика экономическая политика проводившаяся в Советской России и СССР в 1920е годы. Новая экономическая политика имела целью восстановление...
37100. Национальная политика советской власти. Образование Союза Советских Социалистических Республик 20.49 KB
  Образование Союза Советских Социалистических Республик Объединительное движение по созданию Советского многонационального государства началось сразу после победы Октябрьской революции и распада империи и прошло три этапа. ознаменовался рождением Российской Советской Федеративной Социалистической Республики которая последовательно по мере реализации курса на равноправие народов превращалась в федерацию нового типа. На первом этапе на территории бывшей царской России возникли автономные республики территориальные автономии с учетом...
37101. Национальная политика первых лет Советской власти. Образование СССР 17.32 KB
  Большевистская идея мировой революции и создания в будущем Всемирной Федеративной Республики Советов форсировала новый объединительный процесс. В связи с победой советской власти на основной территории бывшей Российской империи возникли и другие предпосылки для объединительного процесса единый характер политического строя диктатура пролетариата в форме республики Советов сходные черты организации государственной власти и управления. В большинстве республик власть принадлежала национальным коммунистическим партиям входившими в состав...
37102. Индустриализация 36.5 KB
  Необходимость индустриализации: экономическая: крупная промть определяет экономическое развитие страны в целом. Военнополитическая без индустриализации невозможно обеспечить техникоэкономическую независимость страны и ее оборонную мощь. Проблемы создания индустриализации стали первоочередными в конце 1925г. Источники индустриализации: внутренние накопления: внутренние займы выкачивание средств из деревни доходы от внешней торговли дешевая рабочая сила энтузиазм трудящихся труд заключенных.