50325

Методы и системы искусственного интеллекта

Лабораторная работа

Информатика, кибернетика и программирование

Коэффициенты веса связей между Sи элементами постоянны. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между и Rэлементами.

Русский

2014-01-21

170 KB

4 чел.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ,

МОЛОДЕЖИ И СПОРТА УКРАИНЫ

ОДЕССКИЙ НАЦИОНАЛЬНЫЙ МОРСКОЙ УНИВЕРСИТЕТ

Кафедра «Информационные технологии»

Лабораторная работа

по предмету

«Методы и системы искусственного интеллекта»

Элементарный перцептрон Розенблатта

Выполнил:

Проверил:

 

          

                                                                                                         

Одесса

2013

Задание:

Выполнить обучение элементарного перцептрона с бинарными S- и А-нейронами и биполярным R-нейроном распознаванию изображений двух заданных букв на рецепторном поле из девяти элементов.

Перцептроны - класс моделей мозга

Перцептроны или персептроны (от perceptio - восприятие) были первыми искусственными нейронными сетями, появившимися в результате многолетних исследований мозга животных и человека. Автор первого перцептрона - американский ученый Френк Розенблатт, впервые опубликовавший свои исследования в этой области в 1957 году. По мнению Ф. Розенблатта, перцептроны, прежде всего, являются классом моделей мозга, объясняющих некоторые его характерные функции. В частности, перцептроны, пусть и в самой элементарной форме, объясняют некоторые проблемы организации памяти биологических систем, демонстрируют механизм приобретения знаний «познающих (cognitive) систем» об окружающем их мире и показывают, что эти знания зависят как от когнитивной системы, так и от окружающей среды. По Розенблатту, для различных видов животных простейшее представление об анатомической структуре нервной системы может быть получено с помощью схемы, представленной на рис. 1.

Каждый из пяти видов информации о внешней среде воспринимается своими специализированными сенсорными нейронами и передается по своим отдельным сенсорным трактам в центральную нервную систему. Через моторные нейроны центральная нервная система связана с мышцами и железами организма. В своих первых работах Розенблатт рассматривал модель только зрительной системы. В наиболее простом виде эта модель включает в себя три последовательно соединенных множества нейронов: чувствительных (S-элементов), ассоциирующих (А-элементов) и реагирующих (R-элементов). S-элементам в нервной системе животного или человека соответствуют сенсорные или рецепторные нейроны, генерирующие сигналы на поступающие внешние раздражения (изображения) и передающие их A-нейронам. А-элементы аналогичны в нервной системе живого организма нейронам, образующим локальный специализированный зрительный центр в коре головного мозга и связывающим рецепторные нейроны с моторными, R-элементам в нервной системе соответствуют эффекторные (моторные) нейроны, упорядоченные в ограниченные топологические структуры и передающие сигналы управления центральной нервной системы к мышцам и железам организма.

Чувствительные S-элементы живого организма (рис. 2) возбуждаются от воздействия энергии света, если величины их входных сигналов превышают некоторый порог θi. Рецепторные нейроны случайным образом связаны с A-элементами, выходные сигналы которых отличны от нуля только в том случае, когда возбуждено достаточно большое число сенсорных нейронов, воздействующих на входы одного ассоциирующего элемента. Простой A-элемент, аналогично простому S-элементу, является активным и выдает единичный выходной сигнал, если алгебраическая сумма сигналов на его входе превышает заданную пороговую величину, в противном случае нейрон находится в невозбужденном состоянии. Коэффициенты (веса) связей между SA-элементами постоянны.

Рис. 1. Структура нервной системы

Рис. 2. Структура модели зрительной системы

Комбинация выходов всех A-элементов представляет собой реакцию двух первых слоев перцептрона на предъявленное входное изображение, которая с помощью выходного слоя нейронов преобразуется в необходимую комбинацию выходных сигналов системы. Часто требуют, чтобы каждому классу входных изображений соответствовал только один определенный активный R-нейрон. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между A- и R-элементами.

Разделение множества М изображений на два класса М1 и М2 можно выполнить с помощью одного выходного элемента. В этом случае изображениям первого класса может соответствовать положительный выходной сигнал (+1) R-элемента, а второго класса - отрицательный (-1).

Выполним обучение элементарного перцептрона с бинарными S- и А-нейронами и биполярным R-нейроном (рис. 3) распознаванию изображений букв Н и П (рис. 4 а, б) на рецепторном поле из девяти элементов (рис. 4 в).

Рис. 3. Элементарный перцептрон

При этом потребуем, чтобы при предъявлении изображения буквы Н на выходе R-элемента был сигнал "-1", при появлении второго изображения - сигнал "+1".

Рис 2.4. Изображения букв Н и П.

Зададим в таблицах 1 и 2 веса связей w1ij (i=1…9,  j=1…6), w2k (к=1…6) соответственно между бинарными S- и A-нейронами и между A-нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; ...; 0,9}.

Таблица 1. Веса w1ij связей перцептрона между S- и A-элементами

w1ij

S1

S2

S3

S4

S5

S6

S7

S8

S9

А1

0,3

0,2

0,1

0,6

0,5

0,4

0,9

0,6

0,7

А2

0,2

0,1

0,3

0,4

0,5

0,6

0,7

0,1

0,9

А3

0,3

0,5

0,1

0,6

0,5

0,4

0,9

0,4

0,7

А4

0,4

0,3

0,2

0,1

0,8

0,7

0,6

0,6

0,9

А5

0,5

0,3

0,3

0,6

0,1

0,2

0,9

0,2

0,7

А6

0,6

0,5

0,4

0,1

0,2

0,3

0,8

0,5

0,8

Таблица 2. Веса w2k связей перцептрона между R- и A-элементами

w2k 

A1

A2

A3

A4

A5

A6

R

0,2

0,8

0,6

0,9

0,8

0,1

Подадим на вход перцептрона изображение буквы Н (рис. 4 а). Это изображение возбуждает все S-нейроны, кроме второго и восьмого. Единичные сигналы с выходов возбужденных бинарных S-нейронов через связи, весовые коэффициенты которых заданы табл. 1, поступают на входы A-нейронов. Суммарный входной сигнал на входе i-го A-элемента определяется соотношением:

    

где Uвх.Aiсигнал на входе i-го A-нейрона; Uвых.Sjсигнал на выходе j-го S-нейрона;

wjiвес связи между jS-нейроном и iA-элементом. Для первого A-нейрона имеем

= 1∙0,3 + 0∙0,2 + 1∙0,1 + 1∙0,6 + 1∙0,5 + 1∙0,4 + + 1∙0,9 + 0∙0,6 + 1∙0,7 = 3,5.

Аналогично вычисляются сигналы на входах остальных A-элементов. Результаты этих вычислений приведены во второй строке табл. 3. В третьей строке этой таблицы - результаты расчетов сигналов на входах A-элементов при предъявлении перцептрону изображения буквы П.

Таблица 2.3. Величины сигналов на входах A-элементов

Изображение

Сигналы на входах A-элементов

Uвх.A1

Uвх.A2

Uвх.A3

Uвх.A4

Uвх.A5

Uвх.A6

Буква Н

3,5

3,6

3,5

3,7

3,3

3,2

Буква П

3,2

3,2

3,4

3,2

3,6

3,5

Для упрощения расчетов положим, что пороги θi, i=1…6, всех A-нейронов одинаковы

θ1= θ2=... = θ6= θ.

Если величина порога θ выбрана меньше 3,2, то при предъявлении любого изображения будут возбуждены все A-нейроны, а если выбрать θ > 3,7, то на выходах всех нейронов будут нулевые сигналы. В обоих этих случаях перцептрон не может выполнять распознавание предъявляемых изображений.

Очевидно, что для обеспечения работоспособности нейронной сети порог θ необходимо выбрать между 3,2 и 3,7 и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества М1, М2 A-элементов, причем желательно, чтобы эти множества не пересекались, т.е.


Пусть выходной сигнал A-элементов определяется соотношением

тогда условие непересечения множеств М1 и М2 выполняется при θ = 3,5 и при предъявлении изображения буквы Н будут возбуждены элементы А1, А2, А3, и А4, а при предъявлении буквы П - нейроны А5 и А6. Рассчитаем с учетом данных табл. 2 сигналы Uвх.RH, Uвх.RП на входе R-нейрона при предъявлении изображений букв Н и П:

= 10,2 + 10,8 + 10,6 + 10,9 + 00,8 + 00,1 = 2,5,

= 0∙0,2 + 0∙0,8 + 0∙0,6 + 0∙0,9 + 1∙0,8 + 1∙0,1 = 0,9.

При величине порога R-элемента θR = 1,7 и предъявлении изображения буквы Н на выходе перцептрона будет сигнал "+1", а при предъявлении второго изображения – сигнал "1", что не соответствует исходным требованиям к выходным сигналам нейронной сети.

Используем для настройки перцептрона -систему подкрепления при величине сигнала подкрепления равном 0,1 и при предъявлении последовательности изображений Н, П, Н, П, ... в моменты времени t1, t2, t3, ... . Процесс адаптации весов связей между R- и A-нейронами иллюстрируется в табл. 4.

Таблица 4. Адаптация весов связей перцептрона с помощью -системы подкрепления

Весовые коэффициенты и входные сигналы

Моменты времени

t0

t1Н

t2П

t3Н

t4П

t5Н

t6П

t7П

t8П

t9П

w21

0,2

0,1

0

0

0

0

0

0

0

0

w22

0,8

0,7

0

0,6

0

0,5

0

0

0

0

w23

0,6

0,5

0

0,4

0

0,3

0

0

0

0

w24

0,9

0,8

0

0,7

0

0,6

0

0

0

0

w25

0,8

0

0,9

0

1

0

1

1

1

1

w26

0,1

0

0,2

0

0,3

0

0,4

0,5

0,6

0,7

Uвх.RH

2,5

2,1

 

1,7

 

1,4

 

 

 

 

Uвх.RП 

0,9

 

1,1

 

1,3

 

1,4

1,5

1,6

1,7

Во втором столбце таблицы при t=t0 приведены значения исходных весов связей и величины сигналов Uвх.RH, Uвх.RП на входе R-элемента при предъявлении соответственно изображений букв Н и П. При первом предъявлении изображения буквы Н в момент времени t1 (обозначено t1Н) в силу наличия ошибочного сигнала на

выходе перцептрона корректируются веса активных связей w21,..., w24 на величину = 0,1. Эта коррекция уменьшает суммарный входной сигнал Uвх.RH до величины 2,1. Пусть функционирование R-элемента описывается соотношением:

где θR - порог R-элемента, тогда для достижения правильной реакции R-элемента на

изображение буквы Н необходимы две повторные коррекции весов связей w21,..., w24. Результаты этих коррекций приведены в табл. 4 соответственно в пятом и седьмом столбцах при  t = t3Н   и  t = t5Н. После момента времени t = t5Н, так как выполняется

условие непересечения множеств М1 и М2, из входной последовательности могут быть исключены изображения буквы Н и предъявляться только изображения буквы П. Результаты коррекции весов связей w25, w26, определяющих сигнал на входе R-элемента при предъявлении изображения буквы П, приведены в последней строке таблицы. Поскольку в рассматриваемом примере коррекция входного сигнала R-элемента при предъявлении изображения буквы П осуществляется только с помощью весов двух

связей, причем, после второй коррекции вес связи w25 принимает максимальное значение и в дальнейшем возрастать не может, то процесс обучения нейронной сети правильной реакции на второе изображение более длительный и заканчивается только при t = t9П.

В табл. 5 приведены результаты настройки элементарного перцептрона при тех же исходных данных, но с помощью -системы подкрепления. Во втором столбце табл. 5 при t=t0 приведены исходные веса связей и величины сигналов на входе R-элемента при предъявлении изображений букв Н и П, а также сумма весов всех связей между R- и А-нейронами. Значения весов связей в третьем столбце таблицы получены после предъявления изображения буквы Н в момент времени t = t1Н. Так как =0,1, Naк =4 и N = 6, то, используя соотношение для расчета приращения весов активных связей, получим:

w1 =w2 =w3 =w4 =  Naк  / N = 0,1–4∙0,1/0,6 = 0,0334,        

а для приращений весов пассивных связей имеем:

w5 =w6 = –Naк  / N= –4∙0,1/0,6 = 0,0667. 

Зная приращения весов связей и используя соотношение:

w2i(t1Н) = w2i(t0) wi, i=1…6,

нетрудно получить и численные значения, приведенные в третьем столбце табл. 5.


Таблица 5. Адаптация весов связей перцептрона с помощью -системы подкрепления

Весовые коэффициенты и входные сигналы

Моменты времени

t0

t1Н

t2П

t3Н

t4П

t5Н

t6П

t7П

t8П

t9П

w21

0,2

0,1666

0,1333

0,1000

0,0800

0,0600

0,0400

0,0200

0,0000

0,0000

w22

0,8

0,7666

0,7333

0,7000

0,6800

0,6600

0,6400

0,6200

0,6000

0,5750

w23

0,6

0,5666

0,5333

0,5000

0,4800

0,4600

0,4400

0,4200

0,4000

0,3750

w24

0,9

0,8666

0,8333

0,8000

0,7800

0,7600

0,7400

0,7200

0,7000

0,6750

w25

0,8

0,8667

0,9341

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

w26

0,1

0,1667

0,2341

0,3004

0,1380

0,4604

0,5404

0,6204

0,7004

0,7754

Uвх.RH

2,5

2,3664

-

2,1000

-

1,9400

-

1,7800

-

1,6250

Uвх.RП 

0,9

-

1,1682

-

1,3800

-

1,5404

-

1,7004

1,7754



3,4

3,3998

3,4004

3,4004

3,4000

3,4004

3,4004

3,4004

3,4004

3,4004

При предъявлении изображения буквы П в момент времени t = t2П активными

являются только нейроны А5 и А6, поэтому Naк = 2 и соотношение (2.2) дает следующие численные значения приращений весов связей:

w5 =w6 = Naк  / N= 0,1–2∙0,1/0,6 = 0,0667
w1 =…=w4 = –Naк  / N= –2∙0,1/0,6 = 0,0333.

Зная приращения wi, (i = 1…6) и используя выражение:

w2i(t2П) = w2i(t1Н) + wi, i=1…6,

несложно получить данные четвертого столбца табл. 2.5.

При расчете приращений весов связей при t = t3Н оказывается, что приращение w5 больше , чем возможно изменение веса связи w25:

w5 = Naк  / N= –4∙0,1/0,6=0,0667 > 1– w25(t2П)=1–0,9341=0,0659.

Поэтому для выполнения условия консервативности относительно суммы весов связей необходимо величину разности

1w5= w5 – |lw25 (t2П)| = 0,0667 - 0,0659 = 0,0008


использовать для изменения весов связей, которые не приняли граничных значении. Один из возможных способов использования разности 1w5 - изменить каждую из таких (N- 1) активных и пассивных связей на величину:

Численные значения весов связей при t = t3Н приведены в пятом столбце табл. 5.

При расчете весов связей для t = t4П, необходимо учитывать, что изменяться может вес только одной активной связи:

w5 = 0, 

= 0,1–1∙0,1/5 = 0,0800, 

w1 =…=w4 = (Naк –1) /(N–1) =1∙0,1/5 = 0,0200. 

Аналогично при t = t5Н имеем:

w1 =…=w4 =  +Naк /(N–1) = –0,1+4∙0,1/5 = 0,0200, 

w5 = 0, 

w6 = Naк /(N–1) = 4∙0,1/5 = 0,0800. 

Аналогичным образом рассчитываются веса связей при t = t6П, t7Н, t8П. При t = t9Н число активных А- нейронов при предъявлении изображения буквы Н будет равно четырем, но необходимо использовать Naк=3 поскольку весовой коэффициент w21 =0 Уменьшается до четырех и число весов связей, которые используются для обеспечения постоянства суммы весов всех изменяемых связей перцептрона. В результате получаем:

w1 =w6 =0,

w2 =w3 =w4 = –+(Naк –1)/(N2) = –0,1 + 3∙0,1/4 = –0,025,

w5 = (Naк –1)/(N2) = 3∙0,1/(6 - 2) = 0,075,

Uвх.RH = 1,6250 < θR = 1,7,  Uвх.RП = 1,7754 > θR = 1,7.

Таким образом, при предъявлении буквы Н на входе R-элемента сигнал меньше величины порога θR и, следовательно, на выходе R-нейрона будет требуемый сигнал

"-1", а при предъявлении изображения буквы П на выходном нейроне появится заданный сигнал "+1".

PAGE   \* MERGEFORMAT 8


PAGE  


PAGE   \* MERGEFORMAT4


 

А также другие работы, которые могут Вас заинтересовать

82125. Презентація проекту «Земля – наш дім» 41 KB
  Усі ми живі творіння природи на планеті Земля її біологічні мешканці і нам необхідно берегти свою Землю бо у космосі така одна. Світ-загадка лежить під ногами у нас: Форму кулі Земля наша має. Ось вирішили зробити колективну роботу Земля наш спільний дім а також композицію Рідна Земля намалювавши улюблені...
82126. Живе слово поета 72.5 KB
  Звучить музика Ведучий 1 Добрий день шановні друзі гості вчителі Ведучий 2 Ми вітаємо вас на нашому шкільному святі Живе слово поета О слово рідне Шум дерев Музика зір блакитнооких Шовковий спів снопів широких Дніпра між ними левій рев. 1 Художнє слово мов ота живинка Без нього ніби ти і не живеш...
82127. О.Буцень «Чи є зима?» 54.5 KB
  Мета: вчити дітей правильного і виразного читання; розширювати кругозір учнів; розвивати пізнавальні інтереси, усне мовлення, уяву, спостережливість; вдосконалювати техніку читання; виховувати любов до зимової пори, відчуття краси і неповторної зимової природи.
82128. Как зимуют птицы и звери. Забота людей о птицах и зверях зимой 429 KB
  Цель: учить устанавливать взаимосвязь между изменениями в неживой природе жизнью растений и жизнью животных; продолжить формировать умения сравнивать животных по их существенным признакам классифицировать их; обобщать полученную информацию; закреплять навыки работы в в группах...
82129. Конкурсно-розважальна програма для перших класів 45.5 KB
  Їжте діти апельсин Будете здорові як мій син Думаю що вам теж не завадять вітаміни які є у апельсині. То ж пограємо у гру Передай апельсин Апельсин тримаємо підборіддям передаємо наступним гравцям команди руками не допомагаємо. У кого падає апельсин той покидає гру.
82130. КАК ЗИМУЮТ ЗВЕРИ И ПТИЦЫ 56 KB
  Оборудование: видеофильм Как зимуют звери и птицы картина Зимний пейзаж музыка Сказочная волшебная зимняярисунки птиц фотоальбом Животные Украины опорные схемы проектор компьютер маски животных карточки для самостоятельной работы учащихся карта Двуречанского района выставка книг.
82131. Літературна вітальня, присвячена творчості Максима Рильського для учнів 7–8-х класів 74.5 KB
  У глибині сцени вміщено портрет М.Т.Рильського на панно із зображенням грон винограду та троянд, під ним цифри 1895 –1965. По центру сцени підставка, на якій лежить рушник, відкрита книга М.Рильського, підсвічник із запаленими свічками.
82132. Це мова моя, це мова моєї країни! 53.5 KB
  Щоб почистити нашу першу криницю потрібно дібрати якнайбільше 1 спільнокореневих слів з коренем добр доброта доброчинність доброякісний 2 синонімів до слова доброта людяність. Бліцо-питування на швидкість кожній команді Сукупність слів її словниковий склад називається Слова близькі за лексичним значенням...
82133. Екологічна казка на новий лад «Золота рибка» 36 KB
  Ведучий. Пливуть хмаринками роки, В історії ідуть роки. Та казка завжди серед нас Нагадує про себе повсякчас. Ведуча. Коли і хто її складав, А потім нам розповідав – Не скажемо тепер ми вам, Ніхто про це не знає сам. Ведучий. Казка – вигадка, проте, Щось в ній, браття, не пусте.