50325

Методы и системы искусственного интеллекта

Лабораторная работа

Информатика, кибернетика и программирование

Коэффициенты веса связей между Sи элементами постоянны. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между и Rэлементами.

Русский

2014-01-21

170 KB

4 чел.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ,

МОЛОДЕЖИ И СПОРТА УКРАИНЫ

ОДЕССКИЙ НАЦИОНАЛЬНЫЙ МОРСКОЙ УНИВЕРСИТЕТ

Кафедра «Информационные технологии»

Лабораторная работа

по предмету

«Методы и системы искусственного интеллекта»

Элементарный перцептрон Розенблатта

Выполнил:

Проверил:

 

          

                                                                                                         

Одесса

2013

Задание:

Выполнить обучение элементарного перцептрона с бинарными S- и А-нейронами и биполярным R-нейроном распознаванию изображений двух заданных букв на рецепторном поле из девяти элементов.

Перцептроны - класс моделей мозга

Перцептроны или персептроны (от perceptio - восприятие) были первыми искусственными нейронными сетями, появившимися в результате многолетних исследований мозга животных и человека. Автор первого перцептрона - американский ученый Френк Розенблатт, впервые опубликовавший свои исследования в этой области в 1957 году. По мнению Ф. Розенблатта, перцептроны, прежде всего, являются классом моделей мозга, объясняющих некоторые его характерные функции. В частности, перцептроны, пусть и в самой элементарной форме, объясняют некоторые проблемы организации памяти биологических систем, демонстрируют механизм приобретения знаний «познающих (cognitive) систем» об окружающем их мире и показывают, что эти знания зависят как от когнитивной системы, так и от окружающей среды. По Розенблатту, для различных видов животных простейшее представление об анатомической структуре нервной системы может быть получено с помощью схемы, представленной на рис. 1.

Каждый из пяти видов информации о внешней среде воспринимается своими специализированными сенсорными нейронами и передается по своим отдельным сенсорным трактам в центральную нервную систему. Через моторные нейроны центральная нервная система связана с мышцами и железами организма. В своих первых работах Розенблатт рассматривал модель только зрительной системы. В наиболее простом виде эта модель включает в себя три последовательно соединенных множества нейронов: чувствительных (S-элементов), ассоциирующих (А-элементов) и реагирующих (R-элементов). S-элементам в нервной системе животного или человека соответствуют сенсорные или рецепторные нейроны, генерирующие сигналы на поступающие внешние раздражения (изображения) и передающие их A-нейронам. А-элементы аналогичны в нервной системе живого организма нейронам, образующим локальный специализированный зрительный центр в коре головного мозга и связывающим рецепторные нейроны с моторными, R-элементам в нервной системе соответствуют эффекторные (моторные) нейроны, упорядоченные в ограниченные топологические структуры и передающие сигналы управления центральной нервной системы к мышцам и железам организма.

Чувствительные S-элементы живого организма (рис. 2) возбуждаются от воздействия энергии света, если величины их входных сигналов превышают некоторый порог θi. Рецепторные нейроны случайным образом связаны с A-элементами, выходные сигналы которых отличны от нуля только в том случае, когда возбуждено достаточно большое число сенсорных нейронов, воздействующих на входы одного ассоциирующего элемента. Простой A-элемент, аналогично простому S-элементу, является активным и выдает единичный выходной сигнал, если алгебраическая сумма сигналов на его входе превышает заданную пороговую величину, в противном случае нейрон находится в невозбужденном состоянии. Коэффициенты (веса) связей между SA-элементами постоянны.

Рис. 1. Структура нервной системы

Рис. 2. Структура модели зрительной системы

Комбинация выходов всех A-элементов представляет собой реакцию двух первых слоев перцептрона на предъявленное входное изображение, которая с помощью выходного слоя нейронов преобразуется в необходимую комбинацию выходных сигналов системы. Часто требуют, чтобы каждому классу входных изображений соответствовал только один определенный активный R-нейрон. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между A- и R-элементами.

Разделение множества М изображений на два класса М1 и М2 можно выполнить с помощью одного выходного элемента. В этом случае изображениям первого класса может соответствовать положительный выходной сигнал (+1) R-элемента, а второго класса - отрицательный (-1).

Выполним обучение элементарного перцептрона с бинарными S- и А-нейронами и биполярным R-нейроном (рис. 3) распознаванию изображений букв Н и П (рис. 4 а, б) на рецепторном поле из девяти элементов (рис. 4 в).

Рис. 3. Элементарный перцептрон

При этом потребуем, чтобы при предъявлении изображения буквы Н на выходе R-элемента был сигнал "-1", при появлении второго изображения - сигнал "+1".

Рис 2.4. Изображения букв Н и П.

Зададим в таблицах 1 и 2 веса связей w1ij (i=1…9,  j=1…6), w2k (к=1…6) соответственно между бинарными S- и A-нейронами и между A-нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; ...; 0,9}.

Таблица 1. Веса w1ij связей перцептрона между S- и A-элементами

w1ij

S1

S2

S3

S4

S5

S6

S7

S8

S9

А1

0,3

0,2

0,1

0,6

0,5

0,4

0,9

0,6

0,7

А2

0,2

0,1

0,3

0,4

0,5

0,6

0,7

0,1

0,9

А3

0,3

0,5

0,1

0,6

0,5

0,4

0,9

0,4

0,7

А4

0,4

0,3

0,2

0,1

0,8

0,7

0,6

0,6

0,9

А5

0,5

0,3

0,3

0,6

0,1

0,2

0,9

0,2

0,7

А6

0,6

0,5

0,4

0,1

0,2

0,3

0,8

0,5

0,8

Таблица 2. Веса w2k связей перцептрона между R- и A-элементами

w2k 

A1

A2

A3

A4

A5

A6

R

0,2

0,8

0,6

0,9

0,8

0,1

Подадим на вход перцептрона изображение буквы Н (рис. 4 а). Это изображение возбуждает все S-нейроны, кроме второго и восьмого. Единичные сигналы с выходов возбужденных бинарных S-нейронов через связи, весовые коэффициенты которых заданы табл. 1, поступают на входы A-нейронов. Суммарный входной сигнал на входе i-го A-элемента определяется соотношением:

    

где Uвх.Aiсигнал на входе i-го A-нейрона; Uвых.Sjсигнал на выходе j-го S-нейрона;

wjiвес связи между jS-нейроном и iA-элементом. Для первого A-нейрона имеем

= 1∙0,3 + 0∙0,2 + 1∙0,1 + 1∙0,6 + 1∙0,5 + 1∙0,4 + + 1∙0,9 + 0∙0,6 + 1∙0,7 = 3,5.

Аналогично вычисляются сигналы на входах остальных A-элементов. Результаты этих вычислений приведены во второй строке табл. 3. В третьей строке этой таблицы - результаты расчетов сигналов на входах A-элементов при предъявлении перцептрону изображения буквы П.

Таблица 2.3. Величины сигналов на входах A-элементов

Изображение

Сигналы на входах A-элементов

Uвх.A1

Uвх.A2

Uвх.A3

Uвх.A4

Uвх.A5

Uвх.A6

Буква Н

3,5

3,6

3,5

3,7

3,3

3,2

Буква П

3,2

3,2

3,4

3,2

3,6

3,5

Для упрощения расчетов положим, что пороги θi, i=1…6, всех A-нейронов одинаковы

θ1= θ2=... = θ6= θ.

Если величина порога θ выбрана меньше 3,2, то при предъявлении любого изображения будут возбуждены все A-нейроны, а если выбрать θ > 3,7, то на выходах всех нейронов будут нулевые сигналы. В обоих этих случаях перцептрон не может выполнять распознавание предъявляемых изображений.

Очевидно, что для обеспечения работоспособности нейронной сети порог θ необходимо выбрать между 3,2 и 3,7 и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества М1, М2 A-элементов, причем желательно, чтобы эти множества не пересекались, т.е.


Пусть выходной сигнал A-элементов определяется соотношением

тогда условие непересечения множеств М1 и М2 выполняется при θ = 3,5 и при предъявлении изображения буквы Н будут возбуждены элементы А1, А2, А3, и А4, а при предъявлении буквы П - нейроны А5 и А6. Рассчитаем с учетом данных табл. 2 сигналы Uвх.RH, Uвх.RП на входе R-нейрона при предъявлении изображений букв Н и П:

= 10,2 + 10,8 + 10,6 + 10,9 + 00,8 + 00,1 = 2,5,

= 0∙0,2 + 0∙0,8 + 0∙0,6 + 0∙0,9 + 1∙0,8 + 1∙0,1 = 0,9.

При величине порога R-элемента θR = 1,7 и предъявлении изображения буквы Н на выходе перцептрона будет сигнал "+1", а при предъявлении второго изображения – сигнал "1", что не соответствует исходным требованиям к выходным сигналам нейронной сети.

Используем для настройки перцептрона -систему подкрепления при величине сигнала подкрепления равном 0,1 и при предъявлении последовательности изображений Н, П, Н, П, ... в моменты времени t1, t2, t3, ... . Процесс адаптации весов связей между R- и A-нейронами иллюстрируется в табл. 4.

Таблица 4. Адаптация весов связей перцептрона с помощью -системы подкрепления

Весовые коэффициенты и входные сигналы

Моменты времени

t0

t1Н

t2П

t3Н

t4П

t5Н

t6П

t7П

t8П

t9П

w21

0,2

0,1

0

0

0

0

0

0

0

0

w22

0,8

0,7

0

0,6

0

0,5

0

0

0

0

w23

0,6

0,5

0

0,4

0

0,3

0

0

0

0

w24

0,9

0,8

0

0,7

0

0,6

0

0

0

0

w25

0,8

0

0,9

0

1

0

1

1

1

1

w26

0,1

0

0,2

0

0,3

0

0,4

0,5

0,6

0,7

Uвх.RH

2,5

2,1

 

1,7

 

1,4

 

 

 

 

Uвх.RП 

0,9

 

1,1

 

1,3

 

1,4

1,5

1,6

1,7

Во втором столбце таблицы при t=t0 приведены значения исходных весов связей и величины сигналов Uвх.RH, Uвх.RП на входе R-элемента при предъявлении соответственно изображений букв Н и П. При первом предъявлении изображения буквы Н в момент времени t1 (обозначено t1Н) в силу наличия ошибочного сигнала на

выходе перцептрона корректируются веса активных связей w21,..., w24 на величину = 0,1. Эта коррекция уменьшает суммарный входной сигнал Uвх.RH до величины 2,1. Пусть функционирование R-элемента описывается соотношением:

где θR - порог R-элемента, тогда для достижения правильной реакции R-элемента на

изображение буквы Н необходимы две повторные коррекции весов связей w21,..., w24. Результаты этих коррекций приведены в табл. 4 соответственно в пятом и седьмом столбцах при  t = t3Н   и  t = t5Н. После момента времени t = t5Н, так как выполняется

условие непересечения множеств М1 и М2, из входной последовательности могут быть исключены изображения буквы Н и предъявляться только изображения буквы П. Результаты коррекции весов связей w25, w26, определяющих сигнал на входе R-элемента при предъявлении изображения буквы П, приведены в последней строке таблицы. Поскольку в рассматриваемом примере коррекция входного сигнала R-элемента при предъявлении изображения буквы П осуществляется только с помощью весов двух

связей, причем, после второй коррекции вес связи w25 принимает максимальное значение и в дальнейшем возрастать не может, то процесс обучения нейронной сети правильной реакции на второе изображение более длительный и заканчивается только при t = t9П.

В табл. 5 приведены результаты настройки элементарного перцептрона при тех же исходных данных, но с помощью -системы подкрепления. Во втором столбце табл. 5 при t=t0 приведены исходные веса связей и величины сигналов на входе R-элемента при предъявлении изображений букв Н и П, а также сумма весов всех связей между R- и А-нейронами. Значения весов связей в третьем столбце таблицы получены после предъявления изображения буквы Н в момент времени t = t1Н. Так как =0,1, Naк =4 и N = 6, то, используя соотношение для расчета приращения весов активных связей, получим:

w1 =w2 =w3 =w4 =  Naк  / N = 0,1–4∙0,1/0,6 = 0,0334,        

а для приращений весов пассивных связей имеем:

w5 =w6 = –Naк  / N= –4∙0,1/0,6 = 0,0667. 

Зная приращения весов связей и используя соотношение:

w2i(t1Н) = w2i(t0) wi, i=1…6,

нетрудно получить и численные значения, приведенные в третьем столбце табл. 5.


Таблица 5. Адаптация весов связей перцептрона с помощью -системы подкрепления

Весовые коэффициенты и входные сигналы

Моменты времени

t0

t1Н

t2П

t3Н

t4П

t5Н

t6П

t7П

t8П

t9П

w21

0,2

0,1666

0,1333

0,1000

0,0800

0,0600

0,0400

0,0200

0,0000

0,0000

w22

0,8

0,7666

0,7333

0,7000

0,6800

0,6600

0,6400

0,6200

0,6000

0,5750

w23

0,6

0,5666

0,5333

0,5000

0,4800

0,4600

0,4400

0,4200

0,4000

0,3750

w24

0,9

0,8666

0,8333

0,8000

0,7800

0,7600

0,7400

0,7200

0,7000

0,6750

w25

0,8

0,8667

0,9341

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

w26

0,1

0,1667

0,2341

0,3004

0,1380

0,4604

0,5404

0,6204

0,7004

0,7754

Uвх.RH

2,5

2,3664

-

2,1000

-

1,9400

-

1,7800

-

1,6250

Uвх.RП 

0,9

-

1,1682

-

1,3800

-

1,5404

-

1,7004

1,7754



3,4

3,3998

3,4004

3,4004

3,4000

3,4004

3,4004

3,4004

3,4004

3,4004

При предъявлении изображения буквы П в момент времени t = t2П активными

являются только нейроны А5 и А6, поэтому Naк = 2 и соотношение (2.2) дает следующие численные значения приращений весов связей:

w5 =w6 = Naк  / N= 0,1–2∙0,1/0,6 = 0,0667
w1 =…=w4 = –Naк  / N= –2∙0,1/0,6 = 0,0333.

Зная приращения wi, (i = 1…6) и используя выражение:

w2i(t2П) = w2i(t1Н) + wi, i=1…6,

несложно получить данные четвертого столбца табл. 2.5.

При расчете приращений весов связей при t = t3Н оказывается, что приращение w5 больше , чем возможно изменение веса связи w25:

w5 = Naк  / N= –4∙0,1/0,6=0,0667 > 1– w25(t2П)=1–0,9341=0,0659.

Поэтому для выполнения условия консервативности относительно суммы весов связей необходимо величину разности

1w5= w5 – |lw25 (t2П)| = 0,0667 - 0,0659 = 0,0008


использовать для изменения весов связей, которые не приняли граничных значении. Один из возможных способов использования разности 1w5 - изменить каждую из таких (N- 1) активных и пассивных связей на величину:

Численные значения весов связей при t = t3Н приведены в пятом столбце табл. 5.

При расчете весов связей для t = t4П, необходимо учитывать, что изменяться может вес только одной активной связи:

w5 = 0, 

= 0,1–1∙0,1/5 = 0,0800, 

w1 =…=w4 = (Naк –1) /(N–1) =1∙0,1/5 = 0,0200. 

Аналогично при t = t5Н имеем:

w1 =…=w4 =  +Naк /(N–1) = –0,1+4∙0,1/5 = 0,0200, 

w5 = 0, 

w6 = Naк /(N–1) = 4∙0,1/5 = 0,0800. 

Аналогичным образом рассчитываются веса связей при t = t6П, t7Н, t8П. При t = t9Н число активных А- нейронов при предъявлении изображения буквы Н будет равно четырем, но необходимо использовать Naк=3 поскольку весовой коэффициент w21 =0 Уменьшается до четырех и число весов связей, которые используются для обеспечения постоянства суммы весов всех изменяемых связей перцептрона. В результате получаем:

w1 =w6 =0,

w2 =w3 =w4 = –+(Naк –1)/(N2) = –0,1 + 3∙0,1/4 = –0,025,

w5 = (Naк –1)/(N2) = 3∙0,1/(6 - 2) = 0,075,

Uвх.RH = 1,6250 < θR = 1,7,  Uвх.RП = 1,7754 > θR = 1,7.

Таким образом, при предъявлении буквы Н на входе R-элемента сигнал меньше величины порога θR и, следовательно, на выходе R-нейрона будет требуемый сигнал

"-1", а при предъявлении изображения буквы П на выходном нейроне появится заданный сигнал "+1".

PAGE   \* MERGEFORMAT 8


PAGE  


PAGE   \* MERGEFORMAT4


 

А также другие работы, которые могут Вас заинтересовать

64835. Педагогическое проектирование и педагогические технологии 241.5 KB
  Определить современное понимание и использование технологий профессионального обучения. Категории технология педагогическая технология технология обучения Сегодня в педагогической и психологической литературе часто встречается понятие технология.
64836. ПЕДАГОГИЧЕСКАЯ КОММУНИКАЦИЯ И ОСНОВЫ ПЕДАГОГИЧЕСКОЙ КУЛЬТУРЫ ПЕДАГОГА 502.75 KB
  Сущность стили и генезис педагогического общения Сущность и генезис педагогического общения Педагогическое общение специфическая форма общения имеющая свои особенности и в то же время подчиняющаяся общим психологическим закономерностям присущим общению...
64837. СТРУКТУРА ПЕДАГОГИЧЕСКОЙ ДЕЯТЕЛЬНОСТИ 482.42 KB
  С учетом понимания деятельности в философии и психологии структуру педагогической деятельности можно представить как единство субъекта и объекта педагогической деятельности, их потребностей, целей, мотивов, методов и средств педагогической деятельности...
64838. Характеристики физических свойств грунтов 163.5 KB
  Такие грунты воспринимают довольно большую статистическую нагрузку, но при динамических нагрузках они теряют свою структуру (в водонасыщенном состоянии) и грунт переходит в суспензию (плывунное состояние).
64839. Устойчивость откосов 130.5 KB
  Причины приводящие к нарушению устойчивости массивов грунта в откосах. Увеличение крутизны откоса подмыв берегов реки Увеличение нагрузки на откос строительство на бровке Обводнение грунтов уменьшение механических характеристик...
64840. Инженерные методы улучшения свойств грунтов (искусственные основания) 319.5 KB
  Инженерные методы улучшения свойств грунтов искусственные основания Строительство линейных инженерных сооружений неизбежно связано с освоением новых территорий расположенных в том числе и на слабых грунтах. При необходимой толщине уплотнения грунта...
64841. Конструктивные меры улучшения оснований 90.5 KB
  Наиболее распространенным следует считать способ замены слабого грунта на достаточно хорошее надежное основание или устройство песчаных подушек. Замена слабого слоя грунта основания устройство песчаных подушек...
64842. Фундаменты глубокого заложения 127.5 KB
  Устройство колодца непосредственно на поверхности грунта. Разработка грунта опускание колодца. Наращивание колодца опускание происходит под собственным весом. Погружение колодца на проектную отметку и удаление из него грунта.
64843. Устройство фундаментов в районах распространения вечномерзлых грунтов 254 KB
  Возможно тиксотоническая трещина по которой прошла вода и оттаял слой грунта с большей теплопроводностью. Однако линзовая мерзлота может образоваться и искусственно на застраиваемых территориях при условии нарушения теплообмена между поверхностью грунта и атмосферой.