50325

Методы и системы искусственного интеллекта

Лабораторная работа

Информатика, кибернетика и программирование

Коэффициенты веса связей между Sи элементами постоянны. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между и Rэлементами.

Русский

2014-01-21

170 KB

4 чел.

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ,

МОЛОДЕЖИ И СПОРТА УКРАИНЫ

ОДЕССКИЙ НАЦИОНАЛЬНЫЙ МОРСКОЙ УНИВЕРСИТЕТ

Кафедра «Информационные технологии»

Лабораторная работа

по предмету

«Методы и системы искусственного интеллекта»

Элементарный перцептрон Розенблатта

Выполнил:

Проверил:

 

          

                                                                                                         

Одесса

2013

Задание:

Выполнить обучение элементарного перцептрона с бинарными S- и А-нейронами и биполярным R-нейроном распознаванию изображений двух заданных букв на рецепторном поле из девяти элементов.

Перцептроны - класс моделей мозга

Перцептроны или персептроны (от perceptio - восприятие) были первыми искусственными нейронными сетями, появившимися в результате многолетних исследований мозга животных и человека. Автор первого перцептрона - американский ученый Френк Розенблатт, впервые опубликовавший свои исследования в этой области в 1957 году. По мнению Ф. Розенблатта, перцептроны, прежде всего, являются классом моделей мозга, объясняющих некоторые его характерные функции. В частности, перцептроны, пусть и в самой элементарной форме, объясняют некоторые проблемы организации памяти биологических систем, демонстрируют механизм приобретения знаний «познающих (cognitive) систем» об окружающем их мире и показывают, что эти знания зависят как от когнитивной системы, так и от окружающей среды. По Розенблатту, для различных видов животных простейшее представление об анатомической структуре нервной системы может быть получено с помощью схемы, представленной на рис. 1.

Каждый из пяти видов информации о внешней среде воспринимается своими специализированными сенсорными нейронами и передается по своим отдельным сенсорным трактам в центральную нервную систему. Через моторные нейроны центральная нервная система связана с мышцами и железами организма. В своих первых работах Розенблатт рассматривал модель только зрительной системы. В наиболее простом виде эта модель включает в себя три последовательно соединенных множества нейронов: чувствительных (S-элементов), ассоциирующих (А-элементов) и реагирующих (R-элементов). S-элементам в нервной системе животного или человека соответствуют сенсорные или рецепторные нейроны, генерирующие сигналы на поступающие внешние раздражения (изображения) и передающие их A-нейронам. А-элементы аналогичны в нервной системе живого организма нейронам, образующим локальный специализированный зрительный центр в коре головного мозга и связывающим рецепторные нейроны с моторными, R-элементам в нервной системе соответствуют эффекторные (моторные) нейроны, упорядоченные в ограниченные топологические структуры и передающие сигналы управления центральной нервной системы к мышцам и железам организма.

Чувствительные S-элементы живого организма (рис. 2) возбуждаются от воздействия энергии света, если величины их входных сигналов превышают некоторый порог θi. Рецепторные нейроны случайным образом связаны с A-элементами, выходные сигналы которых отличны от нуля только в том случае, когда возбуждено достаточно большое число сенсорных нейронов, воздействующих на входы одного ассоциирующего элемента. Простой A-элемент, аналогично простому S-элементу, является активным и выдает единичный выходной сигнал, если алгебраическая сумма сигналов на его входе превышает заданную пороговую величину, в противном случае нейрон находится в невозбужденном состоянии. Коэффициенты (веса) связей между SA-элементами постоянны.

Рис. 1. Структура нервной системы

Рис. 2. Структура модели зрительной системы

Комбинация выходов всех A-элементов представляет собой реакцию двух первых слоев перцептрона на предъявленное входное изображение, которая с помощью выходного слоя нейронов преобразуется в необходимую комбинацию выходных сигналов системы. Часто требуют, чтобы каждому классу входных изображений соответствовал только один определенный активный R-нейрон. Необходимых комбинаций выходных сигналов на каждый класс изображений добиваются на этапе обучения или адаптации перцептрона за счет изменения переменных весов связей между A- и R-элементами.

Разделение множества М изображений на два класса М1 и М2 можно выполнить с помощью одного выходного элемента. В этом случае изображениям первого класса может соответствовать положительный выходной сигнал (+1) R-элемента, а второго класса - отрицательный (-1).

Выполним обучение элементарного перцептрона с бинарными S- и А-нейронами и биполярным R-нейроном (рис. 3) распознаванию изображений букв Н и П (рис. 4 а, б) на рецепторном поле из девяти элементов (рис. 4 в).

Рис. 3. Элементарный перцептрон

При этом потребуем, чтобы при предъявлении изображения буквы Н на выходе R-элемента был сигнал "-1", при появлении второго изображения - сигнал "+1".

Рис 2.4. Изображения букв Н и П.

Зададим в таблицах 1 и 2 веса связей w1ij (i=1…9,  j=1…6), w2k (к=1…6) соответственно между бинарными S- и A-нейронами и между A-нейронами и биполярным нейроном R с помощью генератора случайных чисел, генерирующего их из конечного множества {0,1; 0,2; ...; 0,9}.

Таблица 1. Веса w1ij связей перцептрона между S- и A-элементами

w1ij

S1

S2

S3

S4

S5

S6

S7

S8

S9

А1

0,3

0,2

0,1

0,6

0,5

0,4

0,9

0,6

0,7

А2

0,2

0,1

0,3

0,4

0,5

0,6

0,7

0,1

0,9

А3

0,3

0,5

0,1

0,6

0,5

0,4

0,9

0,4

0,7

А4

0,4

0,3

0,2

0,1

0,8

0,7

0,6

0,6

0,9

А5

0,5

0,3

0,3

0,6

0,1

0,2

0,9

0,2

0,7

А6

0,6

0,5

0,4

0,1

0,2

0,3

0,8

0,5

0,8

Таблица 2. Веса w2k связей перцептрона между R- и A-элементами

w2k 

A1

A2

A3

A4

A5

A6

R

0,2

0,8

0,6

0,9

0,8

0,1

Подадим на вход перцептрона изображение буквы Н (рис. 4 а). Это изображение возбуждает все S-нейроны, кроме второго и восьмого. Единичные сигналы с выходов возбужденных бинарных S-нейронов через связи, весовые коэффициенты которых заданы табл. 1, поступают на входы A-нейронов. Суммарный входной сигнал на входе i-го A-элемента определяется соотношением:

    

где Uвх.Aiсигнал на входе i-го A-нейрона; Uвых.Sjсигнал на выходе j-го S-нейрона;

wjiвес связи между jS-нейроном и iA-элементом. Для первого A-нейрона имеем

= 1∙0,3 + 0∙0,2 + 1∙0,1 + 1∙0,6 + 1∙0,5 + 1∙0,4 + + 1∙0,9 + 0∙0,6 + 1∙0,7 = 3,5.

Аналогично вычисляются сигналы на входах остальных A-элементов. Результаты этих вычислений приведены во второй строке табл. 3. В третьей строке этой таблицы - результаты расчетов сигналов на входах A-элементов при предъявлении перцептрону изображения буквы П.

Таблица 2.3. Величины сигналов на входах A-элементов

Изображение

Сигналы на входах A-элементов

Uвх.A1

Uвх.A2

Uвх.A3

Uвх.A4

Uвх.A5

Uвх.A6

Буква Н

3,5

3,6

3,5

3,7

3,3

3,2

Буква П

3,2

3,2

3,4

3,2

3,6

3,5

Для упрощения расчетов положим, что пороги θi, i=1…6, всех A-нейронов одинаковы

θ1= θ2=... = θ6= θ.

Если величина порога θ выбрана меньше 3,2, то при предъявлении любого изображения будут возбуждены все A-нейроны, а если выбрать θ > 3,7, то на выходах всех нейронов будут нулевые сигналы. В обоих этих случаях перцептрон не может выполнять распознавание предъявляемых изображений.

Очевидно, что для обеспечения работоспособности нейронной сети порог θ необходимо выбрать между 3,2 и 3,7 и таким образом, чтобы при предъявлении разных изображений возбуждались различные множества М1, М2 A-элементов, причем желательно, чтобы эти множества не пересекались, т.е.


Пусть выходной сигнал A-элементов определяется соотношением

тогда условие непересечения множеств М1 и М2 выполняется при θ = 3,5 и при предъявлении изображения буквы Н будут возбуждены элементы А1, А2, А3, и А4, а при предъявлении буквы П - нейроны А5 и А6. Рассчитаем с учетом данных табл. 2 сигналы Uвх.RH, Uвх.RП на входе R-нейрона при предъявлении изображений букв Н и П:

= 10,2 + 10,8 + 10,6 + 10,9 + 00,8 + 00,1 = 2,5,

= 0∙0,2 + 0∙0,8 + 0∙0,6 + 0∙0,9 + 1∙0,8 + 1∙0,1 = 0,9.

При величине порога R-элемента θR = 1,7 и предъявлении изображения буквы Н на выходе перцептрона будет сигнал "+1", а при предъявлении второго изображения – сигнал "1", что не соответствует исходным требованиям к выходным сигналам нейронной сети.

Используем для настройки перцептрона -систему подкрепления при величине сигнала подкрепления равном 0,1 и при предъявлении последовательности изображений Н, П, Н, П, ... в моменты времени t1, t2, t3, ... . Процесс адаптации весов связей между R- и A-нейронами иллюстрируется в табл. 4.

Таблица 4. Адаптация весов связей перцептрона с помощью -системы подкрепления

Весовые коэффициенты и входные сигналы

Моменты времени

t0

t1Н

t2П

t3Н

t4П

t5Н

t6П

t7П

t8П

t9П

w21

0,2

0,1

0

0

0

0

0

0

0

0

w22

0,8

0,7

0

0,6

0

0,5

0

0

0

0

w23

0,6

0,5

0

0,4

0

0,3

0

0

0

0

w24

0,9

0,8

0

0,7

0

0,6

0

0

0

0

w25

0,8

0

0,9

0

1

0

1

1

1

1

w26

0,1

0

0,2

0

0,3

0

0,4

0,5

0,6

0,7

Uвх.RH

2,5

2,1

 

1,7

 

1,4

 

 

 

 

Uвх.RП 

0,9

 

1,1

 

1,3

 

1,4

1,5

1,6

1,7

Во втором столбце таблицы при t=t0 приведены значения исходных весов связей и величины сигналов Uвх.RH, Uвх.RП на входе R-элемента при предъявлении соответственно изображений букв Н и П. При первом предъявлении изображения буквы Н в момент времени t1 (обозначено t1Н) в силу наличия ошибочного сигнала на

выходе перцептрона корректируются веса активных связей w21,..., w24 на величину = 0,1. Эта коррекция уменьшает суммарный входной сигнал Uвх.RH до величины 2,1. Пусть функционирование R-элемента описывается соотношением:

где θR - порог R-элемента, тогда для достижения правильной реакции R-элемента на

изображение буквы Н необходимы две повторные коррекции весов связей w21,..., w24. Результаты этих коррекций приведены в табл. 4 соответственно в пятом и седьмом столбцах при  t = t3Н   и  t = t5Н. После момента времени t = t5Н, так как выполняется

условие непересечения множеств М1 и М2, из входной последовательности могут быть исключены изображения буквы Н и предъявляться только изображения буквы П. Результаты коррекции весов связей w25, w26, определяющих сигнал на входе R-элемента при предъявлении изображения буквы П, приведены в последней строке таблицы. Поскольку в рассматриваемом примере коррекция входного сигнала R-элемента при предъявлении изображения буквы П осуществляется только с помощью весов двух

связей, причем, после второй коррекции вес связи w25 принимает максимальное значение и в дальнейшем возрастать не может, то процесс обучения нейронной сети правильной реакции на второе изображение более длительный и заканчивается только при t = t9П.

В табл. 5 приведены результаты настройки элементарного перцептрона при тех же исходных данных, но с помощью -системы подкрепления. Во втором столбце табл. 5 при t=t0 приведены исходные веса связей и величины сигналов на входе R-элемента при предъявлении изображений букв Н и П, а также сумма весов всех связей между R- и А-нейронами. Значения весов связей в третьем столбце таблицы получены после предъявления изображения буквы Н в момент времени t = t1Н. Так как =0,1, Naк =4 и N = 6, то, используя соотношение для расчета приращения весов активных связей, получим:

w1 =w2 =w3 =w4 =  Naк  / N = 0,1–4∙0,1/0,6 = 0,0334,        

а для приращений весов пассивных связей имеем:

w5 =w6 = –Naк  / N= –4∙0,1/0,6 = 0,0667. 

Зная приращения весов связей и используя соотношение:

w2i(t1Н) = w2i(t0) wi, i=1…6,

нетрудно получить и численные значения, приведенные в третьем столбце табл. 5.


Таблица 5. Адаптация весов связей перцептрона с помощью -системы подкрепления

Весовые коэффициенты и входные сигналы

Моменты времени

t0

t1Н

t2П

t3Н

t4П

t5Н

t6П

t7П

t8П

t9П

w21

0,2

0,1666

0,1333

0,1000

0,0800

0,0600

0,0400

0,0200

0,0000

0,0000

w22

0,8

0,7666

0,7333

0,7000

0,6800

0,6600

0,6400

0,6200

0,6000

0,5750

w23

0,6

0,5666

0,5333

0,5000

0,4800

0,4600

0,4400

0,4200

0,4000

0,3750

w24

0,9

0,8666

0,8333

0,8000

0,7800

0,7600

0,7400

0,7200

0,7000

0,6750

w25

0,8

0,8667

0,9341

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

1,0000

w26

0,1

0,1667

0,2341

0,3004

0,1380

0,4604

0,5404

0,6204

0,7004

0,7754

Uвх.RH

2,5

2,3664

-

2,1000

-

1,9400

-

1,7800

-

1,6250

Uвх.RП 

0,9

-

1,1682

-

1,3800

-

1,5404

-

1,7004

1,7754



3,4

3,3998

3,4004

3,4004

3,4000

3,4004

3,4004

3,4004

3,4004

3,4004

При предъявлении изображения буквы П в момент времени t = t2П активными

являются только нейроны А5 и А6, поэтому Naк = 2 и соотношение (2.2) дает следующие численные значения приращений весов связей:

w5 =w6 = Naк  / N= 0,1–2∙0,1/0,6 = 0,0667
w1 =…=w4 = –Naк  / N= –2∙0,1/0,6 = 0,0333.

Зная приращения wi, (i = 1…6) и используя выражение:

w2i(t2П) = w2i(t1Н) + wi, i=1…6,

несложно получить данные четвертого столбца табл. 2.5.

При расчете приращений весов связей при t = t3Н оказывается, что приращение w5 больше , чем возможно изменение веса связи w25:

w5 = Naк  / N= –4∙0,1/0,6=0,0667 > 1– w25(t2П)=1–0,9341=0,0659.

Поэтому для выполнения условия консервативности относительно суммы весов связей необходимо величину разности

1w5= w5 – |lw25 (t2П)| = 0,0667 - 0,0659 = 0,0008


использовать для изменения весов связей, которые не приняли граничных значении. Один из возможных способов использования разности 1w5 - изменить каждую из таких (N- 1) активных и пассивных связей на величину:

Численные значения весов связей при t = t3Н приведены в пятом столбце табл. 5.

При расчете весов связей для t = t4П, необходимо учитывать, что изменяться может вес только одной активной связи:

w5 = 0, 

= 0,1–1∙0,1/5 = 0,0800, 

w1 =…=w4 = (Naк –1) /(N–1) =1∙0,1/5 = 0,0200. 

Аналогично при t = t5Н имеем:

w1 =…=w4 =  +Naк /(N–1) = –0,1+4∙0,1/5 = 0,0200, 

w5 = 0, 

w6 = Naк /(N–1) = 4∙0,1/5 = 0,0800. 

Аналогичным образом рассчитываются веса связей при t = t6П, t7Н, t8П. При t = t9Н число активных А- нейронов при предъявлении изображения буквы Н будет равно четырем, но необходимо использовать Naк=3 поскольку весовой коэффициент w21 =0 Уменьшается до четырех и число весов связей, которые используются для обеспечения постоянства суммы весов всех изменяемых связей перцептрона. В результате получаем:

w1 =w6 =0,

w2 =w3 =w4 = –+(Naк –1)/(N2) = –0,1 + 3∙0,1/4 = –0,025,

w5 = (Naк –1)/(N2) = 3∙0,1/(6 - 2) = 0,075,

Uвх.RH = 1,6250 < θR = 1,7,  Uвх.RП = 1,7754 > θR = 1,7.

Таким образом, при предъявлении буквы Н на входе R-элемента сигнал меньше величины порога θR и, следовательно, на выходе R-нейрона будет требуемый сигнал

"-1", а при предъявлении изображения буквы П на выходном нейроне появится заданный сигнал "+1".

PAGE   \* MERGEFORMAT 8


PAGE  


PAGE   \* MERGEFORMAT4


 

А также другие работы, которые могут Вас заинтересовать

44712. Сужение Выбора Цвета и Типа Стежка 1.3 MB
  Установите указатель в пределах выбора и затем щелкните и удержите левую кнопку мыши. Они: Точечный рисунок – Эта опция копирует растровое представление выбора в буфер обмена. Используйте инструмент выбора чтобы сделать выбор.
44713. Особенности Ткани 397 KB
  Характеристики ткани которыми Вы можете управлять включают размер стежка цвет и полный размер. Параметры настройки ткани для образца редактируются используя диалог Свойств Ткани Fbric Properties. Этот диалог содержит множественные страницы для того чтобы определить различные варианты ткани.
44714. Варианты Палитры 2.2 MB
  Каждая страница содержит различные варианты касающиеся палитры. Эта полоса может быть открыта дважды щелкая палитре цветов Бруска Палитры или щелкая кнопкой Show Plette Options инструментальной панели Plette. Как только Брусок Вариантов Палитры открыт Вы можете тогда нажать по цвету в Бруске Палитры чтобы отобразить его свойства.
44715. Печать Особенностей 1.19 MB
  Однако иногда Вы можете хотеть печатать только некоторые страницы схемы. Чтобы просмотреть следующие или предыдущие страницы распечатки щелкните Next Pge или Prev Pge. Чтобы иметь две страницы отображенные сразу щелкните Two Pge. Содержание Страницы Pge Content Содержание страницы диалогового окна Параметров станицы обеспечивает варианты для того чтобы определить содержание распечатки.
44716. Окисление оксида азота в производстве азотной кислоты 246 KB
  Определение температуры газа на выходе из окислителя. Определение объема окислителя.2 Определение массового расхода NH3 по реакции: кг ч 2.3 Определение фактического расхода NH3: кг ч; Xабс=0.
44717. Degrees of Comparison of Adjectives and Adverbs 48.5 KB
  Prctise reding the following wordcombintions: erliest times useful power hotir engines solr energy solr evportion sunctivted processes surrounding ir sun’s rys stright lines the most effective wys the loss of energy glsslike mteril effective prevention trnsprent sheets of glss or plstic ctul pplictions typicl rrngements highpressure boilers lrge block of electric power. TEXT 5 Solr Power The sun’s energy mnifests itself s therml photoelectric nd photochemicl effects. Men hve tried to use solr energy since...
44718. Modal verbs. Nouns as attribute 88.7 KB
  II Prctise reding twosyllble words with the stress on the first syllble rdr rnging hrbour lnding trvel mesure becon presence wether echo signl timer system object constnt mountin strongest portion during. Prctise reding the following word combintions: cpble of determining the presence of objects their chrcter ll of them ultrhigh frequency rdio wve energy directionl ntenn in bem visul redble signls within the field of view of rdr the use of these timed pulses t the constnt velocity the fluorescent screen...
44719. Sequence of Tenses. Imperative Mood. Quantifiers and their equivalents 54 KB
  LBERT EINSTEIN 18791955 €œImgintion is more importnt thn knowledge†Einstein lbert Einstein ws born in Germny on Mrch 141879. t the ge of 21 fter four yers of university study lbert Einstein got job s clerk t n office. Einstein expressed his theory in the eqution E=mc roughly tht energy equls mss times the squre of the speed of light. lbert Einstein ws very tlented mn gret thinker.
44720. Infinitive (forms and functions) 33.55 KB
  The oceans cover 147 million square miles of the earth's total surface of 197 million square miles. Geographically, this vast expanse of water has been very thoroughly explored; the surface currents have been charted, the depths of the seas bordering the land have been carefully sounded. Yet, the nature of the ocean was practically unknown until recently, when new techniques and careful mapping did disclose new details of the ocean waters.