66633

Предмет исследования искусственного интеллекта

Реферат

Информатика, кибернетика и программирование

Обучение нейронной сети в первую очередь заключается в изменении силы синаптических связей между нейронами. Искусственный нейрон узел искусственной нейронной сети являющийся упрощённой моделью естественного нейрона. Нейрон представляет собой своеобразную единицу обработки информации...

Русский

2014-08-25

589 KB

0 чел.

1. Предмет исследования искусственного интеллекта.

В 1950 году британский математик Алан Тьюринг опубликовал в журнале «Mind» свою работу «Выч. машина и интеллект», в которой описал тест для проверки программы на интеллектуальность. Он предложил поместить исследователя и программу в разные комнаты и до тех пор, пока исследователь не определит, кто за стеной - человек или программа, считать поведение программы разумным. Это было одно из первых определений интеллектуальности, то есть А. Тьюринг предложил называть интеллектуальным такое поведение программы, которое будет моделировать разумное поведение человека.

Сам термин ИИ (AI - Artificial Intelligence) был предложен в 1956 году на семинаре в Дартсмутском колледже (США). Д. Люгер определяет «ИИ как область компьютерных наук, занимающуюся исследованием и автоматизацией разумного поведения».

В учебнике по Интеллектуальным системам (Гаврилова Т. А., Хорошевский В. Ф.)  дается такое определение: «ИИ - это одно из направлений информатики, целью которого является разработка аппаратно-программных средств, позволяющих пользователю-непрограммисту ставить и решать свои, традиционно считающиеся интеллектуальными задачи, общаясь с ЭВМ на ограниченном подмножестве естественного языка».

Соответственно пока нет единого мнения по поводу предмета ИИ.

Но мы будем считать, что предметом изучения ИИ являются мыслительные способности человека и способы их реализации техническими средствами.

2. Решение задач нейронными сетями.

Классификация образов. Задача состоит в указании принадлежности входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам. Например распознавание букв, распознавание речи, классификация сигнала ЭКГ и др

Кластеризация/категоризация. Известна также как классификация образов без учителя, отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Применяется для извлечения знаний, сжатия данных и исследования свойств данных.

Аппроксимация функций. Имеется обучающая выборка пар данных вход-выход, которая генерируется неизвестной функцией, зависящей от аргумента, искаженной шумом. Задача аппроксимации состоит в нахождении оценки неизвестной функции. Необходима при решении задач моделирования. Типичным примером является шумоподавление при приеме сигнала различной природы, вне зависимости от передаваемой информации.

Предсказание/прогноз. Заданы n дискретных отсчетов {y(t1), y(t2)..., y(tn)} в последовательные моменты времени t1, t2,..., tn. Задача состоит в предсказании значения y (tn+1) в момент времени tn+1. Предсказание/прогноз имеют значительное влияние на принятие решений в бизнесе, науке и технике. Предсказание цен на фондовой бирже и прогноз погоды

Оптимизация. Задачей алгоритма оптимизации является нахождение такого решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию. Задача коммивояжера об оптимальной загрузке самолета, назначение штата работников по ряду умений и факторов являются классическими примерами задач оптимизации.

Память, адресуемая по содержанию (ассоциативная память). В модели вычислений фон Неймана обращение к памяти доступно только посредством адреса, который не зависит от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация. Ассоциативная память доступна по указанию заданного содержания. Содержимое памяти может быть вызвано даже по частичному входу или искаженному содержанию. Ассоциативная память может прекрасно найти применение при создании мультимедийных информационных баз данных.

Управление. Рассмотрим динамическую систему, заданную совокупностью векторов входного управляющего воздействия, текущего состояния, выходного вектора системы. Классической постановкой задачи является расчет управляющего воздействия, чтобы в конкретный момент времени система находилась в определенной желаемой точке. Примером является оптимальное управление двигателем, рулевое управление на кораблях, самолетах.

3. Биологический нейрон. Искусственный нейрон. Принципы их функционирования.

Биологический нейрон — это структурно-функциональная единица нервной системы. Эта клетка имеет сложное строение, высоко специализирована и по структуре содержит ядро, тело клетки и отростки.

Одной из ключевых задач нейрона является передача электрохимического импульса по всей нейронной сети через доступные связи с другими нейронами. Притом, каждая связь характеризуется некоторой величиной, называемой силой синаптической связи. Эта величина определяет, что произойдет с электрохимическим импульсом при передаче его другому нейрону: либо он усилится, либо он ослабится, либо останется неизменным.

Каждый нейрон состоит из тела клетки, которое содержит ядро. От тела клетки ответвляется множество коротких волокон, называемых дендритами. Длинные дендриты называются аксонами. Аксоны растягиваются на большие расстояния, намного превышающее то, что показано в масштабе этого рисунка. Обычно аксоны имеют длину 1 см (что превышает в 100 раз диаметр тела клетки), но могут достигать и 1 метра. У нейронных сетей много важных свойств, но ключевое из них – это способность к обучению. Обучение нейронной сети в первую очередь заключается в изменении «силы» синаптических связей между нейронами.

Искусственный нейрон — узел искусственной нейронной сети, являющийся упрощённой моделью естественного нейрона. В модели искусственного нейрона можно выделить 3 основных элемента:

  •  Набор синапсов или связей, каждый из которых характеризуется своим весом или силой. Сигнал хj на входе сигнала j, связанного с нейроном k, умножается на вес Wkj. Первый индекс относится к рассматриваемому нейрону, второй – ко входному окончанию синапса, с которым связан данный вес. В отличие от синапсов мозга, синаптический вес искусственного нейрона может быть как положительным, так и отрицательным.
  •  Сумматор – складывает входные сигналы, взвешенные относительно соответствующих синапсов нейронов. Эту операцию можно описать, как линейную комбинацию.
  •  Функция активации – ограничивает амплитуду выходного сигнала нейрона. Эта функция также называется функцией сжатия. Обычно нормализованный диапазон амплитуд выхода нейронов лежит в интервале (0;1) или (-1;1).

Пороговый элемент bk отражает увеличение или уменьшение входного сигнала, подаваемого на функцию активации. В математ.представлении ф-ционирование нейронов можно описать парой уравнений:

  (1)

     (2)

где х1, х2 …хn – входные сигналы

Wk1, Wk2 …. Wkn – синаптические веса нейрона к

Uk – линейная комбинация входных воздействий

- функция активации

yk – выходной сигнал нейрона

Использование порога   обеспечивает эффект аффинного преобразования выхода линейного сумматора

Постсинаптический потенциал вычисляется так:

   (3)

Порог  является внешним параметром искусственного нейрона к. Принимая во внимание (1),  (2), (3), преобразовываем:

(4)

          (5)

В (4) добавился новый синапс, сигнал которого равен х0=+1, а его вес

4. Основные элементы нейронов. Функция единичного скачка.

Нейрон представляет собой своеобразную единицу обработки информации в нейронной сети. Ниже представлена блок схема изображающая модель нейрона.

В этой модели можно выделить три основных элемента.

1. Набор синапсов или связей, которые характеризуются своими весами на которые умножаются входные сигналы.

2. Сумматор, который складывает входные сигналы взвешенные относительно соответствующих синапсов нейрона.

3. Функция активации, обеспечивающая сжимающее отображение взвешенного суммарного сигнала, так что выходной сигнал имеет ограниченный диапазон, обычно лежащий в интервале [0,1] или [1,1].

Функция единичного скачка, или пороговая функция (или функция Хевисайда) описывается выражением:

и имеет вид

Выходной сигнал нейрона такой функции можно представить следующим образом:

Где

Эту модель в литературе называют моделью Мак­Каллока.

5. Основные элементы нейронов. Кусочно-линейная функция.

Кусочно-линейная функция (piecewise-linear function), описывается следующим выражением:

где коэффициент усиления в линейной области оператора предполагается равным единице. Эту функцию активации можно рассматривать как аппроксимацию нелинейного усилителя. Следующие два варианта можно считать особой формой кусочно-линейной функции:

а) если линейная область оператора не достигает порога насыщения, он превращается в линейный сумматор;

б) если коэффициент усиления линейной области принять бесконечно большим, то кусочно-линейная функция вырождается в пороговую.

6. Основные элементы нейронов. Сигмоидальная функция.

3 основных элемента нейронов

1) Набор синапсов или связей, каждый из которых характеризуется своим весом или силой. Сигнал xj на входе синапса j, связанный с нейроном k, умножается на вес wkj. Первый индекс относится к рассматриваемому нейрону, второй – ко входному окончанию синапса, с которым связан данный вес. В отличие от синапсов мозга, синаптический вес искусственного нейрона может иметь как положительные, так и отрицательные значения.

2) Сумматор – складывает входные сигналы, взвешенные относительно соответствующих синапсов нейронов. Эту операцию можно описать как линейную комбинацию.

3) Функция активации – ограничивает амплитуду выходного сигнала нейрона. Эта функция также называется функцией сжатия. Обычно нормализованный диапазон амплитуд выхода нейрона лежит в интервале [0, 1] или [-1, 1].

Сигмоидальная функция

Самая распространенная функция активации. Это быстро возрастающая функция, которая поддерживает баланс между линейным и нелинейным поведением. Примером сигмоидальной функции может служить логистическая функция, задаваемая следующим выражением:

a – параметр наклона.

В пределе, когда параметр наклона достигает бесконечности, сигмоидальная функция вырождается в пороговую.

7. Основные элементы нейронов. Стохастическая модель нейрона.

Нейрон представляет собой единицу обработки информации в нейронной сети. На рисунке ниже приведена модель нейрона, лежащего в основе искусственных нейронных сетей.

В этой модели нейрона можно выделить три основных элемента:

синапсы, каждый из которых характеризуется своим весом или силой. Осуществляют связь между нейронами, умножают входной сигнал  на весовой коэффициент синапса , характеризующий силу синаптической связи;

сумматор, аналог тела клетки нейрона. Выполняет сложение внешних входных сигналов или сигналов, поступающих по синаптическим связям от других нейронов. Определяет уровень возбуждения нейрона;

функция активации, определяет окончательный выходной уровень нейрона, с которым сигнал возбуждения (торможения) поступает на синапсы следующих нейронов.

Модель нейрон имитирует в первом приближении свойства биологического нейрона. На вход искусственного нейрона поступает некоторое множество сигналов, каждый из которых является выходом другого нейрона. Каждый вход умножается на соответствующий вес, пропорциональный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона.

Стохастическая модель нейрона.

В стохастической модели выходное состояние нейрона зависит не только от взвешенной суммы входных сигналов, но и от некоторой случайной переменной, значения которой выбираются при каждой реализации из интервала (0,1).

В стохастической модели нейрона выходной сигнал  принимает значения +/-1 с вероятностью

где  обозначает взвешенную сумму входных сигналов нейрона, а  - положительная константа, которая чаще всего равна 1. Процесс обучения нейрона в стохастической модели состоит из следующих этапов:

1) расчет взвешенной суммы

для каждого нейрона сети.

2) расчет вероятности  того, что  принимает значение .

3) генерация значения случайной переменной  и формирование выходного сигнала , если , или  в противном случае.

При обучении с учителем по правилу Видроу-Хоффа адаптация весов проводится по формуле

8. Архитектура и виды сетей. Сети прямого распространения.

По архитектуре связей нейросети могут быть сгруппированы в два класса: сети прямого распространения, в которых связи не имеют петель, и сети рекуррентного типа, в которых возможны обратные связи.

Сети прямого распространения (Feedforward) - в таких сетях нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя. Если не оговорено противное, то каждый выходной сигнал qo слоя подастся на вход всех нейронов (q+1)-гo слоя; однако возможен вариант соединения qo слоя с произвольным (q+p)-м слоем.

 Среди многослойных сетей без обратных связей различают полносвязанные (выход каждого нейрона qo слоя связан с входом каждого нейрона (q+1)-гo слоя) и частично полносвязанные. Классическим вариантом слоистых сетей являются полносвязанные сети прямого распространения.

Примерами сетей прямого распространения  являются перцептрон Розенблатта, многослойный перцептрон, сети Ворда.

9. Архитектура и виды сетей. Рекуррентные сети.

Рекуррентные нейронные сети - это наиболее сложный вид нейронных сетей, в которых имеется обратная связь. При этом под обратной связью подразумевается связь от логически более удалённого элемента к менее удалённому. Наличие обратных связей позволяет запоминать и воспроизводить целые последовательности реакций на один стимул. С точки зрения программирования в таких сетях появляется аналог циклического выполнения, а с точки зрения систем — такая сеть эквивалентна конечному автомату. Такие особенности потенциально предоставляют множество возможностей для моделирования биологических нейронных сетей. Но, большинство возможностей на данный момент плохо изучены в связи с возможностью построения разнообразных архитектур и сложностью их анализа.

10. RBF-сети. Сети Хопфилда.

Сети, использующие радиальные базисные функции (RBF-сети), являются частным случаем двухслойной сети прямого распространения. Каждый элемент скрытого слоя использует в качестве активационной функции радиальную базисную функцию типа гауссовой. Общий вид радиально-базисной функции:

где x — вектор входных сигналов нейрона, σ — ширина окна функции, φ(y) — убывающая функция. Как позиция, так и ширина базисной функции должны быть обучены по выборочным образцам.

Существуют различные алгоритмы обучения RBF-сетей. Основной алгоритм использует двушаговую стратегию обучения, или смешанное обучение. Он оценивает позицию и ширину ядра с использованием алгоритма кластеризации "без учителя", а затем алгоритм минимизации среднеквадратической ошибки "с учителем" для определения весов связей между скрытым и выходным слоями. Этот смешанный алгоритм обучения RBF-сети сходится гораздо быстрее, чем алгоритм обратного распространения для обучения многослойных перцептронов. Однако RBF-сеть часто содержит слишком большое число скрытых элементов. Это влечет более медленное функционирование RBF-сети, чем многослойного перцептрона. Эффективность (ошибка в зависимости от размера сети) RBF-сети и многослойного перцептрона зависят от решаемой задачи.

Сеть Хопфилда

Нейронная сеть Хопфилда — однослойная полносвязная нейронная сеть с симметричной матрицей связей. Одно из основных применений сети данного типа — ассоциативная память. В этом случае весовые коэффициенты синапсов задаются один раз и уже не изменяются. Кроме того, сети Хопфилда позволяют решать задачи классификации и оптимизации.

Поначалу использовалась пороговая функция активации нейронов (f(s)=-1 при x<0; f(s)=1 при x>0). Стартовые веса задаются как

где Xki и Xkj i-й и j-й элементы вектора k-го образца, m - число запоминаемых в сети образцов. Сеть должна отнести поданный на вход сигнал к одному из хранимых векторов Xk либо дать ответ, что подобных образцов в сети нет. Алгоритм работы сводится к итерационному расчету состояний выходов нейронов:

где f - функция активации. Итерационный процесс повторяется до тех пор, пока не перестанут изменяться выходы нейронов. При функционировании сети происходит минимизация энергетической функции

– система стремится к ближайшему устойчивому состоянию (аттрактору) с минимумом потенциальной энергии. В результате достигается высокая скорость стабилизации системы и, следовательно, отождествления информации. Из недостатков сети следует отметить проблему емкости. До сих пор не удавалось реализовать сеть, где число хранимых образцов составляет более 15% от числа всех нейронов.

Динамическое изменение состояний сети может быть выполнено по крайней мере двумя способами: синхронно и асинхронно. В первом случае все элементы модифицируются одновременно на каждом временном шаге, во втором - в каждый момент времени выбирается и подвергается обработке один элемент. Этот элемент может выбираться случайно. Главное свойство энергетической функции состоит в том, что в процессе эволюции состояний сети согласно уравнению она уменьшается и достигает локального минимума (аттрактора), в котором она сохраняет постоянную энергию.

11. Самоорганизующиеся карты Кохонена. ART-сети.

Самоорганизующиеся карты Кохонена (SOM) обладают свойством сохранения топологии, которое воспроизводит важный аспект карт признаков в коре головного мозга высокоорганизованных животных. В отображении с сохранением топологии близкие входные примеры возбуждают близкие выходные элементы.

На рис. показана основная архитектура сети SOM Кохонена, представляет собой двумерный массив элементов, каждый элемент связан со всеми n входными узлами.

Такая сеть является специальным случаем сети, обучающейся методом соревнования, в которой определяется пространственная окрестность для каждого выходного элемента. Локальная окрестность может быть квадратом, прямоугольником или окружностью. Начальный размер окрестности часто устанавливается в пределах от 1/2 до 2/3 размера сети и сокращается согласно определенному закону (напр., по экспоненциально убывающей зависимости). Во время обучения модифицируются все веса, связанные с победителем и его соседними элементами.

В сетях Кохонена изменяют веса не только у победившего нейрона, но и у нейронов из некоторой окружающей его окрестности. Эта окрестность сначала достаточно велика до 2/3 всей сети, но впоследствии сокращается до одного нейрона. В результате близким входным сигналам соответствуют близкие нейроны выходного слоя.

SOM могут быть использованы для проектирования многомерных данных, аппроксимации плотности и кластеризации, для распознавания речи, обработки изображений, в робототехнике и в задачах управления. Параметры сети включают в себя размерность массива нейронов, число нейронов в каждом измерении, форму окрестности, закон сжатия окрестности и скорость обучения.

Модели теории адаптивного резонанса (ART-сети).

Дилемма стабильности-пластичности (обучение новым явлениям (пластичность) и в то же время сохранение стабильности, чтобы существующие знания не были стерты или разрушены) является важной особенностью обучения методом соревнования.

Карпентер и Гроссберг, разработавшие модели теории адаптивного резонанса (ART1, ART2 и ARTMAP), сделали попытку решить эту дилемму. Сеть имеет достаточное число выходных элементов, но они не используются до тех пор, пока не возникнет в этом необходимость. Будем говорить, что элемент распределен (не распределен), если он используется (не используется). Обучающий алгоритм корректирует имеющийся прототип категории, только если входной вектор в достаточной степени ему подобен. В этом случае они резонируют. Степень подобия контролируется параметром сходства k, 0<k<1, который связан также с числом категорий. Когда входной вектор недостаточно подобен ни одному существующему прототипу сети, создается новая категория, и с ней связывается нераспределенный элемент со входным вектором в качестве начального значения прототипа. Если не находится нераспределенного элемента, то новый вектор не вызывает реакции сети.

Сеть ART имеет достаточно много выходных нейронов, однако используется только часть из них. В сети хранится набор образцов для сравнения с входным сигналом. Если входной сигнал достаточно похож на один из эталонных образцов (находится с ним в резонансе), усиливается вес для синапса нейрона, отвечающего за данную категорию. Если же в сети нет схожих с входным вектором образцов, ему в соответствие ставится один из незадействованных выходных нейронов.

12. Обучение с учителем и без учителя. Правило коррекции по ошибке.

Существует 3 парадигмы обучения нейронных сетей:

  1.  С учителем
  2.  Без учителя
  3.  Смешанная

С учителем

В данном случае существует учитель, который предъявляет входные образы сети, сравнивает результирующие выходы с требуемыми, а затем настраивает веса сети таким образом, чтобы уменьшить различия.

Без учителя

Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям.

Смешанная

При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Известны 4 основных типа правил обучения: коррекция по ошибке, машина Больцмана, правило Хебба и обучение методом соревнования.

Рассмотрим правило коррекции по ошибке.

При обучении с учителем для каждого входного примера задан желаемый выход d. Реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании сигнала (d-y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда перцептрон ошибается. Известны различные модификации этого алгоритма обучения.

Известные алгоритмы обучения.

Парадигма 

Обучающее правило 

Архитектура 

Алгоритм обучения 

Задача 

С учителем

Коррекция ошибки

Однослойный и многослойный перцептрон

Алгоритмы обучения перцептрона
Обратное распространение
Adaline и Madaline

Классификация образов
Аппроксимация функций
Предскащание, управление

Больцман

Рекуррентная

Алгоритм обучения Больцмана

Классификация образов

Хебб

Многослойная прямого распространения

Линейный дискриминантный анализ

Анализ данных
Классификация образов

Соревнование

Соревнование

Векторное квантование

Категоризация внутри класса Сжатие данных

Сеть ART

ARTMap

Классификация образов

Без учителя

Коррекция ошибки

Многослойная прямого распространения

Проекция Саммона

Категоризация внутри класса Анализ данных

Хебб

Прямого распространения или соревнование

Анализ главных компонентов

Анализ данных
Сжатие данных

Сеть Хопфилда

Обучение ассоциативной памяти

Ассоциативная память

Соревнование

Соревнование

Векторное квантование

Категоризация
Сжатие данных

SOM Кохонена

SOM Кохонена

Категоризация
Анализ данных

Сети ART

ART1, ART2

Категоризация

Смешанная

Коррекция ошибки и соревнование

Сеть RBF

Алгоритм обучения RBF

Классификация образов
Аппроксимация функций
Предсказание, управление

13. Обучение с учителем и без учителя. Обучение Больцмана.

Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах

14. Обучение с учителем и без учителя. Правило Хебба.

Существует 3 парадигмы обучения:

  •  С учителем
  •  Без учителя
  •  Смешанная

При обучении с учителем нейронная сеть располагает правильными ответами (выходами сети), на каждый входной пример. Веса настраиваются так, чтобы сеть производила ответы как можно более близкие к известным правильным ответам.

Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям.

При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Правило Хэбба является самым старым обучающим правилом. Хэбб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом.

15. Обучение с учителем и без учителя. Обучение методом соревнования.

Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Теория обучения рассматривает три фундаментальных свойства, связанных с обучением по примерам: емкость, сложность образцов и вычислительная сложность. Под емкостью понимается, сколько образцов может запомнить сеть, и какие функции и границы принятия решений могут быть на ней сформированы. Сложность образцов определяет число обучающих примеров, необходимых для достижения способности сети к обобщению. Слишком малое число примеров может вызвать «переобученность» сети, когда она хорошо функционирует на примерах обучающей выборки, но плохо - на тестовых примерах, подчиненных тому же статистическому распределению. Известны 4 основных типа правил обучения: коррекция по ошибке, машина Больцмана, правило Хебба и обучение методом соревнования.

Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило «победитель берет все». Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом.

При обучении модифицируются только веса «победившего» нейрона. Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе ко входному примеру. Входные векторы нормализованы и представлены точками на поверхности сферы. Векторы весов для трех нейронов инициализированы случайными значениями. Их начальные и конечные значения после обучения отмечены Х на рис. 3а и 3б соответственно. Каждая из трех групп примеров обнаружена одним из выходных нейронов, чей весовой вектор настроился на центр тяжести обнаруженной группы.


 

А также другие работы, которые могут Вас заинтересовать

54194. АКТИВІЗАЦІЯ ПІЗНАВАЛЬНОЇ ДІЯЛЬНОСТІ УЧНІВ НА УРОКАХ МАТЕМАТИКИ З ВИКОРИСТАННЯМ ІКТ 239 KB
  Активізація пізнавальної діяльності учня без розвитку його пізнавального інтересу не тільки важка, але й практично неможлива. От чому в процесі навчання необхідно систематично збуджувати, розвивати і укріплювати пізнавальний інтерес учнів і як важливий мотив навчання, і як стійку рису особистості, і як могутній засіб виховання.
54195. Позакласний захід в 2 класі «Математичний ранок» 196.5 KB
  Мета: познайомити учнів з історією чисел, їх написанням; вчити розв’язувати завдання з логічним навантаженням, застосовуючи знання з математики, природознавства; розвивати кмітливість, спостережливість, логічне мислення учнів; виховувати інтерес до математики.
54196. НТЕЛЛЕКТУАЛЬНО-РАЗВЛЕКАТЕЛЬНАЯ ИГРА ДЛЯ УЧАЩИХСЯ 5-7 КЛАССОВ «ФАН КЛУБ МАТЕМАТИКИ» 105.5 KB
  Развитие умений формулировать и излагать мысль, моделировать ситуацию. Развитие навыков работы в группе. Воспитание стойкости, находчивости, любознательности.
54197. Клуб веселых математиков 309.5 KB
  Сегодня мы открываем клуб веселых математиков. В соревнованиях участвуют два класса - две команды. Это лучшие математики, которые не унывают, быстро считают, хорошо решают задачи, любознательны, живут весело и дружно.
54198. Сценарій позакласного заходу: «Математика – зліва, математика - справа» 134 KB
  Бажаю вам дорогі друзі шановні академіки успіхів у вивченні цариці наук Математики 1 учень вбігає Хлопці я чув що в школі буде тиждень математики Уявляєте весь тиждень сама лиш тільки математика 2 учень з місця Та не може такого бути 3 учень вбігає У мене для вас ось така новина Всіх вчителів направили на курси залишилися лише математики. 1 учень Ну. Учень Як зібрався математику вивчати То до класу на уроки вирушай. Виконується цікавий номер Учень Сорокап'ятирічний чоловік покохав п'ятнадцятирічну дівчину.
54200. Конкурс знавців математики «Мадонна Математика» 714 KB
  Сьогодні будемо ми друзі Царицю всіх наук вітати. Не всі ви в майбутньому станете математиками але математика потрібна і в науці і в техніці і в повсякденному житті. Ще в давні часи математику називали царицею наук ключем до всіх наук. Одне слово одне слово Математику Чом по курсу спішать на морях кораблі Хуртовини й тумани долають в імлі Капітани не ледачі Не лякають їх задачі Одне слово одне слово Математики Хочеш лікарем стати хочеш в космос літати Перш за все треба друже математику знати Всі повинні шанувати Ікси...
54201. Математична конференція «Золотий переріз – душа гармонії» 502 KB
  І називається вона Золотий переріз душа гармонії. Теорему Піфагора знає кожен школяр а про золотий переріз – далеко не всі. Про золотий переріз знали ще в Давньому Єгипті й Вавилоні в Індії та Китаї.
54202. Математичний гурток для творчих дітей 623 KB
  Для пробудження в учнів інтересу до математики дуже важлива позакласна робота та особливо гурткова. Декілька років я керую гуртком «Цікава математика». Основним своїм завданням як керівника гуртка вважаю саме пробудження інтересу до свого предмету. До роботи в гуртку я залучаю в першу чергу творчих дітей, які не дуже дружать з математикою, бо не бачать в ній можливостей для реалізації своїх творчих сил.