77534

НЕЙРОННЫЕ СИСТЕМЫ И СЕТИ. БИОЛОГИЧЕСКИЕ НЕЙРОННЫЕ СЕТИ

Лекция

Информатика, кибернетика и программирование

С появлением дешевых компьютеров появилась возможность использовать в этой области нейронные сети НС. Крупный толчок развитию нейрокибернетики дал американский нейрофизиолог Френк Розенблатт предложивший в 1962 году свою модель нейронной сети персептрон. Хопфилд предложил оригинальную модель нейронной сети названную его именем.

Русский

2015-02-02

463 KB

3 чел.

Лекция 8

НЕЙРОННЫЕ СИСТЕМЫ И СЕТИ

ВВЕДЕНИЕ

Классические экспертные системы имеют один существенный недостаток: при создании сложных систем большое количество времени требуется для составления алгоритмов их работы. С появлением дешевых компьютеров появилась возможность использовать в этой области нейронные сети (НС).

Теоретические основы нейросетей были заложены еще в 40-х годах У.Маккалоком и У.Питтсом.  В 1943 году вышла их работа "Логическое исчисление идей, относящихся к нервной деятельности", в которой была построена модель нейрона, и сформулированы принципы построения искусственных нейронных сетей.

Крупный толчок развитию нейрокибернетики дал американский нейрофизиолог Френк Розенблатт, предложивший в 1962 году свою модель нейронной сети — персептрон. Воспринятый первоначально с большим энтузиазмом, он вскоре подвергся интенсивным нападкам со стороны крупных научных авторитетов. И хотя подробный анализ их аргументов показывает, что они оспаривали не совсем тот персептрон, который предлагал Розенблатт, крупные исследования по нейронным сетям были свернуты почти на 10 лет.

Несмотря на это в 70-е годы было предложено много интересных разработок, таких, например, как когнитрон, способный хорошо распознавать достаточно сложные образы независимо от поворота и изменения масштаба изображения.

В 1982 году американский биофизик Дж. Хопфилд предложил оригинальную модель нейронной сети, названную его именем. В последующие несколько лет было найдено множество эффективных алгоритмов: сеть встречного потока, двунаправленная ассоциативная память и др. 

В 1986 году Дж. Хинтон и его коллеги опубликовали статью с описанием модели нейронной сети и алгоритмом ее обучения, что дало новый толчок исследованиям в области искусственных нейронных сетей.

Нейрокомпьютеры и нейропрограммы являются самообучающимися, что резко отличает их от обычных программ. Принципы их работы очень напоминают взаимодействие клеток нервной системы - нейронов.

Свойства НС позволяют успешно решать трудноразрешимые для обычного компьютера задачи: распознавание образов, ориентация в пространстве, выбор оптимальных решений, постановка диагноза.

Нейронная сеть состоит из множества одинаковых элементов — нейронов, поэтому начнем с них рассмотрение работы искусственной нейронной сети.

  1.  БИОЛОГИЧЕСКИЕ  НЕЙРОННЫЕ СЕТИ

Нервная система человека и животных является важнейшей системой организма. Ее основная функция заключается в поддержании внутренней гармонии организма. Нервная система имеет клеточную структуру и состоит из нервных клеток – нейронов, сгруппированных в нейронные ансамбли и сети. Центральным отделом нервной системы является головной и спинной мозг.

Мозг представляет собой живую вычислительную машину весом примерно 1361 г., развиваемая мощность составляет порядка 25 Вт. Мозг оперирует около 10 миллиардов логических элементов.

Можно выделить три части: ствол мозга, мозжечок, большие полушария. Ствол мозга выполняет функцию сохранения организма, мозжечок  – координацию движений конечностей, большие полушария отвечают за функции памяти, обучения, мышление.

Полушария содержат белое и серое вещество. Серое или кора головного мозга ( толщиной 2-4 мм) состоит из большого количества нейронов. Белое вещество состоит из длинных отростков нейронов – аксонов (соединительные кабели).

С точки зрения кибернетики мозг представляет собой информационно-управляющую систему, которая при помощи рецепторов воспринимает информацию о внешней среде, обрабатывает эту информацию на основе генетической программы и индивидуального опыта, а также формирует управляющие воздействия на эффекторные ( исполнительные) системы.. Данной структуре соответствует специализация нервных клеток на сенсорные (рецепторные) нейроны, вставочные (интернейроны) и эффекторные (мотонейроны).

Рецепторные воспринимают энергетические воздействия внешней среды той или иной модальности (световые, акустические, тактильные и т.п.), и преобразуют их в импульсные потоки, передаваемые интернейронам.

Выделяют следующие типы нейронов-рецепторов:

- первый тип – фоторецепторы,которые возбуждаются под действием света;

- второй тип – механорецепторы, реагируют на механические вещества;

третий тип – хеморецепторы – реагируют на химические вещества (органы вкуса и обоняния);

четвертый тип – терморецепторы – реагируют на изменения температуры;

пятый тип -  электрорецепторы.

Взаимодействующие друг с другом интернейроны осуществляют обработку поступившей информации, а мотонейроны передают результаты этой обработки непосредственно на исполнительные системы (мышцы, сосуды и т.п.).

По форме нервные клетки отличаются друг от друга, однако большинство нейронов имеют древовидную структуру.

Нейрон (нервная клетка) является особой биологической клеткой, которая обрабатывает информацию (рис. 1).Как следует из рисунка, нейрон  представляет собой компактное тело с рядом отростков (волокон). Короткие ветвящиеся отростки называются дендритами, а длинный, расщепляющийся на терминальные волокна отросток называется аксоном. Тело клетки (сома) имеет микроскопические размеры от 5 до 100 микрометров, а длина ее отростков может достигать десятков сантиметров.   Тело клетки включает ядро , которое содержит информацию о наследственных свойствах, и плазму, обладающую молекулярными средствами для производства необходимых нейрону материалов. Сома и ее отростки представляют собой единое целое, покрытое общей оболочкой (мембраной). Как и любая другая клетка организма, нейрон и его отростки имеют единую внутриклеточную среду, общий генетический аппарат и общую систему поддержания жизнедеятельности.

Специфическая особенность нервных клеток заключается в способности воспринимать, преобразовывать и передавать на другие клетки нервное возбуждение в виде нервных импульсов. Входные импульсы поступают на дендриты или сому и оказывают на клетку либо возбуждающее, либо тормозящее воздействие. В те моменты, когда суммарное возбуждение тела клетки превышает некоторую пороговую величину, в области аксона возникают нервные импульсы – спайки, или, как их называют потенциалы действия. Возникнув, спайк бездекрементно (без затухания) распространяется по аксону, поступает на дендриты других клеток и вызывает их возбуждение или торможение. Такая связь называется аксодендритной. Причем возбуждающий или тормозящий характер воздействия нервного импульса определяется свойствами контакта двух клеток. Этот контакт называется синаптическим, а пространство между мембранами контактирующих клеток называется синаптической щелью.

Количество синаптических входов у отдельного интернейрона достигает 150 тысяч. Поэтому общее число межклеточных контактов очень велико. Например, в мозге человека при 1011 нейронах количество связей между ними оценивается числом 1014.  Если дополнительно учесть, что синаптические связи имеют электрический и химический характер, что нарду с аксодендритными связями возможны синаптические контакты между дендритами, сомами и аксонами различных клеток, что каждая связь может быть возбуждающей или тормозящей, а также то, что эффективность синаптических связей в процессе жизнедеятельности меняется, то сложность нейронных сетей у человека становится очевидной.

Электрическая активность нейрона.

Информативная деятельность нервных клеток связана с их электрической активностью и осуществляется на основе синаптического возбуждения, синаптического торможения и генерации нервных импульсов. Данные процессы базируются на специфических свойствах клеточной мембраны, разделяющей внутриклеточную и внеклеточную среду. Как та, так и другая среды содержат положительные ионы натрия, калия и других элементов.

Мембрана имеет толщину 5нм и состоит из двух молекулярных слоев, в которые встроены канальные белки, образующие шлюзы для ионов внутри и внеклеточной среды. Управление закрыванием или открыванием шлюзов осуществляется с помощью электрического, либо химического механизмов. Электрически управляемые белки (ЭУБ) расположены в основном на мембране аксона и частично сомы, а химически управляемые белки (ХУБ) расположены на мембранах дендритов и сомы. Кроме того, мембрана клетки пронизана белками, реализующими функцию ионного насоса (ИН).

Белки ИН постоянно выводят из клетки ионы натрия и вводят в нее ионы калия. Так, что вне клетки ионов натрия примерно в 10 раз больше, чем внутри нее, а ионов калия, наоборот, в клетке в 10 раз больше, чем вне ее. При таких концентрациях внутренний потенциал нейрона оказывается отрицательным и составляет – 70 мВ. В невозбужденном состоянии белки ионных насосов работают непрерывно при закрытых шлюзах. Потенциал покоя постоянен.

Если под влиянием  внешних  факторов внутренний потенциал повысится до некоторой пороговой величины, то расположенные у основания аксона (аксоном холмике) ЭУБ откроют свои шлюзы. Через них внутрь клетки начнут поступать в большом количестве положительные ионы натрия. Локальный внутренний потенциал аксона увеличивается и достигает положительных значений (+ 40 мВ). При таких значениях шлюзы положительных ионов натрия закрываются и открываются шлюзы положительных ионов калия. В локальной области увеличенного потенциала начинают уходить положительные ионы калия, потенциал снижается до исходной величины, шлюзы закрываются и ионный насос восстанавливает потенциал покоя.. Таким образом возникает электрический импульс, называемый спайком. Длительность импульса составляет примерно 3 мсек.

Возникнув в аксоном холмике, импульс вызывает последовательное открывание шлюзов следующего по ходу аксона участков мембраны, что приводит к его перемещению по мембране аксона вплоть до терминальных волокон (синаптических бляшек).

Нейрон получает сигналы (импульсы) от других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль аксона (передатчик), который в конце разветвляется на волокна  На окончаниях этих волокон находятся синапсы .

Рис. 1 Схема биологического нейрона.

Синапс является элементарной структурой и функциональным узлом между двумя нейронами (волокно аксона одного нейрона и дендрит другого). Когда импульс достигает синаптического окончания, высвобождаются определенные химические вещества, называемые нейротрансмиттерами (медиаторами). Молекулы медиатора диффундируют через щель и попадают на постсинаптическую мембрану дендрита или сомы следующего нейрона. Попав на мембрану медиатор открывает расположенные здесь каналы химически управляемых белков. Если синапс возбуждающий, то медиатор открывает каналы положительных ионов натрия, если тормозящий –  калия. В первом случае ионы натрия поступают в клетку и возбуждают ее, смещая внутриклеточный потенциал в положительную область, во втором  - ионы калия уходят из клетки и тормозят ее, смещая внутриклеточный потенциал в отрицательную область. Результативность синапса может настраиваться проходящими через него сигналами, так что синапсы могут обучаться в зависимости от активности процессов, в которых они участвуют. Эта зависимость от предыстории действует как память, которая, возможно, ответственна за память человека.  В головном мозге человека 1 мм3 формирует независимую локальную сеть, несущую определенную функциональную нагрузку.

Нейроны взаимодействуют посредством короткой серии импульсов, как правило, продолжительностью несколько мсек. Сообщение передается посредством частотно-импульсной модуляции. Частота может изменяться от нескольких единиц до сотен герц, что в миллион раз медленнее, чем быстродействующие переключательные электронные схемы. Тем не менее, сложные решения по восприятию информации, как, например, распознавание лица, человек принимает за несколько сотен мс. Эти решения контролируются сетью нейронов, которые имеют скорость выполнения операций всего несколько мс. Это означает, что вычисления требуют не более 100 последовательных стадий. Другими словами, для таких сложных задач мозг "запускает" параллельные программы, содержащие около 100 шагов. Это известно как «правило ста шагов». Рассуждая аналогичным образом, можно обнаружить, что количество информации, посылаемое от одного нейрона другому, должно быть очень маленьким (несколько бит). Отсюда следует, что основная информация не передается непосредственно, а захватывается и распределяется в связях между нейронами.

                         ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ

Искусственная нейронная сеть – это набор нейронов, соединенных между собой. Как правило, активационная функция всех нейронов в сети фиксирована, а весв являются параметроами и могут изменяться. Некоторые входы нейронов помечены как внешние входы сети, а некоторые – как выходы – как выходы сети. Подавая любые числа на входы на выходе сети получаем какой-то набор чисел. пара Таким образом, работа нейронной сети состоит в преобразовании входного вектора Х в выходной вектор У, причем это преобразование задается весами сети

Например: алфавит русского языка содержит 33 буквы. Необходимо распознать буквы алфавита.

Дано: растровое черно-белое изображение букв размером 30х30 пикселов.

Задача для нейронной сети сформировать входной вектор из 900 двоичных символов, выходной вектор должен содержать 33 символа.

Подобно биологической нейронной системе ИНС является вычислительной системой с огромным числом параллельно функционирующих простых процессоров с множеством связей. Модели ИНС в некоторой степени воспроизводят "организационные" принципы, свойственные мозгу человека. Основу каждой НС составляют относительно простые, в большинстве случаев – однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка НС. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Нейрон — это элементарный преобразовательный элемент, имеющий непустое множество входов, на которые поступают сигналы х1, х2, …, хn, суммирующий блок, блок преобразования сигнала с помощью активационной функции и и один выход У0. Каждому входу приписан свой «вес» wiоответствующий «мере» биологической синаптической связи). Функционирует нейрон в два такта, на первом такте в суммирующем блоке вычисляется величина возбуждения полученного нейроном, которую удобно представлять в виде скалярного произведения вектора входных сигналов на вектор весов. На втором такте суммарное возбуждение пропускается через активационную (преобразующую) функцию F в результате чего получается выходной сигнал Y0 = F(Y).

Он обладает группой синапсов – однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон – выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рисунке 2.

Рис.2. Схема искусственного нейрона.

Каждый синапс характеризуется величиной синаптической связи или ее весом wi, который по физическому смыслу эквивалентен электрической проводимости.

Текущее состояние нейрона определяется, как взвешенная сумма его входов:

 

Выход нейрона есть функция его состояния y = F(s) , которая может быть различной:

Рис.3 а) функция единичного скачка; б) линейный порог (гистерезис); в) сигмоид – гиперболический тангенс; г) сигмоид.

Нелинейная функция F называется активационной и может иметь различный вид, как показано на рисунке 3. Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

При уменьшении a сигмоид становится более пологим, в пределе при a=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции – простое выражение для ее производной.

 

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

МакКалок и Питтс доказали, что при соответствующем образом подобранных весах совокупность параллельно функционирующих нейронов подобного типа способна выполнять универсальные вычисления. Здесь наблюдается определенная аналогия с биологическим нейроном - передачу сигнала и взаимосвязи имитируют аксоны и дендриты, веса связей соответствуют синапсам, а пороговая функция отражает активность сомы.

 ИНС может рассматриваться как направленный граф со взвешенными связями в котором искусственные нейроны являются узлами. По архитектуре связей ИНС могут быть сгруппированы в два класса (рис. 2): сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.

Классификация ИНС.

ИНС – это набор нейронов, соединенных между собой. Как правило, передаточная (активационная) функция всех нейронов в сети фиксирована, а веса являются параметрами сети и могут изменяться. Подавая любые числа на входы можно получить какой-то набор чисел на выходе сети. Таким образом, работа ИНС состоит в преобразовании входного вектора Х в выходной вектор У, причем это преобразование задается весами сети.

В зависимости от функций, выполняемых нейронами в сети, можно выделить три типа нейронов: входные, промежуточные, выходные.

С точки зрения топологии ИНС можно выделить три основных типа сетей: полносвязные, многослойные или слоистые, слабосвязные (НС с локальными связями).

Полносвязные характеризуются тем, что каждый нейрон передает свой сигнал остальным, в том числе и самому себе. Выходными сигналами могут быть все или некоторые выходные сигналы после нескольких тактов работы НС.

В многослойных НС нейтроны объединяются в слои. К наиболее распространенным архитектурам НС относятся сети прямого распространения (сети без обратных связей).

Слой содержит совокупность нейронов с едиными входными сигналами. Число нейронов в слое может быть любым и не связано с числом нейронов в других слоях.

Среди слоистых ИНС выделяют следующие типы:

- монотонные. Это частный случай слоистых сетей с дополнительными условиями на связи и элементы. Каждый слой, кроме последнего, разбит на два блока – возбуждающий и тормозящий. Связи между блоками также разделяют на возбуждающие и тормозящие;

- сети без обратных связей (прямого распространения);

- сети с обратными связями.

По принципу структуры нейронов различают гомогенные и гетерогенные ИНС. Гомогенные состоят из нейронов одного типа с единой  функцией активации. В гетерогенных ИНС  нейроны имеют различные функции активации.

Существуют бинарные и аналоговые ИНС.  Первые из них оперируют с двоичными сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения.

Различают также асинхронные и синхронные ИНС. В первом случае в каждый момент времени свое состояние меняет только один нейрон. Во втором – состояние меняется у группы нейронов, как правило, у всего слоя. ИНС можно классифицировать также по количеству слоев.

Рис. 5 Систематизация архитектур сетей прямого распространения и рекуррентных (с обратной связью).

В наиболее распространенном семействе сетей первого класса, называемых многослойным персептроном*, нейроны расположены слоями и имеют однонаправленные связи между слоями. На рис. 2 представлены типовые сети каждого класса. Сети прямого распространения являются статическими в том смысле, что на заданный вход они вырабатывают одну совокупность выходных значений, не зависящих от предыдущего состояния сети. Рекуррентные сети являются динамическими, так как в силу обратных связей в них модифицируются входы нейронов, что приводит к изменению состояния сети.

. Нейронные сети можно  классифицировать по числу слоев. Выбор структуры нейронной сети зависит от сложности задачи.

Сегодня под нейронными сетями (НС) понимаются параллельные вычислительные структуры, которые моделируют биологические процессы, обычно ассоциируемые с процессами человеческого мозга. НС обладают способностью приобретения знаний о предметной области, обучаясь на примерах и подстраивая свои веса для интерпретирования предъявляемых им многоразмерных данных.

На рис. 1.33 приведена структурная схема НС прямого распространения – многослойного персептрона. Кружками (вершинами) обозначены элементарные преобразователи информации – нейроны, а стрелками (дугами) – связи между ними, имеющие разную “силу” (веса синаптических связей). Как видно из рис. 1.5, рассматриваемый персептрон состоит из нескольких слоёв нейронов:

• входного слоя, на который подаётся набор входных сигналов;

• одного или более “скрытых” (промежуточных) слоёв;

• выходного слоя нейронов.

Входной вектор подается на входной слой, а выходной определяется путем поочероедного вычисления уровней активности элементов каждого слоя с использованием реакцийц предыдущих слоев.

Особенности

  •  нейроны каждого слоя не связаны между собой;
  •  входной сигнал каждого нейрона поступает на входы всех нейронов последующего слоя;
  •  нейроны входного слоя не осуществляют преобразование входных сигналов, их функции заключаются только в распределении сигналов между нейронами скрытого слоя.

Обучение сети  «с учителем» состоит из следующих шагов:

1  Случайным образом инициализируются веса синаптических связей (наи практике из интервала [-0,05; 0,5]/

  1.  На входы НС поочередно подаются «образы» (входные векторы) обучающей выборки.
  2.  Вычисляется реакция НС на соответствующий входной вектор.
  3.  Вычисляется вектор ошибки сети – разность между желаемым и фактическим значением.
  4.  Вычисляется суммарная квадратичная ошибка.
  5.  Проверяется условие Е≤ Едоп., где Едоп- заданное условие ошибки.
  6.  Производится изменение весов НС в сторону уменьшения ошибки.

Более подробно этот алгоритм выглядит следующим образом:

Суть процесса обучения НС заключается в выполнении следующей многошаговой процедуры [45].

Шаг 1. Задаётся обучающее множество (“задачник”)

, элементами которого являются обучающие пары . В данном случае – 1-й входной вектор (или 1-й входной образ), предъявляемый нейронной сети; – вектор эталонных (требуемых) реакций НС в ответ на 1-й входной вектор ; L – число различных обучающих пар.

Шаг 2. Устанавливается начальное состояние НС путём присваивания всем её весам  некоторых случайных (малых) значений. – вес связи, соединяющей выход i-го нейрона k-го слоя со входом j-го нейрона (k + 1)-го слоя.

Шаг 3. На вход сети подаётся входной вектор ; определяются реакции  нейронов выходного слоя.

Шаг 4. Вычисляется разность  между желаемой реакцией сети  и её фактическим выходом , т. е. , а также суммарная квадратичная ошибка .

Шаг 5. Осуществляется коррекция весов  нейронной сети таким образом, чтобы уменьшить ошибку .

Шаг 6. Повторяются шаги 3–5 для каждой пары обучающего множества  до тех пор, пока ошибка на всем множестве не достигнет малой, заранее заданной величины Е*.

Результатом обучения является такая настройка весов синаптических связей, при которой каждому входному вектору сеть сопоставляет требуемый (или близкий к нему) выход.

Одним из первых алгоритмов, удачно зарекомендовавшим себя при обучении многослойной НС, явился предложенный в 1986 г. Руммельхартом Д. (США) и его коллегами алгоритм обратного распространения (Васk–Ргораgаtion Algorithm), претерпевший впоследствии многочисленные изменения и усовершенствования. Сущность этого алгоритма состоит в том, что подстройка весов  осуществляется послойно, начиная с последнего(выходного) слоя и заканчивается первым скрытым слоем. Существуют также и другие алгоритмы обратного рспространения.

На сегодня известно более 200 разновидностей НС. Кроме упомянутых выше многослойных персептронов, это:

• динамические (рекуррентные) НС;

• сети на основе радиальных базисных функций;

• сети Хопфилда;

• сети Кохонена;

• неокогнитроны и т. д.

Обучение

Способность к обучению является фундаментальным свойством мозга. В контексте ИНС процесс обучения может рассматриваться как настройка архитектуры сети и весов связей для эффективного выполнения специальной задачи. Обычно нейронная сеть должна настроить веса связей по имеющейся обучающей выборке. Функционирование сети улучшается по мере итеративной настройки весовых коэффициентов. Свойство сети обучаться на примерах делает их более привлекательными по сравнению с системами, которые следуют определенной системе правил функционирования, сформулированной экспертами.

*Персептрон – устройство, моделирующее восприятие; впервые предложено Ф Розенблатом (зрительный анализатор). Персептронами называют компьютерные системы, связанные с распознаванием образов.

Для конструирования процесса обучения, прежде всего, необходимо иметь модель внешней среды, в которой функционирует нейронная сеть - знать доступную для сети информацию. Эта модель определяет парадигму обучения [3]. Во-вторых, необходимо понять, как модифицировать весовые параметры сети, - какие правила обучения управляют процессом настройки. Алгоритм обучения означает процедуру, в которой используются правила обучения для настройки весов.

Как правило, алгоритм обучения – это набор формул, который позволяет вычислить требуемые поправки для весов сети. Для полной тренировки требуется хотя бы несколько примеров.

Используемые алгоритмы:

- локальной оптимизации с вычислением частных производных первого порядка;

- локальной оптимизации с вычислением частных производных первого и второго порядков;

-стохастические алгоритмы оптимизации;

-алгоритмы глобальной оптимизации и другие.

Существуют три парадигмы обучения: «с учителем», «без учителя» (самообучение) и смешанная. В первом случае нейронная сеть располагает правильными ответами (выходами сети) на каждый входной пример. Веса настраиваются так, чтобы сеть производила ответы как можно более близкие к известным правильным ответам. Усиленный вариант обучения с учителем предполагает, что известна только критическая оценка правильности выхода нейронной сети, но не сами правильные значения выхода. Обучение без учителя не требует знания правильных ответов на каждый пример обучающей выборки. В этом случае раскрывается внутренняя структура данных или корреляции между образцами в системе данных, что позволяет распределить образцы по категориям. При смешанном обучении часть весов определяется посредством обучения с учителем, в то время как остальная получается с помощью самообучения.

Рис. 39. Алгоритм обучения ИНС.

Нейронные сети хороши для задач распознавания образов, но неудобны для выяснения вопроса, как они такое распознавание осуществляют. При этом знания эксперта для ускорения процесса ее обучения в нейронную сеть ввести невозможно.

Системы с нечеткой логикой, напротив, хороши для объяснения получаемых с их помощью выводов, но они не могут автоматически приобретать знания для их использования в механизмах вывода.

В гибридных сетях выводы делаются на основе аппарата нечеткой логики, но соответствующие функции принадлежности подстраиваются с использованием алгоритмов обучения нейронных сетей.

Основными недостатками аппарата нейронных сетей являются:

- отсутствие строгой теории по выбору структуры ИНС;

- практическая невозможность извлечения приобретенных знаний из обученных ИНС.

Опыт показал, что применение нейронных сетей оправданно там, где закономерности не изучены, а входные данные избыточны, иногда противоречивы и засорены случайной информацией.

За рубежом интерес к нейронным сетям стремительно растет. На нейронной технологии в сочетании с использованием проводящих полимеров основано устройство распознавания запахов, разработанное совместно фирмами Neotronics и Neoral Technologies. Системы на основе одного из типов нейронной сети осуществляют контроль за энергоустановками в некоторых городах США. Сеть РАРNЕТ после пробного рассмотрения нескольких тысяч образцов определяет пораженные раком клетки быстрее и точнее, чем это делает лаборант. "Гибридная" система анализа данных Clementine, разработанная ISL, применяется  банком Чейз Манхэттен (Chase Manhattan Bank) для изучения вкусов и склонностей части своей клиентуры. Датский институт мясной промышленности приспособил нейронную сеть для анализа качества свинины. Фирма АЕА Technology разработала на основе нейронной сети средство определения идентичности подписи.

Опыт показал, что применение нейронных сетей оправданно там, где закономерности не изучены, а входные данные избыточны, иногда противоречивы и засорены случайной информацией.

Области применения обученных ИНС: обработка видеоизображений; обработка статических изображений; обнаружение и классификация объектов по звуковым и гидроакустическим сигналам; медицинская диагностика; распознавание речи; обнаружение фальсификаций; управление ценами и производством; исследование факторов спроса; прогнозирование потребления энергии; анализ страховых рисков; оценка недвижимости.

Задачи нейронных сетей, генетических алгоритмов и методов нечеткой логики могут рассматриваться вне связи между собой, однако их взаимосвязь довольно высока. Генетические алгоритмы можно применять для подбора весов и топологии ИНС, а также для формирования базы правил и  функций принадлежности нечеткой системы. В свою очередь, ИНС позволяют выбирать соответствующие параметры для генетических алгоритмов ( параметры скрещивания и мутации). Методы нечетких множеств позволяют подбирать параметры генетических алгоритмов и коэффициенты, определяющие скорость обучения ИНС.

       


1-й скрытый слой

y1

2

x2

ym

xn

x1

.

.

.

Входной слой

Рис.

.

.

.

Выходной слой

.

.

.

.

.

.

1-й скрытый слой

y1

y2

x2

ym

xn

x1

.

.

.

Входной слой

Рис. . Структура многослойного персептрона

.

.

.

Выходной слой

.

.

.

.

.

.


 

А также другие работы, которые могут Вас заинтересовать

12337. Әлеуметтану ғылыми пән ретінде 592.5 KB
  І тақырып. Әлеуметтану ғылыми пән ретінде 1. Қоғам туралы түсінік. 2. Әлеуметтанудың объектісі мен пәні. 3. Әлеуметтанудың категориялары мен заңдары. 4. Әлеуметтанудың құрылымы мен қызметі. 5. Әлеуметтанудың басқа гуманита...
12338. Әлеуметтану ғылым ретінде. Макс Вебер «ұғыну, түсіну» социология және идеалды тип ұғымы 75.5 KB
  Әлеуметтану ғылым ретінде Әлеуметтану қоғамның қалыптасуы жұмыс істеуі және даму заңдылықтары туралы ғылым. Социология әлеуметтану фактілерді үдерістерді қатынастарды жеке тұлғалардың әлеуметтану топтардың қызметін олардың рөлін мәртебесі мен әлеумет
12339. Әлемдік әлеуметтанудың даму тарихы 84.5 KB
  2сабақ. Әлемдік әлеуметтанудың даму тарихы. 3 сағат. 1. Антикалық және Ортағасыр дәуіріндегі әлеуметтік ойлар. 2. Жаңа заман мен Ағартушылар дәуіріндегі әлеуметтік тұжырымдамалар. 1. Қандай ғылым болса да қоғамдық қажеттіліктен туатыны белгілі. Әлеу
12340. Пути повышения товарооборачиваемости при планировании товарных запасов Мамадышского РайПО 6.39 MB
  Целью дипломной работы является оценка состояния товарных запасов и товарооборачиваемости в эффективности развития торгового предприятия, их влияние на конечный результат деятельности предприятия, а также разработка путей оптимизации товарных запасов и ускорения их оборачиваемости в торговле на материалах Мамадышского РайПО.
12341. Құқықтық мәдениет - әлеуметтенудің маңызды факторы 57.5 KB
  11дәріс. Құқықтық мәдениет әлеуметтенудің маңызды факторы. 1сағат. 1. Мәдениет ұғымы. 2. Құқықтық мәдениеттің мәні. 3. Құқықтық мәдениет әлеуметтенудің маңызды факторы. 4. Қазіргі кезеңде құқықтық мәдениеттің қалыптасу жағдайы. 1. Мәдениет деген сөз ...
12342. Құқық әлеуметтануының атқаратын функциялары 76.5 KB
  10дәріс. Құқық әлеуметтануының атқаратын функциялары. 1сағат. 1. Құқықтың әлеуметтік қызметтері 2. Құқықтың реттеушілік қорғаушылық және коммуникативті қызметтері. 3. Құқықтық жүйенің атқаратын қызметін зерттеу. 1. Құқықтың қоғамдағы атқаратын міндетті әлеуметт
12343. Этноәлеуметтану. Ұлттық-этникалық қатынастар, оның мазмұны 64.5 KB
  6дәріс. Этноәлеуметтану. 1сағат. 1. Қоғамның этникалық қауымдастығы туралы ұғым. 2. Этникалық қауымдастықтың ұлтқа бірігуі. 3. Ұлттықэтникалық қатынастар оның мазмұны. 4. Қазіргі Қазақстандағы ұлтаралық қатынастар. 1. Бұл тақырып с...
12344. Этноәлеуметтану. Этникалық әлеуметтанудың негізгі функциялары 129.5 KB
  Этноәлеуметтану 1. Қоғамның этникалық қауымдастығы туралы ұғым. 2. Этникалық қауымдастықтың ұлтқа бірігуі. 3. Ұлттықэтникалық қатынастар оның мазмұны. 4. Этникалық әлеуметтанудың негізгі функциялары. 5. Қазіргі Қазақстандағы ұлтаралық қатын
12345. Құқық әлеуметтануы. Құқық әлеуметтануындағы әлеуметтанулық зерттеулер 56.5 KB
  9дәріс. Құқық әлеуметтануы. 1сағат. Құқық әлеуметтік институт ретінде Құқық әлеуметтануының объектісі мен пәні 3.Құқық әлеуметтануындағы әлеуметтанулық зерттеулер 1. Жалпы әлеуметтанудың негізгі айналысатыны қоғамдық жүйенің әлеуметтік қырларын қоғам