21689

НЕЙРОННЫЕ СЕТИ

Лекция

Информатика, кибернетика и программирование

НЕЙРОННЫЕ СЕТИ Нейронные сети начали активно распространяться 20 лет назад они позволяют решать сложные задачи обработки данных. Нейронные сети названы так потому что их архитектура в некоторой степени имитирует построение биологической нервной ткани из нейронов в мозге человека. Первый шаг был сделан в 1943 году с выходом статьи нейрофизиолога Уоррена Маккалоха и математика Уолтера Питтса про работу искусственных нейронов и представления модели нейронной сети на электрических схемах.htm Итак нейронные сети появились как результат...

Русский

2013-08-03

394 KB

3 чел.

етоды искусственного интеллекта

Лекция № 6

МЕТОДЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

ЛЕКЦИЯ № 6

В течение последних лекций мы с вами изучали интегральную теорию создания искусственного интеллекта, в которой предлагается отказаться от традиционного взгляда на искусственный интеллект и применить для его создания теорию объектов. Понятно, что это дело отдалённого будущего.

Мы же теперь начнём заниматься вещами более земными и реальными, а именно — нейросетями, генетическими алгоритмами и другими методами, позволяющими построить искусственный интеллект 1-го уровня. На первом уровне объект способен применять известные решения известных классов задач, совершенствоваться эволюционным путём, улучшая соотношение частот применяемых решений и уменьшая стоимость их получения.

НЕЙРОННЫЕ СЕТИ

Нейронные сети начали активно распространяться 20 лет назад, они позволяют решать сложные задачи обработки данных. Нейросетевые методы были названы одной из ключевых технологий японской национальной программы «Вычисления в реальном мире», которая в 1992 году сменила программу создания компьютеров пятого поколения.

Нейронные сети названы так потому, что их архитектура в некоторой степени имитирует построение биологической нервной ткани из нейронов в мозге человека.

И хотя изучению работы человеческого мозга — тысячи лет, первые попытки аппаратного воспроизведения процесса мышления начались с появлением современной электроники. Первый шаг был сделан в 1943 году с выходом статьи нейрофизиолога Уоррена Маккалоха и математика Уолтера Питтса про работу искусственных нейронов и представления модели нейронной сети на электрических схемах.

В 50-х годах появились первые программные модели нейросетей. В 1959 году Бернард Видров и Марсиан Хофф разработали модель MADALINE, она действовала как адаптивный фильтр, устраняющий эхо в телефонных линиях. К слову, эта нейросеть до сих пор находится в коммерческой эксплуатации.

Но в то время потенциал нейронных сетей был сильно преувеличен из-за ограниченных возможностей электроники, и вскоре финансирование работ по созданию нейросетей было свёрнуто. Период спада продолжался до начала 80-х годов, как раз когда началась развиваться современная вычислительная техника.

http://victoria.lviv.ua/html/oio/html/theme5_rus.htm

Итак, нейронные сети появились как результат моделирования биологических процессов.

О биологии

То, что нервная система состоит из множества отдельных клеток, учёные доказали в начале XX века. Эти клетки назвали нейронами. Нейроны обмениваются информацией с множеством своих соседей, ближних и дальних.

Каждый нейрон состоит из сомы и отростков — аксонов и дендритов. Сома — это клетка диаметром от 3 до 100 мкм, содержащая ядро и другие клеточные составляющие, погружённые в цитоплазму. Аксоны — это передатчики сигналов, а дендриты — сильно разветвлённые отростки — приёмники сигналов.


node — узел,

sheath — оболочка

Schwann cell — клетки Шванна(?)

http://en.wikipedia.org/wiki/Neuron

Окончания аксонов и дендритов разбросаны по всему телу. Всего у человека около 25 млрд. нейронов, причём подавляющее их число — где? — в головном мозге, в нём до 20 млрд. нейронов.

Сообщения, которые может передавать нейрон, очень просты. Он может находиться всего в двух положениях: включенном, передающем сигнал, и выключенном. Никаких промежуточных положений ему не дано. И поэтому импульсы нейронов зрительной системы ничем не отличаются от импульсов нервных клеток носа, кожи или уха. Мозг воспринимает их сообщения как образы только потому, что знает, откуда они поступили. Поэтому если постучать пальцем по глазу, то мозг расшифрует этот сигнал как свет. Отсюда как раз и выражение „искры из глаз“.

Получив зрительный, звуковой, осязательный сигнал, нейрон передаёт его в нервный центр, а оттуда после анализа сообщения посылается ответная команда к рабочему органу. Биологи называют эту цепочку рефлекторной дугой. Самый простой пример — кончик пальца почувствовал, что горячо, и человек одёргивает руку.

Импульс движется по аксону, это электрический сигнал.

Некоторые аксоны имеют гигантскую длину. Аксон в пальце жирафа едва достигает 1/10 мм в поперечнике, а проходит расстояние в несколько метров до своего окончания в спинном мозгу. Пучки аксонов и составляют те нервы, которые можно увидеть невооружённым глазом.

От одного нейрона к другому информация передаётся через место соединения, называемое синапсом. Синапс — это область контакта со следующим нейроном, в этом месте происходит химическая реакция, которая и передаёт импульс дендриту. Т.е. по аксону идёт электрический сигнал, а в синапсе — химическая реакция. Синапсы передают сигнал только в одном направлении.

{рисунок c.20}

Нервные импульсы распространяются со скоростью от 50 см/с до 120 м/с. 120 м/с — это 400 км/ч! Быстрей всего идут сигналы от скелетных мышц, а сигналы боли — со скоростью лишь 1 м/с.

Перейдём теперь к искусственному нейрону.

Только ещё назову очень полезную книжечку по нейроуправлению.

Сигеру Омату. Нейроуправление и его приложения. Кн. 2. / Сигеру Омату, Марзуки Халид, Рубия Юсоф; Пер. с англ. Н. В. Батина; Под ред. А. И. Галушкина, В. А. Птичкина. — М.: ИПРЖР, 2000. — 272 с.: ил. (Нейрокомпьютеры и их применение.)

681.5

01-2149

ЧЗТЛ, остался один экз.

Книжечку эту всегда рекомендует Валерий Иванович Гончаров, когда к нему подходят студенты и просят рассказать что-нибудь про нейросети.

Искусственный нейрон

Базовый модуль нейронных сетей — искусственный нейрон — моделирует основные функции естественного нейрона.

Схема искусственного нейрона

Здесь

— входные сигналы (как бы с дендритов);

— весовые коэффициенты;

тета — вес смещения, на входе единица.

Входные сигналы, взвешенные весовыми коэффициентами складываются, проходят через передаточную функцию, которая генерирует результат, который, собственно, и выводится. (Как бы аксоном.)

В существующих нынче пакетах программ искусственные нейроны называются элементами обработки и имеют больше возможностей, чем простой искусственный нейрон, который мы сейчас представили.

Математическая модель нейрона, её как раз и предложили Маккаллок и Питтс, имеет вид:

,

где

— входной сигнал сети для -го нейрона,

— вес смещения,

— сила синаптической связи -го нейрона с -ым,

— выходной сигнал -го нейрона,

— функция выхода.

Для простоты обычно рассматривают только три типа функции выхода:

  1.  функция знака, или сигнум-функция:
  2.  линейная функция: ;
  3.  сигмоидная функция: .

сигмоидная функция:

Необходимо учитывать, что при  сигмоидная функция переходит в линейную, а при  — в функцию знака.

В 1974 году г-н Вербос предложил концептуальные основы подхода к построению нейросетей, который получил название алгоритма обратного распространения ошибок. Мы рассмотрим этот алгоритм.

Алгоритм обратного распространения

Алгоритм обратного распространения — backpropagation algorithm — основывается на многослойной нейронной сети. В нём используется не менее трёх слоёв нейронов. Для простоты мы трёхслойные сети и будем рассматривать. Три слоя: входной, скрытый и выходной.

Таким образом на выходном слое:

на скрытом слое:

где

Процедура обучения включает представление набора пар входных и выходных образов. Т.е. мы должны показать нашей нейросети, что должно быть на выходе, когда на входе какая-то комбинация сигналов. Сначала нейронная сеть на основе входного образа создаёт собственный выходной образ, а затем сравнивает его с целевым выходным образом. Если различий между фактическим и целевым образами нет, то обучения не происходит. В противном случае веса связей изменяются таким образом, чтобы различие уменьшилось. Мерой различия при этом является функция квадрата ошибки , задаваемая следующим образом:

где

— желаемый вход для -й компоненты -го выходного образа,

— соответствующий фактический выход.

Таким образом,  — мера ошибки вход-выход для -го образа, а  — общая мера ошибки.

Задача алгоритма — добиться минимума этой ошибки, управляя весовыми коэффициентами. Можно воспользоваться градиентным методом наискорейшего спуска.

{рисунок}

Я не буду здесь подробно расписывать правила для входных и выходных слоёв, чтобы не загружать вас лишней математикой. А сразу перейду к порядку реализации алгоритма обратного распространения.

Алгоритм этот может быть представлен в виде следующих шагов:

Шаг 1. Присвоить начальные значения величинам , , , ,  и .

— это скорость обучения, ; Это константа, представляющая собой коэффициент пропорциональности между изменением веса связи и градиентом ошибки E относительно веса. Чем больше эта константа, тем больше изменения в весах связей.

— константа, определяющая влияние предыдущего изменения весов на текущее направление движения в пространстве весов связей. Учёный с мировым именем Румельхарт рекомендует использовать величину альфа, приблизительно равную 0,9.

Шаг 2. Подать на нейронную сеть входной сигнал. Задать соответствующий ему желаемый выход , вычислить ,  и  по формуле:

.

— это величина обобщённого сигнала ошибки, задаваемая выражением:

.

Шаг 3. Изменить веса связей на величину:

.

Шаг 4. Вычислить  по формуле:

.

Шаг 5. Изменить веса связей на величину:

.

Шаг 6. Положить  равным  и перейти к шагу 2.

Алгоритм обратного распространения получен на основе градиентного метода наискорейшего спуска и предназначен для поиска минимума ошибки. Это приводит, однако, к поиску локального минимума или точки перегиба. В идеальном же случае должен отыскиваться глобальный минимум, представляющий собой нижнюю точку всей области определения.

{рисунок}

Так как локальный минимум окружён более высокими точками, стандартный алгоритм обратного распространения обычно не пропускает локальных минимумов.

Чтобы избежать ловушек на локальных минимумах, можно изменять параметры обучения, количество скрытых слоёв, начальные значения весов связей. Обычно эти методы разрабатываются так, чтобы попытаться изменить сценарий перемещения по участку, содержащему локальные минимумы и максимумы.

Выбор количества скрытых узлов или скрытых слоёв является проблемой. Регрессивный анализ показывает, что если выбрать достаточно много видов описывающих переменных, то ошибка предсказания окажется небольшой.

(Регрессивный анализ — это нахождение зависимостей определённой величины от других величин.)

Но минимизация квадрата ошибки, достигаемая за счёт увеличения количества нейронов, не означает построения хорошей нейронной сети. Если использовать большое количество нейронов, то нейросеть может с высокой точностью обучаться на зашумлённых данных. В этом случае следует выбрать нейросеть меньшего размера, даже если ошибка при этом оказывается не такой малой.

http://victoria.lviv.ua/html/oio/html/theme5_rus.htm

Сегодня мы в упрощённом виде рассмотрели структуру и функции биологической нейронной сети. Можно видеть, что в терминологии, моделях и функциях, используемых для искусственных нейронных сетей, многое заимствовано из биологических нейронных сетей. В то же время обучение в искусственных нейронных сетях во многом отличается от соответствующих процессов в биологических сетях. Искусственные нейронные сети обучаются на основе упрощённых алгоритмов, адаптирующих синаптические веса. Эти алгоритмы могут классифицироваться на алгоритмы управляемого и неуправляемого обучения. Мы остановились на алгоритме обратного распространения ошибки — это наиболее широко применяемый алгоритм обучения многослойных нейронных сетей. Он составляет основу для большинства схем нейронного управления.

http://www.pcweek.ru/Year2001/N9/CP1251/Opinions/chapt3.htm

http://www.neuropro.ru/neu.shtml

http://neuronet.narod.ru/Neuroinformatics_r.html

http://nehudlit.ru/0/1/7/

http://www.bogatstvo.ru/atfin/algorit.htm

http://www.orc.ru/~stasson/neurox.html

PAGE  7

Томский политехнический университет,

Дмитрий Афонин, март 2006 г.


 

А также другие работы, которые могут Вас заинтересовать

15376. Оценка бюджетной эффективности инновационного проекта 308.5 KB
  Введение Современный бизнес является инновационным. Развитие невозможно без инноваций а инновации в свою очередь без инвестиций. Для финансирования инновационно-инвестиционных проектов используются разнообразные источники и механизмы в том числе и кредиты. Дл
15377. Роль Сбербанка в экономике страны 203.5 KB
  Введение В современном мире банки не только организуют денежный оборот и кредитные отношения но и выполняют огромное число разнообразных банковских операций необходимых для дальнейшего развития общества. Сберегательный банк это один из универсальных коммерчес
15378. СВОТ-анализ ООО Гермес 249 KB
  Характеристика фирмы Торговое предприятие ООО Гермес осуществляет торговохозяйственную деятельность. По своей организационноправовой форме является обществом с ограниченной ответственностью. Полное фирменное наименование: Общество с ограниченной отв...
15379. Себестоимость продукции животноводства и пути ее снижения 333 KB
  Производство продукции сельского хозяйства связано с использованием производственных ресурсов отрасли трудовых земельных водных материальных в процессе которого они частично или полностью потребляются а их стоимость перенос
15380. Социально-экономическое развитие Забайкальского края 2010-2020 гг 288 KB
  Забайкальский край – один из уникальных регионов Российской Федерации по своему ресурсному потенциалу, выгодной транспортной схеме, интегрированный в мировую систему коммуникаций, исключительно ценными рекреационными ресурсами, емкому и свободному, пока еще, от жесткой конкуренции рынку товаров и услуг.
15381. Стратегическое развитие малого предпринимательства в Тисульском муниципальном районе 593.5 KB
  Методологические и теоретические основы малого и среднего предпринимательства. Анализ нормативно правовой базы МСУ методологические основы планирования. Теория и методология малого бизнеса. Характеристика Тисульского...
15382. СТРАХОВОЙ РЫНОК В РФ: ТЕНДЕНЦИИ РАЗВИТИЯ 276 KB
  КУРСОВАЯ РАБОТА СТРАХОВОЙ РЫНОК В РФ: ТЕНДЕНЦИИ РАЗВИТИЯ Введение 1. Экономическое содержание понятий характеризующих страховой рынок 1.1 Понятие страховой рынок 1.2 Структура страхового рынка 2. Страховой рынок России на современном этапе 2.1 Развитие страх...
15383. Страховой рынок- становление и перспективы развития 265.5 KB
  ВВЕДЕНИЕ Современное экономическое развитие России обусловило необходимость возрождения страхового дела и развитие его на принципиально новой основе. Российский страховой рынок обладает мощным потенциалом развития. Об этом свидетельствует тот факт что общий ...
15384. Телевизионная реклама батончика NUTS 167 KB
  Введение У нас в стране реклама приобретает все большее значение. Ее целью является привлечение внимания покупателей к фирме ее возможностям и выпускаемым товарам подчеркивая их высокое качество новизну надежность удобство использования и приемлемую цену. Во в