21689

НЕЙРОННЫЕ СЕТИ

Лекция

Информатика, кибернетика и программирование

НЕЙРОННЫЕ СЕТИ Нейронные сети начали активно распространяться 20 лет назад они позволяют решать сложные задачи обработки данных. Нейронные сети названы так потому что их архитектура в некоторой степени имитирует построение биологической нервной ткани из нейронов в мозге человека. Первый шаг был сделан в 1943 году с выходом статьи нейрофизиолога Уоррена Маккалоха и математика Уолтера Питтса про работу искусственных нейронов и представления модели нейронной сети на электрических схемах.htm Итак нейронные сети появились как результат...

Русский

2013-08-03

394 KB

2 чел.

етоды искусственного интеллекта

Лекция № 6

МЕТОДЫ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

ЛЕКЦИЯ № 6

В течение последних лекций мы с вами изучали интегральную теорию создания искусственного интеллекта, в которой предлагается отказаться от традиционного взгляда на искусственный интеллект и применить для его создания теорию объектов. Понятно, что это дело отдалённого будущего.

Мы же теперь начнём заниматься вещами более земными и реальными, а именно — нейросетями, генетическими алгоритмами и другими методами, позволяющими построить искусственный интеллект 1-го уровня. На первом уровне объект способен применять известные решения известных классов задач, совершенствоваться эволюционным путём, улучшая соотношение частот применяемых решений и уменьшая стоимость их получения.

НЕЙРОННЫЕ СЕТИ

Нейронные сети начали активно распространяться 20 лет назад, они позволяют решать сложные задачи обработки данных. Нейросетевые методы были названы одной из ключевых технологий японской национальной программы «Вычисления в реальном мире», которая в 1992 году сменила программу создания компьютеров пятого поколения.

Нейронные сети названы так потому, что их архитектура в некоторой степени имитирует построение биологической нервной ткани из нейронов в мозге человека.

И хотя изучению работы человеческого мозга — тысячи лет, первые попытки аппаратного воспроизведения процесса мышления начались с появлением современной электроники. Первый шаг был сделан в 1943 году с выходом статьи нейрофизиолога Уоррена Маккалоха и математика Уолтера Питтса про работу искусственных нейронов и представления модели нейронной сети на электрических схемах.

В 50-х годах появились первые программные модели нейросетей. В 1959 году Бернард Видров и Марсиан Хофф разработали модель MADALINE, она действовала как адаптивный фильтр, устраняющий эхо в телефонных линиях. К слову, эта нейросеть до сих пор находится в коммерческой эксплуатации.

Но в то время потенциал нейронных сетей был сильно преувеличен из-за ограниченных возможностей электроники, и вскоре финансирование работ по созданию нейросетей было свёрнуто. Период спада продолжался до начала 80-х годов, как раз когда началась развиваться современная вычислительная техника.

http://victoria.lviv.ua/html/oio/html/theme5_rus.htm

Итак, нейронные сети появились как результат моделирования биологических процессов.

О биологии

То, что нервная система состоит из множества отдельных клеток, учёные доказали в начале XX века. Эти клетки назвали нейронами. Нейроны обмениваются информацией с множеством своих соседей, ближних и дальних.

Каждый нейрон состоит из сомы и отростков — аксонов и дендритов. Сома — это клетка диаметром от 3 до 100 мкм, содержащая ядро и другие клеточные составляющие, погружённые в цитоплазму. Аксоны — это передатчики сигналов, а дендриты — сильно разветвлённые отростки — приёмники сигналов.


node — узел,

sheath — оболочка

Schwann cell — клетки Шванна(?)

http://en.wikipedia.org/wiki/Neuron

Окончания аксонов и дендритов разбросаны по всему телу. Всего у человека около 25 млрд. нейронов, причём подавляющее их число — где? — в головном мозге, в нём до 20 млрд. нейронов.

Сообщения, которые может передавать нейрон, очень просты. Он может находиться всего в двух положениях: включенном, передающем сигнал, и выключенном. Никаких промежуточных положений ему не дано. И поэтому импульсы нейронов зрительной системы ничем не отличаются от импульсов нервных клеток носа, кожи или уха. Мозг воспринимает их сообщения как образы только потому, что знает, откуда они поступили. Поэтому если постучать пальцем по глазу, то мозг расшифрует этот сигнал как свет. Отсюда как раз и выражение „искры из глаз“.

Получив зрительный, звуковой, осязательный сигнал, нейрон передаёт его в нервный центр, а оттуда после анализа сообщения посылается ответная команда к рабочему органу. Биологи называют эту цепочку рефлекторной дугой. Самый простой пример — кончик пальца почувствовал, что горячо, и человек одёргивает руку.

Импульс движется по аксону, это электрический сигнал.

Некоторые аксоны имеют гигантскую длину. Аксон в пальце жирафа едва достигает 1/10 мм в поперечнике, а проходит расстояние в несколько метров до своего окончания в спинном мозгу. Пучки аксонов и составляют те нервы, которые можно увидеть невооружённым глазом.

От одного нейрона к другому информация передаётся через место соединения, называемое синапсом. Синапс — это область контакта со следующим нейроном, в этом месте происходит химическая реакция, которая и передаёт импульс дендриту. Т.е. по аксону идёт электрический сигнал, а в синапсе — химическая реакция. Синапсы передают сигнал только в одном направлении.

{рисунок c.20}

Нервные импульсы распространяются со скоростью от 50 см/с до 120 м/с. 120 м/с — это 400 км/ч! Быстрей всего идут сигналы от скелетных мышц, а сигналы боли — со скоростью лишь 1 м/с.

Перейдём теперь к искусственному нейрону.

Только ещё назову очень полезную книжечку по нейроуправлению.

Сигеру Омату. Нейроуправление и его приложения. Кн. 2. / Сигеру Омату, Марзуки Халид, Рубия Юсоф; Пер. с англ. Н. В. Батина; Под ред. А. И. Галушкина, В. А. Птичкина. — М.: ИПРЖР, 2000. — 272 с.: ил. (Нейрокомпьютеры и их применение.)

681.5

01-2149

ЧЗТЛ, остался один экз.

Книжечку эту всегда рекомендует Валерий Иванович Гончаров, когда к нему подходят студенты и просят рассказать что-нибудь про нейросети.

Искусственный нейрон

Базовый модуль нейронных сетей — искусственный нейрон — моделирует основные функции естественного нейрона.

Схема искусственного нейрона

Здесь

— входные сигналы (как бы с дендритов);

— весовые коэффициенты;

тета — вес смещения, на входе единица.

Входные сигналы, взвешенные весовыми коэффициентами складываются, проходят через передаточную функцию, которая генерирует результат, который, собственно, и выводится. (Как бы аксоном.)

В существующих нынче пакетах программ искусственные нейроны называются элементами обработки и имеют больше возможностей, чем простой искусственный нейрон, который мы сейчас представили.

Математическая модель нейрона, её как раз и предложили Маккаллок и Питтс, имеет вид:

,

где

— входной сигнал сети для -го нейрона,

— вес смещения,

— сила синаптической связи -го нейрона с -ым,

— выходной сигнал -го нейрона,

— функция выхода.

Для простоты обычно рассматривают только три типа функции выхода:

  1.  функция знака, или сигнум-функция:
  2.  линейная функция: ;
  3.  сигмоидная функция: .

сигмоидная функция:

Необходимо учитывать, что при  сигмоидная функция переходит в линейную, а при  — в функцию знака.

В 1974 году г-н Вербос предложил концептуальные основы подхода к построению нейросетей, который получил название алгоритма обратного распространения ошибок. Мы рассмотрим этот алгоритм.

Алгоритм обратного распространения

Алгоритм обратного распространения — backpropagation algorithm — основывается на многослойной нейронной сети. В нём используется не менее трёх слоёв нейронов. Для простоты мы трёхслойные сети и будем рассматривать. Три слоя: входной, скрытый и выходной.

Таким образом на выходном слое:

на скрытом слое:

где

Процедура обучения включает представление набора пар входных и выходных образов. Т.е. мы должны показать нашей нейросети, что должно быть на выходе, когда на входе какая-то комбинация сигналов. Сначала нейронная сеть на основе входного образа создаёт собственный выходной образ, а затем сравнивает его с целевым выходным образом. Если различий между фактическим и целевым образами нет, то обучения не происходит. В противном случае веса связей изменяются таким образом, чтобы различие уменьшилось. Мерой различия при этом является функция квадрата ошибки , задаваемая следующим образом:

где

— желаемый вход для -й компоненты -го выходного образа,

— соответствующий фактический выход.

Таким образом,  — мера ошибки вход-выход для -го образа, а  — общая мера ошибки.

Задача алгоритма — добиться минимума этой ошибки, управляя весовыми коэффициентами. Можно воспользоваться градиентным методом наискорейшего спуска.

{рисунок}

Я не буду здесь подробно расписывать правила для входных и выходных слоёв, чтобы не загружать вас лишней математикой. А сразу перейду к порядку реализации алгоритма обратного распространения.

Алгоритм этот может быть представлен в виде следующих шагов:

Шаг 1. Присвоить начальные значения величинам , , , ,  и .

— это скорость обучения, ; Это константа, представляющая собой коэффициент пропорциональности между изменением веса связи и градиентом ошибки E относительно веса. Чем больше эта константа, тем больше изменения в весах связей.

— константа, определяющая влияние предыдущего изменения весов на текущее направление движения в пространстве весов связей. Учёный с мировым именем Румельхарт рекомендует использовать величину альфа, приблизительно равную 0,9.

Шаг 2. Подать на нейронную сеть входной сигнал. Задать соответствующий ему желаемый выход , вычислить ,  и  по формуле:

.

— это величина обобщённого сигнала ошибки, задаваемая выражением:

.

Шаг 3. Изменить веса связей на величину:

.

Шаг 4. Вычислить  по формуле:

.

Шаг 5. Изменить веса связей на величину:

.

Шаг 6. Положить  равным  и перейти к шагу 2.

Алгоритм обратного распространения получен на основе градиентного метода наискорейшего спуска и предназначен для поиска минимума ошибки. Это приводит, однако, к поиску локального минимума или точки перегиба. В идеальном же случае должен отыскиваться глобальный минимум, представляющий собой нижнюю точку всей области определения.

{рисунок}

Так как локальный минимум окружён более высокими точками, стандартный алгоритм обратного распространения обычно не пропускает локальных минимумов.

Чтобы избежать ловушек на локальных минимумах, можно изменять параметры обучения, количество скрытых слоёв, начальные значения весов связей. Обычно эти методы разрабатываются так, чтобы попытаться изменить сценарий перемещения по участку, содержащему локальные минимумы и максимумы.

Выбор количества скрытых узлов или скрытых слоёв является проблемой. Регрессивный анализ показывает, что если выбрать достаточно много видов описывающих переменных, то ошибка предсказания окажется небольшой.

(Регрессивный анализ — это нахождение зависимостей определённой величины от других величин.)

Но минимизация квадрата ошибки, достигаемая за счёт увеличения количества нейронов, не означает построения хорошей нейронной сети. Если использовать большое количество нейронов, то нейросеть может с высокой точностью обучаться на зашумлённых данных. В этом случае следует выбрать нейросеть меньшего размера, даже если ошибка при этом оказывается не такой малой.

http://victoria.lviv.ua/html/oio/html/theme5_rus.htm

Сегодня мы в упрощённом виде рассмотрели структуру и функции биологической нейронной сети. Можно видеть, что в терминологии, моделях и функциях, используемых для искусственных нейронных сетей, многое заимствовано из биологических нейронных сетей. В то же время обучение в искусственных нейронных сетях во многом отличается от соответствующих процессов в биологических сетях. Искусственные нейронные сети обучаются на основе упрощённых алгоритмов, адаптирующих синаптические веса. Эти алгоритмы могут классифицироваться на алгоритмы управляемого и неуправляемого обучения. Мы остановились на алгоритме обратного распространения ошибки — это наиболее широко применяемый алгоритм обучения многослойных нейронных сетей. Он составляет основу для большинства схем нейронного управления.

http://www.pcweek.ru/Year2001/N9/CP1251/Opinions/chapt3.htm

http://www.neuropro.ru/neu.shtml

http://neuronet.narod.ru/Neuroinformatics_r.html

http://nehudlit.ru/0/1/7/

http://www.bogatstvo.ru/atfin/algorit.htm

http://www.orc.ru/~stasson/neurox.html

PAGE  7

Томский политехнический университет,

Дмитрий Афонин, март 2006 г.


 

А также другие работы, которые могут Вас заинтересовать

43198. Рентабельность производства продукции, пути ее роста 322.5 KB
  Прибыль характеризует конечные экономические показатели не только в сфере производства сельскохозяйственной продукции, но и в сфере обращения, реализации. Она является как бы фокусом, в котором находят отражение все слагаемые эффективности производства. С ростом прибыли неразрывно связан рост рентабельности производства. В свою очередь когда идёт речь о том, что то или иное хозяйство рентабельно, это означает, что в этом хозяйстве не только возмещают затраты, связанные с производством и реализацией продукции, но и получают определённую прибыль, позволяющую вести хозяйство на расширенной основе.
43199. ЭКОНОМИКО-СТАТИСТИЧЕСКИЙ АНАЛИЗ СЕБЕСТОИМОСТИ ЗЕРНОВЫХ В СПК «ТАТАРСКОЕ» ЧЕРЛАКСКОГО РАЙОНА ОМСКОЙ ОБЛАСТИ 674 KB
  Целью работы является углубление теоретических знаний в области статистики и приобретение практических навыков сбора и анализа статистической информации, для проведения экономико-статистического анализа. Для достижения данной цели поставим перед собой последовательный ряд задач, которые более полно и наглядно охарактеризуют производственную деятельность предприятия: сбор статистических данных; обработка собранных данных статистическими методами (представление данных в табличном и графическом виде, расчет относительных величин структуры, показателей интенсивности и средних показателей динамики, выравнивание рядов динамики, корреляционно-регрессионный анализ связи, анализ вариации, факторный анализ с помощью индексов); проведение экономико-статистического анализа результатов обработки данных.
43200. Монтаж одноэтажного промышленного здания 148.5 KB
  Перемещение и монтаж элементов и конструкций над перекрытиями, под которыми находятся люди, допускаются в исключительных случаях по письменному распоряжению I главного инженера генподрядной строительно-монтажной организации при возведении зданий, имеющих более пяти этажей, после разработки мероприятии, обеспечивающих безопасное производство работ. При монтажных работах на высоте должна быть определена и хорошо обозначена видимыми предупредительными знаками опасная зона для нахождения и перемещения людей. В необходимых случаях, кроме этого, подают предупредительные звуковые сигналы.
43201. Проектування приводу до стрічкового конвеєра за схемою та графіком навантаження 1.3 MB
  Курсовий проект з деталей машин – перша самостійна розрахунково-конструкторська робота, під час виконанні якої, студент набуває навичок практичного прикладання своїх теоретичних знань, що були отримані при вивченні фундаментальних та загально технічних дисциплін. На перших етапах роботи над проектом дуже важливо опанувати досвід проектування, що був накопичен в промисловості та відображен в ГОСТах та ДСТУ.
43202. Проектирование смесителя лопастного 3.17 MB
  В гравитационных смесителях в результате подъема и сбрасывания смеси внутри вращающегося барабана рисунок 1. В смесителях непрерывного действия поступление компонентов и выход готовой смеси происходит непрерывно. При переналадке на :смесь новой марки они уступают смесителям циклического действия. а схема смесителя; 1 двигатель; 2 клиноременная передача; 3 редуктор; 4 зубчатая передача; 5 разгрузочный затвор; 6 лопастные валы; 7 лопасть; 8 корыто смесителя.
43203. Синтез и расчёт кулисного механизма 631 KB
  В механизмах привода поперечно строгальных станков используется механизм, обеспечивающий главное возвратно-поступательное движение резания. Основная масса механизмов использующихся в данных станках это кулисные механизмы. Они обеспечивают заданную скорость рабочего хода и повышенную скорость холостого хода. Расчёт и проектирование данных механизмов является важным этапом в образовании инженера. В курсе предмета «Теория машин, механизмов и манипуляторов» получаются навыки расчёта механизмов машин. Комплексным подходом к закреплению полученных знаний является выполнение курсового проекта по данному курсу. В курсовом проекте осуществляется синтез и расчёт кулисного механизма, построение и расчёт зубчатого зацепления и кулачкового механизма. При выполнении работы используются все знания, полученные за курс предмета.
43204. Разработка эскизного проекта автоматической линии 379.5 KB
  Технические требования к детали Технологичность конструкции детали с точки зрения обработки на автоматической линии. Технические требования к детали К данной детали вал-шестерня применяются следующие технические требования: 1. Масса детали 1.
43205. Разработка канала для комплексной скважинной аппаратуры 1.35 MB
  Основная погрешность канала измерения температуры Дополнительная погрешность канала измерения температуры Основная погрешность канала измерения влажности Дополнительная погрешность влагомера Влажность нефти является одним из важнейших технологических параметров. На разных этапах добычи и подготовки нефти она определяет правильность эксплуатации нефтяного пласта, интенсивность эмульгирования водо-нефтяной смеси в процессе ее перекачки, эффективность процессов деэмульсации и качество товарной нефти, поступающей на переработку. С влагосодержанием тесно связано также содержание солей, которые причиняют немалый вред оборудованию нефтеперерабатывающих заводов.
43206. АНДРЕЙ БИТОВ, ЗАХАР ПРИЛЕПИН, МИХАИЛ ЕЛИЗАРОВ: ХУДОЖЕСТВЕННЫЕ (ЛИТЕРАТУРНЫЕ) ПАРАЛЛЕЛИ 450.5 KB
  Объект нашей дипломной работы – литературный экстремизм всех трёх авторов, находящий выражение как в индивидуальных авторских стилях, так и во взаимодействии поэтических и прозаических элементов, так и в определённой философской системе, выстраиваемой в ходе повествования.