10753

Система прогнозирования поступления абитуриента в вуз

Курсовая

Информатика, кибернетика и программирование

Система прогнозирования поступления абитуриента в вуз Курсовая работа 6. Проведение исследования выборки с помощью программы Прогноз поступления. Детальное исследование выборки с помощью нейросетевого пакета Neuro Pro 0.25..

Русский

2013-04-01

452.5 KB

66 чел.

Система прогнозирования поступления абитуриента в вуз

Курсовая работа

Содержание

Введение………………………………………………………………………..2

  1.  Цели работы…………………………………………………………….....4
  2.  Обзор современных нейропакетов…………………………………..5
  3.  Программа «Прогноз поступления»……………………………….....8

2.1 Интерфейс …………………………………………………………8

2.2 Архитектура ……………………………………………………….9

2.3 Процесс обучения ………………………………………………10

2.4 Работа ………………………………………………………………12

  1.  Обучающие и тестовые множества…………………………………13
  2.  Исходные параметры……………………………………………….....16
  3.  Проведение исследования выборки с помощью программы «Прогноз поступления». ……………………………………………….17
  4.  Детальное исследование выборки с помощью нейросетевого пакета Neuro Pro 0.25 …………………………………………………18

7.1 Прогноз поступления…………………………………………..18

7.2 Вычисление значимости входных сигналов …………….20

Заключение……………………………………………………………….....23

Библиографический список……………………………………………..24

Приложение1……………………………………………………………......25


Введение

В настоящее время одними из наиболее перспективных компьютерных технологий считаются нейросетевые и нейрокомпьютерные технологии. Специалисты из таких далеких областей, как техническое конструирование, философия, физиология и психология, заинтригованы возможностями, предоставляемыми этой технологией, и ищут приложения им внутри своих дисциплин.

Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект». [4,Е]

Наш мозг - это своего рода великолепный компьютер. Он способен с невероятной быстротой интерпретировать неточную информацию, поступающую от органов чувств: различает шепот в шумной комнате, лицо в полутемном переулке, улавливает скрытый смысл слов. Самое удивительное то, что мозг умеет обучаться самостоятельно, он умеет без каких-либо явных указаний создавать внутренние представления, благодаря которым и проявляет перечисленные способности. Пока мы многое не знаем о том, каким образом мозг обучается обрабатывать информацию, поэтому в настоящее время существует множество теорий и гипотез на этот счет. А на основе уже полученных знаний предпринимаются попытки создания моделей нервной системы, в частности, с использованием искусственных нейронных сетей. [1,A]

 Первой попыткой создания и исследования искусственных нейронных сетей считается работа Дж. Маккалока (J. McCulloch) и У. Питтса (W. Pitts) "Логическое исчисление идей, относящихся к нервной деятельности" (1943г.), в которой были сформулированы основные принципы построения искусственных нейронов и нейронных сетей.

В настоящее время нейронные сети применяются для решения многих неформализуемых или трудно формализуемых задач, например, таких, как: распознавание и синтеза речи, игра на бирже, фильтрация спама, проверка проведения подозрительных операций по банковским картам, системы безопасности и видеонаблюдения, автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов. Также нейронные сети помогают решать вопросы в области  прогнозирования, диагностики в медицине, создания экспертных систем, организации ассоциативной памяти, контроля движения на скоростных автомагистралях и железных дорогах, добычи знаний из больших объемов данных в бизнесе, финансах и научных исследованиях.

Таким образом, нейронные сети вошли в практику везде, где нужно решать задачи прогнозирования, классификации или управления.

Нейронные сети можно использовать при следующих условиях:

1.Если решение задачи затруднительно для человека.

2.Если при решении задачи можно выделить множество входных факторов (сигналов, признаков, данных и т.п.) и множество выходных факторов.

3.Если изменения входных факторов приводит к изменению выходных.

    В то же время применение нейронных сетей при решении некоторых задач может оказаться эффективнее использования разума человека. Это объясняется тем, что человеческий разум ориентирован на решение задач в трехмерном пространстве. Многомерные задачи для него характеризуются значительно большей трудоемкостью. Искусственным нейронным сетям не свойственно такое ограничение. Им все равно решать трехмерную или 10-мерную задачу.

Таким образом, искусственные нейронные сети являются важным расширением понятия вычисления. Они обещают создание автоматов, выполняющих функции, бывшие ранее исключительной прерогативой человека. Машины могут выполнять скучные, монотонные и опасные задания, и с развитием технологии возникнут совершенно новые приложения. Также, я считаю, возможно ожидать быстрого роста нашего понимания искусственных нейронных сетей, ведущего к более совершенным сетевым парадигмам и множеству прикладных возможностей. [4]


Цели работы

 Цели моей работы:

 

  1.   Проанализировать и обработать анкеты абитуриентов, поступавших в 2006 году на механико-математический факультет.

Мной была предложена идея проведения анкетирования абитуриентов, поступавших в 2006 году на наш факультет, с дальнейшей целью использования полученных данных в моей курсовой работе, а также анализа поступления.

  1.  На основе имеющихся результатов составить базу данных. Разделить ее на обучающее и тестовое множество (выборку).

  1.  Разработать простейшую нейронную сеть для обработки данных и прогнозирования результата поступления абитуриента.

  1.  С помощью нейросетевого пакета NeuroPro 0.25 получить детальную информацию о имеющихся данных. Выявить значимые параметры.


Обзор современных нейропакетов

Идея обработки информации по образу устройства нервной системы (головного мозга) возникла более 50 лет назад. В 1943 году американские ученые Маккалох и Питтс сформулировали основные положения теории деятельности головного мозга и разработали математическую модель нейрона. Согласно их теории, мозг рассматривался как совокупность простых элементов – нейронов, связанных единой структурой. В 1958 г. Розенблатт реализовал эти принципы в электронном устройстве "Марк-1", способном распознавать печатные буквы и обучаться на примерах. Этой работой заинтересовались военные, что дало мощный импульс развитию нейронных сетей. Однако вскоре было замечено, что существующие алгоритмы обучения несут с собой ряд существенных ограничений и не позволяют достаточно точно решать многие практические задачи (например, задача исключающего ИЛИ). В 1969 г. было доказано, что такие ограничения возможностей нейронных сетей непреодолимы. Это привело к потере интереса к исследованию в области нейронных сетей почти на 20 лет. [3,6]

И лишь в начале 80-х годов, благодаря работам Хопфилда и Хехт- Нилсена, интерес к нейронным сетям возобновился, и наработки в этой области стали внедряться в практику. В середине 80-х годов был найден универсальный алгоритм обучения нейросетей, который известен как метод обратного распространения (в зарубежной литературе обозначается Back Propagation of Error или, сокращенно, backprop). Первым, кто сформулировал основные принципы этого алгоритма, были американские математики Румельхарт, Хинтон и Вильямс (1986). [3,6]

В настоящее время известно большое количество нейропакетов, выпускаемых рядом фирм и отдельными исследователями и позволяющих конструировать, обучать и использовать нейронные сети для решения практических задач. Я привожу только краткий список имеющихся на рынке программного обеспечения нейропакетов[A,B,D].

Matlab_Neural_Network
   Один из лучших, на мой взгляд, математических пакетов для моделирования нейросетей. Пакет M
atalb ориентирован на решение широкого круга математических задач. Содержит большое количество надстроек для расширения возможностей. Одним из таких расширений является toolbox Neural Network позволяющий работать с нейронными сетями практически любой структуры. Пакет работает под управлением ОС Windows.
Более подробное описание можно получить на сайте www.matlab.ru

Statistica_Neural_Networks
   Пакет нейросетевого анализа для конструирования и применения нейронных сетей. Второй по распространенности на постсоветском пространстве после M
atlabа нейропакет.
Производитель: StatSoft

ModelQuest
   Интегральная среда для прогнозирования, принятия решений и управления. В основе лежит концепция «статистических сетей» (Statistical Networks) как сплава нейронных сетей и статистических методов обработки. Программа работает под управлением ОС Windows.
Производитель: AbTech (Шалетсвилл, шт. Вайоминг, США); http://www.abtech. com/ MQI.HTM

Neuro_Office
   Пакет для проектирования интеллектуальных программных модулей на основе нейронных сетей с ядерной организацией. Программа работает под управлением ОС Windows.
Производитель: АОЗТ «Альфа Систем» (ЛЭТИ, С.- Петербург); dorv@actor.ru

NeuroPro
   Нейропакет для извлечения знаний из таблиц данных
Программа работает под управлением ОС Windows.
Производитель: Институт вычислительного моделирования СО РАН, Красноярск. Россия; Царегородцев В. Г. tsar@cc.krascience. rssi.ru

Excel_Neural_Package
   Нейропакет для статистического прогнозирования анализа многомерных данных
ООО «НейрОК» (МГУ, Москва, Россия): www.neurok.ru

Глаз
   Распознавание визуальных образов. Используется для обработки аэрокосмической информации.
Производитель: НейроКомп (ВЦ СО РАН, Красноярск, Россия); amse@cc. kras - cience. rssi.ru

Клаб
   Среда для решения задач классификации, в том числе в медицинской, психологической и технической диагностике.
Производитель: НейроКомп (ВЦ СО РАН, Красноярск, Россия); amse@cc.krascience. rssi.ru

MultiNeuron
   Программный нейроимитатор для решения задач из различных предметных областей. Может работать под DOS и Windows.
Производитель: НейроКомп (ВЦ СО РАН, Красноярск, Россия); arnse@cc.krasci-ence. rssi.ru

«Нейроимитатор»
   Пакет программ моделирования биологических нейронных сетей. Производитель: АО «Нейрома-РД» (Москва, Россия);
http:// www.nbdatyner. com/nbd 

NeuralMake
   Пакет для разработки прикладных нейронных сетей.
Производитель: СНИЦ Нейросистемы АН Татарстана

Neuroline
   Инструментальная сред на основе нейронных сетей.
Производитель: Аргусофт (Москва, Россия)


Программа «
Прогноз поступления»

Для анализа имеющихся данных и автоматизации процесса прогнозирования поступления абитуриентов на механико-математический факультет мной была написана простейшая нейронная сеть «Прогноз поступления».  

«Прогноз поступления» - это программа написана на языке высокого уровня Delphi. Интерфейс представляет собой пользовательскую форму языка программирования Delphi (Delphi Form), на которой непосредственно задаются параметры сети, загружается обучающая и тестовая выборки, запускается на выполнение процесс обучения и работы сети.

Рис.1.  Форма пользователя (интерфейс).

Как известно, каждая сеть имеет свой интерфейс, свою архитектуру, правило обучения и решает конкретный набор задач. Я попытаюсь проанализировать (описать) свою простейшую нейронную сеть по этим пунктам.

На форме расположен объект PageControl, состоящий из двух страниц (объект TabSheet). Рассмотрим подробнее первую страницу. Итак, на первой страничке пользователю предлагается задать параметры нейронной сети:

  •  Активационная функция входного слоя сети;
  •  Активационная функция выходного слоя сети;
  •  Число скрытых слоев сети;
  •  Активационная функция скрытых слоев;
  •  Число итераций обучения;
  •  Скорость обучения.

Подробнее об активационных функциях будет описано в Приложении1. [4,6]  

Теперь я хочу обратить внимание на архитектуру нейронной сети «Прогноз поступления». Выбор оптимальной архитектуры сети в настоящее время не имеет математического решения и производится на основе опыта и знаний. Здесь можно сказать только, что сеть должна иметь разумные размеры, а именно:

– максимальное число нейронов 30-40;
–  максимальное число скрытых слоев 3-4;
–     объем входных данных должен превышать в несколько раз количество нейронов.

Архитектура нейронной сети в «Прогноз поступления» имеет слоистую структуру, изображенную на рис. 2.  [1]

Рис.2. Слоистая сеть.

Я считаю, что эта архитектура сети используется сейчас наиболее часто. Каждый элемент сети строит взвешенную сумму своих входов с помощью адаптивного сумматора с поправкой в виде слагаемого и затем пропускает эту величину активации через активационную функцию, и таким образом получается выходное значение этого элемента. Элементы организованы в послойную топологию с прямой передачей сигнала. Такую сеть легко можно интерпретировать как модель вход-выход, в которой веса и пороговые значения (смещения) являются свободными параметрами модели. Такая сеть может моделировать функцию практически любой степени сложности, причем число слоев и число элементов в каждом слое определяют сложность функции. Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании.

 Как уже отмечалось, каждый нейрон сети имеет адаптивный сумматор, вычисляющий взвешенную сумму приходящих на нейрон сигналов. Ниже приведена схема адаптивного сумматора.[1,2]

Рис.3. Схема адаптивного сумматора

Далее я хочу рассмотреть процесс обучения нейронной сети «Прогноз поступления». Обучение сети строится на базе выборки данных, которая загружается из файла формата  *.xls приложения Excel. Выборка была построена на основе анкет, заполненных абитуриентами, поступавшими в 2006 году на механико-математический факультет. Анкеты состояли из 18 вопросов, на базе которых составлялись параметры сети, которые на форме отображаются в списке параметров выборки. Ниже проецируется обучающая и тестовая выборки. В тестовой выборке в поле «Итого» изначально стоят знаки «?». Знак «?»  является признаком деления исходной выборки на тестовую и обучающую.  Число итераций, задаваемых в параметрах сети, позволяет регулировать «опыт» и качество обучения. Чем  больше число итераций, тем «опытнее» сеть. Скорость обучения нейронной сети, также задаваемая на странице параметров сети, показывает требуемую точность решения. Надо заметить, что скорость обучения сети также зависит и от алгоритма обучения.[3] На рис.4. изображена пользовательское окно работы с сетью.

 

Рис.4. Окно работы с сетью.

В «Прогнозе поступления» реализован алгоритм обратного распространения ошибки. Алгоритм обратного распространения наиболее прост для понимания, и в некоторых случаях он имеет определенные преимущества. В алгоритме обратного распространения вычисляется вектор градиента поверхности ошибок.[3,5] Этот вектор указывает направление кратчайшего спуска по поверхности из данной точки, поэтому если мы "немного" продвинемся по нему, ошибка уменьшится. Последовательность таких шагов, в конце концов, приведет к минимуму того или иного типа. Определенную трудность здесь представляет вопрос о том, какую нужно брать длину шага. В программе «Прогноз поступления» она равна скорости обучения.  Данный алгоритм является итерационным. На каждой итерации на вход сети поочередно подаются все обучающие наблюдения, выходные значения сети сравниваются с целевыми значениями и вычисляется ошибка. Значение ошибки, а также градиента поверхности ошибок используется для корректировки весов, после чего все действия повторяются. Начальная конфигурация сети выбирается случайным образом, и процесс обучения прекращается либо когда пройдено определенное количество итераций, либо когда ошибка достигнет заданного уровня точности.[3]             И последним этапом описания нейронной сети «Прогноз поступления» является работа. После того, как нейронная сеть обучилась, можно переходить к этапу работы. Как уже отмечалось, ниже обучающей выборки расположена тестовая выборка, спрогнозировать результат которой нам необходимо. На форме для этого предназначена кнопка «Работа». При нажатии этой кнопки в поле «Итого» тестовой выборки сеть выдает результат. Варьируя число итераций на этапе обучения и скорость обучения, можно получить результат с минимальной погрешностью.   

Обучающие и тестовые множества.

 Как известно, обучающие и тестовые множества также принято называть обучающими и тестовыми выборками. Прогнозирование поступления я решила рассматривать с двух сторон, поскольку данный процесс протекает в два этапа (до экзаменов и после), следовательно, может рассматриваться с двух позиций: прогнозирование поступления абитуриента непосредственно при подаче документов, т.е. до сдачи экзаменов, и прогнозирование поступления абитуриента с уже известными данными о вступительных экзаменах.

В таблице 1 представлена часть базы данных абитуриентов до сдачи вступительных экзаменов (обучающая выборка), поступавших в 2006 году на механико-математический факультет. В приемной комиссии поступающим были предложены для заполнения анкеты, содержащие 18 вопросов, впоследствии спроецированных в 17 параметров.

Таблица 1. . База данных  до сдачи (обучающая выборка).


В таблице 2 представлена часть базы данных абитуриентов, поступавших в 2006 году на механико-математический факультет с уже известными результатами вступительных экзаменов (
обучающая выборка). В приемной комиссии поступающим были предложены для заполнения анкеты, содержащие 18 вопросов, впоследствии спроецированных в 17 параметров. Имея данные абитуриентов после сдачи вступительных экзаменов, я добавила еще три параметра. Ниже описаны тестовые множества и все исходные параметры.

   

Таблица 2. База данных  после сдачи (обучающая выборка).

На данной странице изображены тестовые множества. Тестовые выборки представляют собой наборы векторов данных с семнадцатью и двадцатью параметрами соответственно. Составлены также на основе данных, полученных из приемной комиссии.

Таблица 3. База данных до сдачи (тестовая выборка)

Таблица 4. База данных после сдачи (тестовая выборка)


Исходные параметры:

  •  ФИО – Фамилия, имя отчество абитуриента;
  •  Сумма – Сумма баллов, набранных по информатике и математике;
  •  Инф-ка – Сумма баллов, набранных по информатике;
  •  Мат-ка - Сумма баллов, набранных по математике;
  •  Пермь – Абитуриент проживает в г. Перми (1) или другом населенном пункте (0);
  •  Сам – Абитуриент сам решил поступать на мех-мат (1) или посоветовали родители (0);  
  •  Комп – Имеется ли дома компьютер(0-нет, 1-да);
  •  Гум\естес – В школе абитуриент больше любил гуманитарные(0) или естественные науки(1);
  •  Проф\обыч – 10-11 класс был профильным(1) или обычным(0);
  •  Олим_мат – Участвовал ли абитуриент в олимпиаде по математике(0-нет, 1-да);
  •  Олим_инф - Участвовал ли абитуриент в олимпиаде по информатике(0-нет, 1-да);
  •  Приз_олим_м – Был ли абитуриент призером олимпиады по математике(0-нет, 1-да);
  •  Приз_олим_и - Был ли абитуриент призером олимпиады по информатике(0-нет, 1-да);
  •  Целевое – Поступает ли абитуриент по целевому направлению(0-нет, 1-да);
  •  Курсы – Посещал ли абитуриент подготовительные курсы (0-нет, 1-да);
  •  Доп_обр_инф – Занимался ли абитуриент информатикой в системе дополнительного образования(0-нет, 1-да);
  •  Репетитор – Занимался ли абитуриент с репетитором во время подготовки к экзаменам(0-нет, 1-да);
  •  Медаль - Медалист(0-нет, 1-да);
  •  Мат-ка>t – В 10-11 классе абитуриент уделял больше времени математике, чем другим предметам(0-нет, 1-да);
  •  Другие факи – Поступал ли абитуриент на другие факультеты ПГУ или в другие вузы(0-нет, 1-да);
  •  Достаточно – Считает ли абитуриент, что получил в школе достаточную подготовку по математике для поступления в вуз(0-нет, 1-да);
  •  Итого – Результат поступления(0-не поступил, 1-поступил);


Проведение исследования выборки с помощью программы «Прогноз поступления».

 Я решила рассматривать прогноз поступления с двух позиций: до сдачи вступительных экзаменов и после сдачи. Соответственно, свой анализ я  хочу построить на сравнении двух выборок: первая - данные до сдачи вступительных экзаменов, соответственно, количество параметров в первом случае уменьшится на три (Сумма, Инф-ка, Мат-ка), вторая – данные, полученные после сдачи вступительных экзаменов.

Обучающие выборки приведены в таблице1 и таблице2, тестовые выборки приведены в таблице3 и таблице4 соответственно.

При многочисленном обучении и тестировании нейронной сети я выявила оптимальные параметры сети, при которых нейронная сеть дает наилучший результат. А именно:

  •  Активационная функция входного слоя сети -сигмовидная;
  •  Активационная функция выходного слоя сети -сигмовидная;
  •  Число скрытых слоев сети - 1;
  •  Активационная функция скрытых слоев – сигмовидная;
  •  Число итераций обучения – 20000;
  •  Скорость обучения – 0.25;

Выборку я загружала из Excel файла. Автоматически, по знаку «?» она разбивалась на обучающее и тестовое множество. Данные анализа я занесла в таблицу.

Характеристика

До сдачи вступительных экзаменов

После сдачи вступительных экзаменов

Количество тестовых векторов (примеров)

10

10

Средний прогноз сети в %

58

63

Количество примеров, решенных верно

5

6

Количество примеров, решенных неверно

5

4

Средняя ошибка сети

0,385971

0,369995

Максимальная ошибка сети

1,00045

0,995699

                                         Таблица5. Сравнение результатов

Детальное исследование выборки с помощью нейросетевого пакета Neuro Pro 0.25.

Несколько слов о том, что представляет собой нейропакет Neuro Pro 0.25. Программный продукт Neuro Pro 0.25 предназначен для извлечения знаний из таблиц данных. Программа работает под управлением ОС Windows.

 В NeuroPro 0.25 реализованы только сети слоистой архитектуры (см. рис.2). В слоистой сети все нейроны сгруппированы в несколько слоев, нейроны внутри одного слоя могут работать параллельно. Каждый нейрон в слое принимает все выходные сигналы нейронов предыдущего слоя, а его выходной сигнал рассылается всем нейронам следующего слоя.

С помощью данного пакета я хотела более детально проанализировать информацию, полученную в приемной комиссии, так как моя программа пока не дает таких возможностей. [5]

Как я уже отмечала выше, свой анализ хочу построить на сравнении двух выборок: первая – данные, полученные после сдачи вступительных экзаменов, вторая – данные до сдачи вступительных экзаменов, соответственно, количество параметров во втором случае уменьшится на три (Сумма, Инф-ка, Мат-ка). Второй случай более интересен, поскольку именно прогнозирование поступления абитуриента на механико-математический факультет непосредственно до сдачи экзаменов является целью моей курсовой работы.

Итак, детальное исследование будет заключаться в выявлении значимых параметров, неоднородности исходных параметров, получении более точного прогноза поступления, а также фиксации наличия конфликтных примеров.

Прогноз поступления.

В качестве обучающих выборок для прогнозирования поступления абитуриентов на механико-математический факультет я брала базы данных таблицы 1 и таблицы 2, соответственно, до сдачи вступительных экзаменов и после, а в качестве тестовых выборок – данные из таблиц 3 и 4.  

Параметры нейронной сети задавались следующие: число входных полей - 20, число выходных полей – 1, оптимальное число слоев нейронов – 3, в каждом слое по 10 нейронов, итоговое поле определяется с точностью до 0,1, тип значений входных полей – количественный. Метод оптимизации активационной функции – сопряженный градиент, норма накопления значимости параметров – сумма модулей.

После процесса обучения сеть выдала результаты, изображенные на рис.5 и рис.6 соответственно. Надо заметить, что обучение прекращается при достижении нулевого значения средней оценки на задачнике, в случае невозможности дальнейшего улучшения оценки либо при аварийных ситуациях (нулевой или бесконечный шаг в направлении оптимизации). Неоднородности исходных параметров, а также конфликтных примеров не обнаружено.

 


        
Рис.5. После сдачи          Рис.6. До сдачи

Черным цветом выделяется правильный ответ сети (совпадение прогноза сети с исходным значением со 100% уверенностью – для задачи классификации, либо отличие прогноза сети от исходного значения не более чем на требуемое значение точности – для задачи прогнозирования); зеленым цветом – прогноз, выдаваемый сетью; красным – неправильный ответ сети (при решении задачи классификации) либо отличие прогноза сети более чем на требуемое значения точности от исходного значения (для задачи прогнозирования) и синим цветом выделяется правильный ответ сети, однако не со 100% уверенностью (при решении задачи классификации).

В конце таблицы для каждого поля выводится статистика правильности решения:

-"Правильно" – число правильных прогнозов (и % от общего числа строк таблицы, для которых возможен прогноз этого поля).

-"Неуверенно" – число правильных, но не 100%-уверенных прогнозов (и % от общего числа строк таблицы, для которых возможен прогноз этого поля) – только для задач классификации.

-"Неправильно" – число неправильных прогнозов (и % от общего числа строк таблицы, для которых возможен прогноз этого поля).

-"Всего" – общее число сделанных сетью прогнозов значений для этого поля.

При решении задачи прогнозирования дополнительно выводятся следующие показатели:

-"Ср.ошибка" – средняя (по модулю) ошибка прогноза.

-"Макс.ошибка" – максимальная (по модулю) ошибка прогноза.

Как мы видим, нейросеть пакета Neuro Pro 0.25 в двух случаях дает различные результаты. До сдачи вступительных экзаменов 60% верных ответов, после сдачи 70%. Я считаю, на это влияют несколько факторов: во-первых, после сдачи вступительных экзаменов добавились три существенных (наиболее значимых (Сумма, Мат-ка, Инф-ка)) параметра, значения которых большим образом влияют результат поступления, во – вторых, при одинаковых значениях исходных векторов данных результирующее поле различно. Здесь немаловажную роль играет человеческий фактор, поскольку, при прочих равных условиях, результат зависит от настроя на цель, настроения, душевного состояния других индивидуальных человеческих качеств (факторов). Ну а в–третьих, я считаю,  данные, полученные из анкет, весьма субъективны, так как огромную роль играет человеческий фактор, поэтому говорить здесь о строгой объективной оценке не целесообразно. [5,C]

Вычисление значимости входных сигналов.

В нейросетевом пакете Neuro Pro 0.25 реализована возможность выявления значимых параметров, т.е. параметров, которые являются существенными (значимыми) при прогнозировании. С помощью данного механизма (алгоритма) я исследовала уровень важности каждого из исходных параметров. На рис.7 и рис.8 приведены результаты.

При выявлении значимости входных сигналов применялся метод двойственности. Использование метода двойственности позволяет достаточно просто получать показатели значимости входных сигналов – по существу, вычисленные в линейном приближении абсолютные величины изменения функции оценки при удалении из сети элемента или входного сигнала. Эти показатели значимости усредняются по всем векторам задачника и по нескольким точкам в пространстве настраиваемых параметров.

Ранжируя входные сигналы по показателям значимости, получаем наборы входных сигналов, исключение которых почти не ухудшит точность решения задачи нейронной сетью. Исключая из сети эти наименее значимые входы и доучивая сеть, можно получить нейронную сеть с минимальным набором входных сигналов, правильно решающую задачу. [5] 

Таким образом, по рис.7 видно, что до сдачи вступительных экзаменов наиболее значимыми параметрами являются: Медаль, Проф\обыч, Курсы, Приз_олим_м, Сам, Мат-ка>T.

По рис.8 видно, что после сдачи вступительных экзаменов список наиболее значимых параметров изменился, а именно: Сумма, Инф-ка, Олим_инф, Медаль, Мат-ка>T. И действительно, главным критерием поступления абитуриента является набранная им сумма баллов по математике и информатике.  Хочу отметить, что, в самом деле, изменение баллов по математике не так значительно (видно из анкет), как изменение баллов по информатике, где наглядно виден огромный разрыв. Убедиться в этом можно с помощью приведенной ниже диаграммы, построенной на основе данных, полученных после экзамена по информатике.  

             

Диаграмма 1. Число абитуриентов, набравших определенное количество баллов.    

                                                                      


Заключение.                   

Мной была написана простейшая нейронная сеть «Прогноз поступления». Данная сеть прогнозирует поступление абитуриента в вуз. Мной конкретно рассматривался случай поступления абитуриента на механико-математический факультет. Свой анализ я разбила на два исследования: до сдачи вступительных экзаменов и после сдачи вступительных экзаменов. Результаты приведены выше.

Также в работе приведена гистограмма по итогам  сдачи экзамена по информатике.

В Приложении1 я разместила краткое описание активационных функций.

В моих дальнейших планах:

  •  улучшить эффективность работы нейронной сети, т.е. повысить процент выдачи правильных ответов;
  •  добавить работу (алгоритм) гауссовой и ступенчатой активационных функций;
  •  доработать пользовательский интерфейс;
  •  увеличить объем обучающей выборки;

Также есть идея провести исследование поступления на других факультетах и в других вузах, в частности, в Пермском государственном педагогическом университете.   

            
Библиографический список

Книги:

  1.  Уоссермен Ф. Нейрокомпьютерная техника: теория и практика. Перевод на русский язык, Зуев Ю. А., Точенов В.А.,  1992.
  2.  Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. Сибирский журнал вычислительной информатики, 1998.
  3.  Журнал «Валютный спекулянт. Технологии», 8(10) август 2000.
  4.  Горбань А.Н. Обучение нейронных сетей. М. СП ПараГраф, 1990.
  5.  Царегородцев В.Г. Neuro Pro 0.25. Документация к пакету.
  6.  Ясницкий Л.Н. Введение в искусственный интеллект. М., 2005.

Сайты:

  1.  www.uran.donetsk.ru
  2.   www.ole-u.narod.ru
  3.   www.neuropro.ru
  4.   www.ann.hotmail.ru
  5.   www.statsoft.ru
  6.   www.neuroproject.ru


Приложение1.

Наиболее часто используются сигмоидальные, кусочно-линейные и жесткие пороговые функции активации. В сети все нейроны могут иметь как одинаковые (гомогенная сеть), так и различные функции активации (гетерогенная сеть). Сразу хочу отметить: сигмоидальные функции активации также называют сигмоидными или логистическими, имеющими форму буквы S – функциями. [6]

Сигмоидная функция активации.

На рис.4 изображен график сигмоидной функции, заданной уравнением      

Рис.9 Сигмоидная функция активации

В этом случае выходное значение всегда будет лежать в интервале (0,1), а область чувствительности для входов чуть шире интервала (-1,+1). Данная функция является гладкой, а ее производная легко вычисляется - это обстоятельство весьма существенно для работы алгоритма обучения сети. Для алгоритма обратного распространения требуется лишь, чтобы функция была всюду дифференцируема. Сигмоид удовлетворяет этому требованию. Его дополнительное преимущество состоит в автоматическом контроле усиления. Для слабых сигналов (величина S близка к нулю) кривая вход-выход имеет сильный наклон, дающий большое усиление. Когда величина сигнала становится больше, усиление падает. Таким образом, большие сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без чрезмерного ослабления.

Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто используется биологами в качестве математической модели активации нервной клетки. В качестве активационной функции искусственной нейронной сети она записывается следующим образом: y=th(S)

Рис. 10 Функция гиперболического тангенса

Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке S = 0 значение выходного сигнала y равно нулю (см. рис. 1.4б). В отличие от логистической функции гиперболический тангенс принимает значения различных знаков, что оказывается выгодным для ряда сетей. [6]

Пороговая (ступенчатая) функция активации.

Нейрон принимает входные сигналы хi, которые суммирует, умножая каждый входной сигнал на некоторый весовой коэффициент  :  . Выходной сигнал нейрона y может принимать одно из двух значений: у=1, если  и у=0, если <, где -порог чувствительности нейрона.

S – разность между взвешенной суммой входных сигналов и пороговым значение нейрона, т.е   , то активационная функция будет иметь вид  y=f(S)

Рис.11. Пороговая активационная функция, симметричная относительно начала координат

Линейная функция активации.

На рис.12. показан график линейной функции активации y=S  с неограниченной областью изменения. Такие функции могут быть и с ограниченной областью изменения:

y=-1 при S<-1; y=S при ; y=1 при S>1

Рис.12. Линейные активационные функции с неограниченной (а) и ограниченной (b) областями изменения

Радиально-базисная активационная функция (функция Гаусса).

 В последнее время получают распространение нейросети, нейроны, которых имеют активационные  функции в форме функции Гаусса.  

 , где S евклидово расстояние между входным вектором Х и и центром активационной функции С, S=, - параметр гауссовой кривой, называемой шириной окна. Такие активационные функции называют радиально-базисными (RBF), а соответствующие нейронные сети - RBF –сетями. [6]

Рис.13. Радиально-базисная активационная функция

8


 

А также другие работы, которые могут Вас заинтересовать

30848. Физиологические свойства и функции поперечно-полосатых (скелетных) мышц 31.5 KB
  Процесс сокращения может выражаться в изменении длины укорочение мышцы изменении напряжения мышцы в изменении того и другого показателя. Все мышечные сокращения могут быть: 1. изотонические сокращения это такие сокращения когда напряжение тонус мышц не изменяется изо равные а меняется только длина сокращения мышечное волокно укорачивается. ауксотонические смешанные сокращения это сокращения в которых присутствует и один и другой компонент.
30849. Сила мышц 26.5 KB
  Сила мышц Сила мышцы определяется по максимальному грузу который мышца способна переместить или удержать. Абсолютная сила мышцы это максимальное напряжение мышечных волокон на единицу поперечного сечения в один квадратный сантиметр. Сила сокращения мышц зависит от 1.Количества ДЕ участвующих в сокращении чем больше ДЕ тем больше сила и наоборот 2.
30850. Функциональная характеристика неисчерченных (гладких) мышц 21.5 KB
  Это позволяет быстро охватить возбуждением все миоциты данной гладкой мышцы. Гладкие мышцы сокращаются медленно так как расщепление АТФ в них идет в 1001000 раз меньше чем в скелетных мышцах по этому гладкие мышцы приспособлены к длительному тоническому сокращению без развития утомления при этом их энергозатраты крайне невелики. Гладкие мышцы подразделяются: 1 Мышцы обладающие спонтанной активностью автоматией 2 Мышцы не обладающие спонтанной активностью Спонтанная активность зависит от интенсивности обмена веществ в миоцитах от...
30851. Современная теория мышечного сокращения 26.5 KB
  Между двумя нитями актина лежит одна толстая нить миозина между двумя Zмембранами и она взаимодействует с двумя нитями актина. На нитях миозина есть выросты ножки на концах выростов имеются головки миозина 150 молекул миозина. Головки ножек миозина обладают АТФазной активностью. Так как именно головки миозина именно эта АТФаза катализирует АТФ и высвобождающаяся при этом энергия обеспечивает мышечные сокращения при взаимодействии актина и миозина.
30852. Физиологическая регуляция функций 44 KB
  Каждая из этих регуляторных систем действует на своём уровне регуляции. Кроме того системы регуляции взаимно подчинены друг другу т. Итак существует взаимосвязь между нервной регуляцией и гуморальной и поэтому когда говорят о регуляции органа то говорят о нейрогуморальной регуляции единой. Уровни нейрогуморальной регуляции I уровень: местная и локальная регуляция происходит на минимальном пространстве касается ограниченного числа клеток единицы десятки.
30853. Системные регуляторные реакции и процессы 24.5 KB
  Адаптация приспособление механизмы которые обеспечивают приспособление организма к действию раздражителей. Адаптация бывает двух видов: а срочная адаптация б долговременная адаптация Срочная адаптация очень энергозатратна. При умеренных раздражителях тоже возникает срочная адаптация но явных признаков стресса нет. Но если раздражитель действует повторно многократно то возникает долговременная адаптация.
30854. Функциональные системы 23 KB
  Функциональные системы Функциональная система это временная динамическая саморегулирующаяся организация все составные компоненты которой взаимодействуя обеспечивают достижение полезных приспособительных результатов. В функциональной системе есть периферические и центральные составляющие: Периферические составляющие: А Исполнительные соматические вегетативные и эндокринные компоненты в том числе и поведенческие включающие механизмы формирование результата. Б Полезный приспособительный результат. В Рецепторы...
30855. Рефлекторная регуляция 34.5 KB
  Передача возбуждения в синапсе . иррадиация возникшего возбужденияраспространение возбуждения на рядом лежащие нейроны. концентрация возбуждениястягивание возбуждения на один или несколько нейронов. Индукция бывает: положительная когда наводится процесс возбуждения отрицательная когда наводится процесс торможения.
30856. Рефлексы 31 KB
  Рефлексы Рефлексы делятся на безусловные и условные. Безусловные рефлексы Это врожденные рефлексы которые не требуют предварительной выработки при действии раздражителя реализуются однотипно без особых предварительных условий. Безусловные рефлексы являются видовыми т. Рефлексы направленные на сохранение вида.