49913

Создание нейронной сети в среде Нейросимулятор v 1.0

Курсовая

Информатика, кибернетика и программирование

Нейронные сети на финансовом рынке Обзор основных нейропакетов. Архитектура сети. Обучение сети Тестирование. Но по сей день нейросети воспринимаются как перспективный но экзотический слабо изученный на российском рынке инструмент.

Русский

2014-01-16

789 KB

65 чел.

Содержание

Введение………………………………………………………………….....

Краткая историческая справка……………………………………….

Нейронные сети на финансовом рынке……………………………

Обзор основных нейропакетов………………………………………..

Нейросимулятор v 1.0……………………………………………….....

        Архитектура сети………………………………………………….

        Обучение сети………………………………………………………

        Тестирование……………………………………………………….

        Исходные данные………………………………………………….

        Анализ входных параметров…………………………………...

Заключение………………………………………………………………….

Библиографический список……………………………………………

Приложение 1………………………………………………………………

Приложение 2………………………………………………………………

2

4

6

8

9

9

12

13

16

17

19

20

21

23


Введение

  Сегодня нейрокомпьютерные и нейросетевые технологии являются одним из наиболее быстро развивающихся разделов искусственного интеллекта. Но по сей день нейросети воспринимаются как перспективный, но экзотический, слабо изученный на российском рынке инструмент. Хотя за последние годы опыт работы с ними приобрели несколько сотен трейдерских компаний, объектов военного назначения и аналитических отделов банков.

Таким образом, на практике нейронным сетям нашли применение везде, где нужно решать задачи прогнозирования, классификации и управления.

Нейрокомпьютеры позволяют добиться фантастической производительности, которая может в миллионы раз превышать производительность традиционных компьютеров.                       Преимущества нейросетевого подхода заключаются в следующем:

  •  параллелизм обработки информации. Вычисления и обучение распределены по всем нейронам, которые функционируют параллельно;
  •  единый и эффективный принцип обучения. Нейронные сети могут менять своё поведение в зависимости от состояния окружающей их среды. После анализа входных сигналов они самонастраиваются и обучаются, чтобы обеспечить верную реакцию;
  •  надёжность функционирования. Обученная сеть может быть устойчивой к некоторым отклонениям входных данных, что позволяет ей правильно «видеть» образ, содержащий различные помехи и искажения;
  •  способность решать неформализованные задачи.

Цели  моей работы

  1.  Ознакомиться с программой Нейросимулятор v 1.0 (разработчик: студент 4-го курса Ф.Черепанов).
  2.  Уметь применять основные знания по теории нейронных сетей на практике, собственно, что составляет практическую часть моей курсовой работы, реализованную на Нейросимуляторе v 1.0.
    1.  Проанализировать анкеты заёмщиков, изъявивших открыть счёт на получение кредита в ООО «Хоум Кредит энд Финанс Банк».
    2.  На основе имеющихся результатов составить базу данных. Разделить её на обучающую и тестовую выборку.
    3.  Пронаблюдать за зависимостью погрешности обучения ε и погрешности обобщения εT от числа нейронов внутренних слоев и построить оптимальную сеть для обучения.
    4.  Обучить  и протестировать сеть, после чего я смогу определять платежеспособность лиц, обратившихся за кредитом.
  3.  Выявить значимость входных параметров.


Краткая историческая справка

Как  известно, мозг человека – это единственный объект, способный мыслить. Поэтому любое мыслящее устройство обязательно должно быть выполнено по образу и подобию человеческого мозга, иметь аналогичную структуру и воспроизводить его принцип действия. В свою очередь, мозг человека состоит из большого количества взаимосвязанных нервных клеток  - нейронов. Нейрокибернетика – наука, усилия которой сосредоточены на разработке элементов, подобных нейронам, и объединении этих элементов в системы – нейросети и нейрокомпьютеры.

Первые нейросети и нейрокомпьютеры были предложены и созданы американскими учёными В.Мак-Каллоком, В.Питтсом и Ф.Розенблаттом в конце 1950-х годов. Это были устройства, моделирующие человеческий глаз и его взаимодействие с мозгом. Устройства умели распознавать буквы алфавита, однако были чувствительны к их написанию. Согласно их теории, мозг рассматривался как совокупность простых элементов – нейронов, связанных единой структурой. В 1958 г. Розенблатт реализовал эти принципы в электронном устройстве "Марк-1", способном распознавать печатные буквы и обучаться на примерах. Этой работой заинтересовались военные, что дало мощный импульс развитию нейронных сетей. Однако вскоре было замечено, что существующие алгоритмы обучения несут с собой ряд существенных ограничений и не позволяют достаточно точно решать многие практические задачи (например, задача исключающего ИЛИ). Это привело к потере интереса к исследованию в области нейронных сетей почти на 20 лет.

И лишь в начале 80-х годов, благодаря работам Хопфилда и Хехт-Нилсена, интерес к нейронным сетям возобновился вновь, и наработки в этой области стали внедряться в практику. В середине 80-х годов был найден универсальный алгоритм обучения нейросетей, который известен как метод обратного распространения. Первым, кто сформулировал основные принципы этого алгоритма, были американские математики Румельхарт, Хилтон и Вильямс (1986) [5, 6].  

При последующей работе над разработкой нейронных сетей было замечено, что их можно и целесообразно использовать при следующих условиях:

1.Если решение задачи затруднительно для человека.

2.Если при решении задачи можно выделить множество входных факторов (сигналов, признаков, данных и т.п.) и множество выходных факторов.

3.Если изменения входных факторов приводит к изменению выходных.

В то же время применение нейронных сетей при решении некоторых задач может оказаться намного эффективней использования человеческого ума. Это объясняется тем, что человеческий ум ориентирован на решение задач в трехмерном пространстве. Что же касается многомерных задач, то это очень трудоемко. Для искусственных нейронных сетей не свойственно такое ограничение. Им все равно решать трехмерную или 10-мерную задачу.

Таким образом, нейросетевые технологии прочно вошли в нашу жизнь и в настоящее время активно применяются при решении различных задач, где обычные алгоритмические методы неэффективны или вовсе невозможны. В числе задач, решение которых доверяют искусственным нейронным сетям, можно назвать следующие: распознавание текстов, фильтрация спама, системы безопасности и видеонаблюдения, различного вида диагностики, а также ряд задач в экономике и бизнесе.


Нейронные сети на финансовом рынке

Сегодня финансовый рынок становится все более нелинейным и фрактальным. Другими словами, его поведение классифицируется уже не как случайное, а как хаотическое (под хаотическим поведением понимается сложное детерминированное поведение, которое внешне выглядит как случайное). А раз так, значит, возникает возможность для предсказания. Любой скрытый и сложный, но детерминированный процесс можно обнаружить и аппроксимировать с той или иной степенью точности. Поэтому  нейронные сети являются идеальным инструментом для описания сложного хаотического поведения. Отсюда — интерес к нейронным сетям как средству прогнозирования на финансовых рынках.

Применяя нейросети при игре на тех или иных финансовых инструментах, можно получать результаты буквально каждый день. А в финансовой сфере нейросеть может в реальном времени дать ощутимый результат.

В экономике и бизнесе обычно применяют нейросети, мощность которых ограничена примерно 100 входами. Этого чаще всего хватает для описания того или иного поведения рынка или другого сложного нелинейного процесса.

Общеизвестно, что нейросети хорошо справляются с двумя типами задач: с задачами классификации и предсказания. Поэтому выбранной областью банковской деятельности, в которой применение нейронных сетей, по моему мнению, даст заметный эффект, стала оценка платежеспособности клиентов, обращавшихся в банк за кредитами. 

Ни для кого не секрет, что многие материальные проблемы рядовой потребитель решает за счет оформления «потребительского кредита» (кредит, выдаваемый физическим лицам для личных, семейных, домашних и иных нужд, не связанных с осуществлением предпринимательской деятельности [1, 4]).

Министерство экономического развития, которое уже зафиксировало бум потребительского кредитования, прогнозирует, что явление это сохранится в России еще как минимум ближайшие пять лет. Если раньше народ боялся брать у банков крупные суммы, то сейчас этот страх прошёл: кредиты оформляют не только на удовлетворение  каких-то первостепенных нужд, но и на предметы роскоши — на турпутевки, например. Но всё же чаще всего люди берут кредиты на покупку бытовой техники, телефонов, аудио- и видеотехники (43% случаев).

Приведу давно всем известную цепочку связанных событий. Чем меньше рискует банк при предоставлении кредита, тем меньше процентная ставка, предлагаемая этим банком; чем меньше процентная ставка, тем больше клиентов обратится именно в этот банк; чем больше клиентов обратится в банк, тем большую прибыль получит банк, а это одна из целей коммерческой деятельности. Риск, связанный с тем, что не будут возвращены или не своевременно возвращены суммы основного долга и процентов, можно значительно снизить, оценивая вероятность возврата заёмщиком кредита.

Вот почему мной была выбрана именно данная область для работы. Моя курсовая посвящена одному из ключевых моментов в кредитовании физических лиц – определению кредитоспособности потенциального заёмщика (способность заёмщика полностью и в срок рассчитаться по своим долговым обязательствам – основному долгу и процентам [1, 4]), но не аналитическим отделом, а обученной нейронной сетью.


Обзор основных нейропакетов

В настоящее время известно большое количество нейропакетов, выпускаемых рядом фирм и отдельными исследователями и позволяющих конструировать, обучать и использовать нейронные сети для решения практических задач. Ниже приведен только краткий список имеющихся на рынке программного обеспечения нейропакетов [V].

Matlab Neutal Network - мощнейший профессиональный математический пакет для моделирования нейросетей.
Пакет
Matlab ориентирован на решение широкого круга математических задач. Пакет работает под управлением ОС Windows.

Statistica Neural Networks - пакет нейросетевого анализа для конструирования, применения нейронных сетей и для статистической обработки данных. Неоднократно признавался лучшей программой для статистического анализа рынка.

NeuroPro - нейропакет для извлечения знаний из таблиц данных. Программа работает под управлением ОС Windows.

Excel Neural Package - нейропакет для статистического прогнозирования анализа многомерных данных.

NeuroSolutions - нейропакет с широкими средствами визуализации, для конструирования нейронных сетей с произвольной топологией и процедурами обучения.

NeuralWorks Professional - инструментальная среда для разработки приложений на основе 25 моделей НС с полным набором средств для обучения и тестирования НС.

«Нейроимитатор» - пакет программ моделирования биологических нейронных сетей.

MultiNeuron - программный нейроимитатор для решения задач из различных предметных областей. Может работать под DOS и Windows.

NeuralMake - пакет для разработки прикладных нейронных сетей.

Нейросимулятор v 1.0программа конструирования нейронных сетей с последующим обучением и тестированием.

Архитектура сети

Существует множество доступных нейропакетов, но для практической части своей курсовой я выбрала Нейросимулятор v 1.0 как пример и как образец для будущей реализации своего приложения.

Архитектура нейронной сети в Нейросимуляторе имеет слоистую структуру, т.е. нейроны расположены слоями и имеют однонаправленные связи между слоями.

Схема 1. Общее представление слоистой сети.

 Одним из плюсов данной программы является то, что кроме сигмоидного преобразователя можно выбирать другие: линейный, ступенчатый и логарифмический, а также варьировать коэффициенты этих функций, что обеспечит построение оптимальной сети для каждого конкретного примера.

Также каждый нейрон сети имеет адаптивный сумматор, вычисляющий взвешенную сумму приходящих на нейрон сигналов, и следующий за ним нелинейный элемент. Ниже приведена схема адаптивного сумматора.[2]

Схема 2. Схема адаптивного сумматора.

 Теперь я хочу обратить внимание на архитектуру нейронной сети, построенной для оценки платежеспособности заемщиков. В настоящее время выбор оптимальной архитектуры сети не имеет математического решения и производится на основе опыта и знаний. Здесь можно сказать только, что сеть должна удовлетворять некоторым ограничениям, а именно:

  •  На практике чаще всего сеть должна иметь один или два скрытых слоя;
  •  Число нейронов в скрытых слоях обычно колеблется от Nx до 3Nx, где Nx – размерность входного сигнала [6].

Я спроектировала сеть на основе моей базы данных следующим образом.

По теореме Арнольда – Колмогорова – Хехт-Нильсена, которая гласит, что можно построить нейросеть, выполняющую преобразование, заданное любой обучающей выборкой различающихся между собой примеров, и установлено, что такой универсальной нейросетью является персептрон  с одним или двумя скрытыми слоями, с конечным числом нейронов и сигмоидными передаточными функциями [2, 6]. При этом число нейронов в скрытых слоях персептрона оценивается по формуле:

,

где   - размерность выходного сигнала; Q – число элементов обучающей выборки;  - необходимое число синаптических весов; Nx – размерность входного сигнала. Тогда число нейронов в скрытых слоях.

В моем случае сеть была построена, исходя из следующих параметров: Nx=14, Ny=1, Q=55. Тогда , а, следовательно, . Формула дает достаточно большой разброс числа нейронов в скрытых слоях, и поэтому из множества получаемых сетей рассматривается оптимизированная сеть.

Рис. 1. Графическое представление сети.

Данная сеть имеет два скрытых слоя. Активационные функции входного, выходного слоя линейные (рис2б), а скрытых слоев – сигмоида (рис2а). При многократном обучении и тестировании такая архитектура сети была выбрана мной исходя из минимума погрешности обобщения. В приложении 1 (график 2)  показана зависимость погрешности обучения и обобщения от числа нейронов в скрытых слоях. Количество нейронов в выходном слое выбрала равным одному для минимизации ошибки прогнозирования. Когда выходов несколько, то при обучении нейросети каждый выход пытается настроить сеть под себя, мешая тем самым другим выходам. Важно то, что нейросеть с двумя выходами предсказывает один непонятный усредненный параметр [3]. Иллюстрацию этого тезиса я показала в приложении 2.

                              а)                                                       б)

Рис. 2. Вид активационных функций

Обучение сети

 Способность к обучению является основным свойством мозга. Для нейронных сетей под обучением понимается процесс настройки синаптических весов для эффективного решения поставленной задачи. Обучение нейронной сети осуществляется на некоторой выборке, которая называется обучающей выборкой или обучающим множеством.

Существует большое число алгоритмов обучения, которые ориентированы на решение различных типов задач. Но наиболее часто используемым и успешным из них в настоящее время является алгоритм обратного распространения ошибки. Его основная идея заключается в том, что выход последнего слоя нейронов сравнивается с образцом обучения, и из разницы между желаемым и действительным делается вывод о том, каковы должны быть связи нейронов последнего слоя с предыдущим. Затем подобная операция проделывается с нейронами предпоследнего слоя. В итоге по нейросети от выхода к входу идет распространение весов связей (рис3). Именно за это метод и был назван обратным распространением. Начальная конфигурация сети выбирается случайным образом, и процесс обучения прекращается либо когда пройдено определенное количество итераций, либо когда ошибка достигнет заданного уровня точности [I].

Рис. 3. Метод обратного распространения ошибки для многослойной нейронной сети

Обучение представляет собой итерационный процесс, который при реализации на персональных компьютерах требует значительного времени.

В Нейросимулятор v 1.0 обучение сети строится на базе выборки данных, которая загружается  в программу из файла формата *.xls приложения Excel, что является очень удобным для больших по объему выборок. На рис.4 представлена небольшая часть обучающей выборки. Выборка строилась на основе анкет заёмщиков. Анкетирование проводилось в салоне сотовой связи «Мобилис-Мобиле». Кредит направлен на покупку мобильных телефонов, а также прилагающихся к ним гарнитуры и аксессуаров.

Ф.И.О.

Пол

Воз

Обр

Сем

Иж

Жил

Авт

Адр

Зан

Стаж

Дох

Кред

Дат

Пла

Дать

Мартынова Д.Н.

1

34

3

3

1

2

0

0

1

10

6

9,256

24

12

1

Батуева А.А.

1

22

2

0

1

4

0

1

0

1,3

6,3

10,2

25

12

0

Пономарев С.В.

0

21

0

0

0

4

0

1

0

1

5,5

10

25

6

0

Фирсова Е.Н.

1

44

1

1

2

3

0

1

2

10,2

14

12,36

26

6

1

Боталов Е.П.

0

28

2

0

0

3

1

0

1

5,4

13

13,465

27

6

1

Щербаков А.Д.

0

26

2

0

0

5

1

1

1

4,8

9,5

11,12

27

6

1

Калиниа Л.И.

1

56

1

1

0

3

0

0

4

0

4,3

7,56

28

11

1

Копытов Г.К.

0

27

1

4

0

4

0

2

2

1,5

10

15,1

29

12

0

Архипов Д.П.

0

24

3

0

0

2

0

1

2

1,2

10

11,56

29

11

1

Костарева С.П.

1

30

2

1

1

2

0

1

1

3

7

7,8

30

12

0

Петрова А.Г.

1

51

4

3

0

3

1

0

4

0

6,3

8,54

1

6

1

Петухов О.В.

0

28

1

1

1

5

0

0

2

4,3

11

7,96

1

4

1

Захаров В.С.

0

54

3

2

0

3

1

1

1

28

8,6

9

2

12

1

Копытев И.О.

0

36

1

1

3

3

0

1

0

5

9,1

12,41

3

4

1

Кирьянов А.А.

0

34

1

1

3

0

0

0

0

4,6

8,9

12,3

3

4

0

Рис. 4. Часть базы данных (обучающая выборка)

Число эпох, задаваемых в параметрах алгоритма обучения, позволяет регулировать «опыт» и качество обучения. Чем  больше число эпох, тем «опытнее» сеть. Скорость обучения нейронной сети, также задаваемая в параметрах, показывает требуемую точность решения. После завершения процесса обучения представляется зависимость ошибки сети от числа эпох (см. приложение 1). Графики изображают поведение максимальной ошибки сети (верхняя кривая) и средней ошибки сети (нижняя кривая) в зависимости от числа эпох. 

При проектировании сети учитывался факт, что сеть должна не только правильно реагировать на обучающие примеры, но и уметь обобщать приобретенные знания. Чтобы выяснить, насколько сеть хорошо может обобщать после обучения, рассматривают некоторое количество тестовых примеров из той же самой предметной области, но отличных от примеров из обучающей выборки (рис.5).

 

Ф.И.О.

Пол

Воз

Обр

Сем

Иж

Жил

Авт

Адр

Зан

Стаж

Дох

Кред

Дат

Пла

Дат

Огородников В.В.

0

39

1

1

0

3

0

0

2

0,3

12

8,293

1

10

?

Пыстогов В.В.

0

23

1

0

0

3

0

1

0

0,5

8

5,31

8

4

?

Коростина Н.А.

1

22

3

0

0

5

0

0

0

0,5

8,5

7,11

6

4

?

Кондратьева С.В.

1

31

1

1

2

1

0

1

0

1

8

5,095

31

10

?

Кожурина Н.Д.

1

28

2

0

0

3

0

0

2

1,4

10

7,09

8

4

?

Локтев О.Ю.

0

27

3

0

0

5

1

0

1

8,6

12,5

4,11

1

4

?

Гарипов Р.В.

0

42

1

1

2

3

1

0

1

7,2

12

8,026

21

6

?

Гильманова Ю.М.

1

19

1

0

0

5

0

1

0

0,4

5

10,505

1

6

?

Быков Е.В.

0

23

1

0

0

0

1

0

0

0,6

15

7,75

6

4

?

Вирко И.Г.

1

24

0

0

0

5

0

0

0

0,1

8

6,878

25

12

?

Боголюбов А.Н.

0

33

1

1

1

3

0

0

2

6,2

20

8,575

6

7

?

Бабиков А.В.

0

24

1

1

1

5

0

0

2

2,3

18

13,712

25

4

?

Рис. 5. Часть базы данных (тестовое множество)

Ячейки столбца «Дать» отмечены знаками «?». Это результат, который должна предсказать сеть.

После обучения и тестирования сети я вычислила среднеквадратичную погрешность между прогнозом сети (y) и желаемым выходом (d) для обучающего и для тестового множества соответственно по формулам (1) и (2). (см. приложение 1,  график 2)

(1);

(2),

где  - погрешность обучения;  - погрешность обобщения; Qчисло обучающих примеров; QT – число тестовых примеров.

Данные

Прогноз

Данные

Прогноз

0

0,3952

1

1,007

0

1,0068

1

0,8495

0

0,2753

1

1,0033

1

1,0023

1

1,0055

1

0,9626

1

1,0028

1

1,0049

1

1,0053

Таблица 1. Исходные данные и прогноз сети.

Хочу отметить, что сеть дала 11 правильных ответов из 12, но в некоторых случаях сеть имеет большие отклонения от исходных данных (Приложение 1, график 3). И все же, если увеличить объемы обучающей выборки, то можно добиться более успешных результатов.

 Как интерпретировать полученные результаты? Если прогноз сети больше единицы, то сеть более чем на 100% уверена в платежеспособности заемщика. Для заемщика, которому было отказано в открытии счета, прогноз не составляет «чистый» ноль. Данный заемщик тоже платежеспособен, но только на 20-30%. Таких клиентов банку не надо, а, следовательно, отказ в открытии счета.

 


Исходные данные

Так как для оценки кредитоспособности физических лиц банку необходимо оценить не только финансовое положение заемщика, но и личные качества, то после обработки анкетных данных я выделила 14 характеристик, которые будут подаваться на вход персептрона.

  •  Пол – пол заёмщика. 0 – мужской, 1 – женский;
  •  Воз-т – полное число лет, исполнившееся заёмщику к моменту оформления кредита;
  •  Образ-е – образование. Принимает значение 0, если образование неполное среднее, 1 - среднее/среднее  специальное, 2 – неполное высшее, 3 – высшее, 4 – учёная степень;
  •  Сем.пол. – семейное положение. Может принимать следующие значения: 0 – холост/не замужем, 1 – женат/замужем, 2 – вдовец/вдова, 3 – разведён(а), 4 – гражданский брак;
  •  Иждив. – количество иждивенцев на обеспечении заёмщика:
  •  Жильё – жилищные условия. 0 – муниципальная квартира, 1 – кооперативная квартира, 2 – служебная квартира, 3 – собственный дом/квартира, 4 – снимаю квартиру, 5 – проживаю у родителей;
  •  Авто – наличие автомобиля в собственности. 0 – нет, 1- да;
  •  Адрес – адрес постоянной регистрации. 0 – город Пермь, 1 – Пермский край, 2 – другой субъект Российской Федерации;
  •  Занят-ть – вид занятости заёмщика. 0 – рабочий, 1 – государственный служащий, 2 – коммерческий сотрудник, 3 – предприниматель, 4 – пенсионер;
  •  Стаж – стаж работы на ныне занимаемой должности в годах.
  •  Доход – среднемесячный доход в тыс. руб.;
  •  Кредит – сумма кредита на товар в тыс. руб.;
  •  Дата – число дня рассмотрения заявки для получения кредита;
  •  Платежи – количество платежей погашения кредита.

На выходе один параметр:

  •  Дать -  0, если отказано в открытии счёта для получения кредита и 1- открыт счёт для получения кредита.


Анализ входных параметров

 Необходимо понимать, что не все параметры предметной области влияют на выходной вектор. Параметры, которые не оказывают влияния на выходной вектор, называют незначимыми для него. Естественно, что незначимые параметры не следует включать в список параметров входного вектора.

Однако на практике часто бывает трудно и даже невозможно установить, какие из параметров предметной области являются значимыми, а какие нет. Поэтому на первом этапе в входной вектор включают как можно больше параметров [6]. Как уже было отмечено выше, на вход нейросети подаются 14 параметров. Данные параметры были выбраны мной из анкет заемщиков как наиболее влияющие на окончательное решение.

После первоначального создания, обучения и тестирования сети, незначимые параметры были выявлены путем возмущения входных параметров и анализа реакции сети на эти возмущения.

Сеть оставалась такой же, но на вход подавались 13 параметров, поочередно убирая каждый из входных параметров. Сеть снова обучалась и тестировалась, а на основе прогноза и исходных данных я вычисляла погрешность обобщения. Если погрешность не реагирует или слабо реагирует на нехватку входного параметра, то этот параметр является незначимым. В приложении 1 на графике 4 показана зависимость погрешности обобщения в % от учитываемых параметров. На основе этих данных я построила таблицу значимости входных параметров.

Параметр

погрешность,  %

Параметр

погрешность,  %

Жильё

37,6

Платежи

18,3

Иждивенцы

22,1

Занятие

18,2

Образование

20,5

Кредит

17,2

Семья

20,45

Адрес

16,8

Авто

18,9

Пол

8,04

Стаж

18,4

Возраст

4,7

Доход

18,35

Таблица 2. Таблица значимости входных параметров.

Из таблицы 2 видно, что наиболее значимым оказался входной параметр «Жилье» (37,6%). Параметры, оценивающие финансовое характеристики («Авто», «Доход», «Занятие», «Кредит»), оказались на одном уровне, и их исключение давало погрешность порядка 18%. Как оказалось, но «Возраст» является совсем незначительным параметром (4,7%).

После выявления и исключения входных нейронов, соответствующих незначимым параметрам, качество нейросети улучшается, так как снижается ее размерность. Однако надо учитывать, что слишком малое число входных параметров может привести к тому, что нейросети не хватит данных для выявления требуемых от нее закономерностей предметной области.

 
Заключение

Изучение Нейросимулятора v 1.0 в соответствие с решаемой задачей позволило построить оптимальную сеть, а варьирование числовых параметров алгоритма обучения позволило добиться успеха прогнозирования в 90% случаев.

Хочу отметить, что в случае положительного ответа, когда «Дать» равно единице, сеть практически не ошибалась, хотя в некоторых случаях этот положительный ответ был лишь на 0,85. А вот в случае отрицательного ответа результаты немного похуже: сеть ошибается намного больше, думаю, что связано с неким человеческим фактором. Но если увеличить объёмы обучающей выборки, а именно с отрицательными ответами, то можно добиться более впечатляющих результатов.

 Анализ входных параметров также был проведен, после чего параметры «выстроились» по степени значимости (от наибольшего к наименьшему).

Результаты, требующие графического представления, представлены в приложениях.

В планах: заняться исследованием вероятностных и обобщенно-регрессионных нейронных сетей и на их основе написать собственное приложение, которое в реальном времени позволит определять платежеспособность заемщиков.  


Библиографический список
 

  1.  Белоглазова Г.Н. Деньги. Кредит. Банки. М.: Юрайт-Издат, 2004.
  2.  Горбань А.Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей. Сибирский журнал вычислительной информатики, 1998.
  3.  Иоффе Г. Новая оценка кредитоспособности физических лиц для российских банков // Банковские технологии. №08(август), 2004.
  4.  Лаврушина О.И. Банковское дело. М.: Финансы и статистика, 2005.
  5.  Остроухов И., Панфилов П. Нейросети: работа над ошибками // Валютный спекулянт. Технологии. №8(10), 2000.
  6.  Ясницкий Л.Н. Введение в искусственный интеллект. М.: «Академия», 2005.

Сайты:

  1.  www.neuroproject.ru
  2.  www.stokportal.ru
  3.  www.neurok.ru
  4.  www.neuropro.ru
  5.  www.ann.hotmail.ru


Приложение 1.

График 1. Зависимости средней и максимальной ошибок обучения сети

Поведение максимальной ошибки сети (верхняя кривая) и средней ошибки сети (нижняя кривая) в зависимости от числа эпох. 

График 2. Зависимость погрешности от числа нейронов скрытых слоев

Из графика видно, что минимальная погрешность обобщения, равная приблизительно 6%, достигается при одиннадцати нейронах в скрытых слоях, т.е. девять + два.

График 3. Сравнение прогноза сети с исходными данными.

График 4. Погрешность обощения в зависимости от входных параметров.

Приложение 2

Сначала была обучена нейросеть  с двумя выходами для прогнозирования «Дать» и «Отказ», а потом две нейросети отдельно для «Дать» и для «Отказ» с единственным выходом.

График 1. Сравнение данных с прогнозом сети.

На графике 1 представлены исходные данные (синий цвет), выход «Дать» в сети с двумя выходами (красный цвет) и выход «Дать» в сети с одним выходом (жёлтый цвет).

График 2. Сравнение данных с прогнозом сети.

На графике 2 представлены исходные данные (синий цвет), выход «Отказ» в сети с двумя выходами (красный цвет) и выход «Отказ» в сети с одним выходом (жёлтый цвет).

Как видно из проиллюстрированного, отклонения прогноза от исходных данных имеются как в сети с двумя выходами, так и в сети с одним выходом, но отмечу, что именно  в сети с одним выходом эти отклонения принимают меньшее значение.

PAGE   \* MERGEFORMAT 1


 

А также другие работы, которые могут Вас заинтересовать

28168. Магнитные свойства атомов. Опыты Штерна и Герлаха. Спин электрона. Спектроскопические проявления спина электрона 145 KB
  Спин электрона. Спектроскопические проявления спина электрона Природа магнетизма явления известного еще с начала XIX века была понята только после создания квантовой механики. Орбитальное движение электрона движение относительно ядра атома характеризуется магнитным моментом . 1 Здесь ‒ гиромагнитное отношение 2 где m масса электрона е – модуль заряда электрона момент импульса электрона модуль которого квантуется по правилу .
28169. Принцип тождественности неразличимых микрочастиц. Бозоны и фермионы. Проблема гелия 145.5 KB
  Проблема гелия В основе исследования сложных атомов как и атома водорода также лежит уравнение Шредингера решением которого является функция состояния атома. Однако теперь функция состояния зависит от пространственных координат всех электронов атома и от времени. Для получения правильной функции состояния системы электронов необходимо учитывать принцип тождественности неразличимых частиц. Суть это принципа состоит в следующем: В силу неразличимости частиц состояния системы получающиеся друг из друга перестановкой обеих частиц должны быть...
28170. Многоэлектронные атомы. Электронные оболочки атома и их заполнение. Физическое объяснение периодического закона. Рентгеновские спектры атомов 186.5 KB
  Электронные оболочки атома и их заполнение. Такая одноэлектронная собственная функция атома называется атомной спинорбиталью АО. При рассмотрении многоэлектронного сложного атома можно воспользоваться приближением центрального поля. Однако в сложных атомах энергия электронов зависит как от главного квантового числа так и от орбитального квантового числа то есть происходит снятие вырождения по .
28171. Атом во внешних полях. Простой и сложный эффект Зеемана 165.5 KB
  Простой и сложный эффект Зеемана Расщепление спектральных линий атомных систем помещенных во внешнее магнитное поле называется эффектом Зеемана 1896 г. Расщепление линии на три компонента названо простым нормальным эффектом Зеемана. Расщепление линии более чем на три компонента названо сложным анормальным эффектом Зеемана Количественное объяснение простого эффекта Зеемана с позиций классической теории дано Лоренцем. Последовательное описание обоих вариантов эффекта Зеемана дано в рамках квантовой теории с учетом спинового магнитного...
28172. ПОСТУЛАТЫ БОРА. КОМБИНАЦИОННЫЙ ПРИНЦИП 83 KB
  В начале XX века установлено что всю совокупность спектральных линий атомарного водорода можно разбить на серии то есть на отдельные группы в пределах каждой из которых имеет место определенная закономерность в расположении и интенсивности спектральных линий. При из всего спектра атома выделяется определенная спектральная серия: соответствует серия Лаймана серия Бальмера серия Пашена серия Брэкета серия Пфунда и т. 2 Из комбинационного принципа Ритца вытекает следствие:...
28173. Модель атома Бора. Квантование круговых орбит и их характеристики. Правила квантования Бора-Зоммерфельда 157.5 KB
  В соответствии с моделью Резерфорда для строения атома Бор рассматривал движение электрона относительно покоящегося ядра по круговой орбите. Согласно Бору стационарными являются лишь те орбиты при движении по которым момент импульса электрона равен целому числу приведенных постоянных Планка удовлетворяет условию квантования круговых орбит то есть для й орбиты можно записать: 1 где и соответственно масса линейная скорость движения электрона и радиус его й орбиты; =...
28174. Фотоны и их свойства. Энергия и импульс фотона 95.5 KB
  Эффект Комптона К середине XIX века волновая природа электромагнитного излучения была подтверждена окончательно явлениями интерференции и дифракции света. Впервые это было осознано при рассмотрении проблемы теплового излучения. Попытки описать спектральное распределение теплового излучения на основе классической электродинамики закончились неудачей. Квантовые представления о природе электромагнитного излучения получили дальнейшее развитие при исследовании явления внешнего фотоэффекта.
28175. Задача молекулярной физики. Модель физического тела. Основные положения МКТ и их анализ. Модель идеального газа. Статистический и термодинамический способы описания. Основное уравнение МКТ идеального газа 811.5 KB
  Модель идеального газа. Основное уравнение МКТ идеального газа. Отсюда также следует что начинать построение теории следует с газов так как в этом случае выражение 1 имеет в правой части только одно слагаемое Модель газового физического тела получила название модели идеального газа. Уравнение состояния идеального газа уравнение Клапейрона ‒ Менделеева.
28176. Голография. Схема записи и восстановления голограмм. Запись голограмм на толстослойных эмульсиях. Применение голограмм 115 KB
  Схема записи голограммы представлена на рисунке 1. Денисюк осуществил запись голограммы в трехмерной среде объединив таким образом идею Габора с цветной фотографией Липпмана. Тогда участки голограммы с максимальным пропусканием света будут соответствовать тем участкам фронта предметной волны в которых ее фаза совпадает с фазой опорной волны. Поэтому при последующем освещении голограммы опорной волной в ее плоскости образуется то же распределение амплитуды и фазы которое было у предметной волны чем и обеспечивается восстановление...