42730

ЛИНЕЙНЫЕ МЕТОДЫ КЛАССИФИКАЦИИ

Лабораторная работа

Математика и математический анализ

В данной лабораторной работе мы будем рассматривать способ построения линейного решающего правила на основе обучения одного формального нейрона. Модель нейрона Нейрон представляет собой формализованную модель биологического нейрона.4 – Простейший нейрон В общем виде функционирование нейрона подчиняется следующему выражению: где: – вектор входного сигнала – весовой вектор T – порог f – функция активации. Весовой вектор порог и функция активации определяют поведение нейрона то как он реагирует на входные данные.

Русский

2013-10-30

178.5 KB

24 чел.

Лабораторная работа № 2

ЛИНЕЙНЫЕ МЕТОДЫ КЛАССИФИКАЦИИ

  1.  Линейный классификатор

Линейный классификатор (или линейное решающее правило) – это простейший алгоритм классификации, основанный на построении линейной разделяющей поверхности. В задачах с двумя классами линейный классификатор представляет собой гиперплоскость, разделяющую пространство на два полупространства. В задачах со многими классами разделяющая поверхность кусочно-линейная.

На рисунке 2.1 представлен пример линейного решающего правила для двух классов по двум информативным признакам. В данном случае двумерного пространства признаков разделяющей гиперплоскостью является прямая линия.

Рисунок 2.1 – Пример линейной классификации по двум признакам

Обучение линейного классификатора заключается в подборе такого положения гиперплоскости, когда классы разделены наилучшим образом. Что значит в данном контексте «наилучшим» – вопрос нетривиальный. Существует несколько подходов, каждый из которых приводит к различным решениям.

Рассмотрим простой пример автоматической классификации образа Х, принадлежащего классу С1 или С2.

Пусть обучающее множество (выборка) прецедентов (множество образов, истинная классификация которых известна) состоит из множества двумерных образов Хij, где i – номер класса, j – номер образа в выборке:

X11 = {5, 5};  X12 = {6, 5};   X13 = {6, 6}; X14 = {6, 7}; X15 = {7; 5}

X21 = {0, 3};  X22 = {-1, 3};  X23 = {-2, 3}; X24 = {-3, 3}; X25 = {-4, 3}

Обозначим  и  – средние образов, связанные с С1 и С2 соответственно. Тогда имеет место соотношение:

Получим ={6, 5.6} и ={-2, 3}.

Из рисунка 2.2 видно, что наиболее целесообразной решающей границей (линейным решающим правилом) является срединный перпендикуляр к прямой, соединяющей  и .

Рисунок 2.2 – Линейное решающее правило

Опишем решающую границу в виде уравнения. Рассмотрим любую точку Х, принадлежащую решающей границе. Так как решающая граница является срединным перпендикуляром к прямой, соединяющей  и , имеет место равенство:

.

Возведём обе части равенства в квадрат и получим:

Подставляя значения средних образов, получим уравнение:

8x1+2,6x2=27,18.

Т.е. дискриминантная функция имеет вид:

g(x)= 8x1+2,6x2-27,18.

Решающее правило формулируется следующим образом:

Если g(x)>0, то исследуемый класс относится к классу С1.

Если g(x)<0, то исследуемый класс относится к классу С2.

Такой классификатор называется элементом пороговой логики и реализуется он как показано на рисунке 2.3.

Рисунок 2.3 – Реализация линейного решающего правила

Простейшим обоснование линейного классификатора является его аналогия с нервной клеткой – нейроном. Другие обоснования дают байесовская теория классификации (метод логистической регрессии) и принцип разделяющей гиперплоскости (метод опорных векторов). В данной лабораторной работе мы будем рассматривать способ построения линейного решающего правила на основе обучения одного формального нейрона.

  1.  Модель нейрона

Нейрон представляет собой формализованную модель биологического нейрона. Это простейший процессор, вычислительные возможности которого ограничиваются некоторым правилом комбинирования входных сигналов и правилом активизации, позволяющим вычислить значение выходного сигнала по совокупности входных.

Сигналы посылаются другим элементам нейронной сети по взвешенным связям, с каждой из которых связан весовой коэффициент (или вес). Графически это можно представить следующим образом:

Рисунок 2.4 – Простейший нейрон

В общем виде функционирование нейрона подчиняется следующему выражению:

где:  – вектор входного сигнала,

  – весовой вектор,

 T порог,

  fфункция активации.

Весовой вектор, порог и функция активации определяют поведение нейрона, то, как он реагирует на входные данные. Величина веса wi определяет степень влияния i-того входа на выходной сигнал нейрона, а его знак - характер влияния. Связь с положительным весом называют возбуждающей связью, так как она активизирует нейрон, а связь с отрицательным весом – тормозящей.

Функция активации используется для ограничения выхода нейрона в заданном диапазоне, а так же для осуществления нелинейного преобразования взвешенной суммы. На практике широко применяются следующие виды функций активации:

- линейная (вида y=kx)

- пороговая

- сигмоидальная  и др.

Для построения классификаторов лучше всего использовать нелинейные хорошо дифференцируемые функции (вроде сигмоидальной).

Веса и порог конкретного нейрона являются настраиваемыми параметрами. Процесс настройки этих параметров называется обучением.

В целом нейронные сети – совокупности нейронных элементов и связей между ними – широко применяющиеся на практике, могут иметь различную структуру, топологию, алгоритмы обучения. Следует отметить, что для построения линейного решающего правила достаточно всего лишь одного нейрона. Поэтому далее мы рассмотрим принцип обучения одного нейрона, а более сложные нейросетевые структуры будут рассматриваться в курсе ЦОСиИ.

  1.  Принцип обучения нейрона

Существует несколько основных подходов к нейронному обучению. Исторически самый первый подход – правило Хебба, основано на изменении весов нейронов пропорционально произведению его входного и выходного сигналов. При этом на этапе обучения (или в процессе адаптации нейрона) его выходные сигналы не прогнозируются. Такое обучение называется обучением без учителя.

Если для обучения используются эталонные значения выходного сигнала нейрона (результат обучения предопределён заранее заданными значениями обучающей выборки), то такой механизм обучения называется обучением с учителем.

Формула для обучения с учителем, известная так же как дельта-правило, имеет следующий вид:

где  и  – компоненты весового вектора в моменты времени t+1 и t соответственно,

 – коэффициент обучения (),

D – эталонное значение выходного сигнала нейрона.

Алгоритм обучения нейрона можно описать следующим образом:

  1.  Весовые коэффициенты инициализируются случайным образом
  2.  На входы поочерёдно подаются входные образы из обучающей последовательности и вычисляются выходные значения
  3.  Если реакция нейрона соответствует требуемой, весовой коэффициент не изменяется
  4.  Если реакция нейрона не совпадает с эталонной, веса корректируются по дельта-правилу
  5.  Алгоритм продолжается до тех пор, пока выходные значения для всей выборки не совпадут с эталонными значениями, либо пока коэффициенты не перестанут изменяться.

2.4 Задание на лабораторную работу

Используя обучающую выборку из предыдущей работы построить линейное решающее правило аналитически.

Написать программу для обучения нейрона по дельта-правилу на образах из обучающей выборки (варьируя инициализирующие значения весового вектора и параметр скорости обучения). Продемонстрировать успешное обучение. Оценить обобщающую способность по контрольным точкам из предыдущей работы.

Изобразить линейный пороговый классификатор и обученный нейронный элемент. Построить линейные решающие правила графически.

Сравнить и сделать выводы.

В отчёте приводятся:

  1.  Исходные данные (обучающая и контрольная выборки)
  2.  Расчёт линейного порогового классификатора
  3.  Алгоритм обучения нейронного элемента
  4.  Граф-схема линейного порогового классификатора
  5.  Граф-схема нейронной сети
  6.  Построенные линейные решающие правила
  7.  Выводы (что общего и в чём отличия изученных способов построения линейного решающего правила)


 

А также другие работы, которые могут Вас заинтересовать

25308. Потенциал действия 37.5 KB
  Потенциал действия может быть зарегистрирован двояким способом: с помощью электродов приложенных к внешней поверхности волокна внеклеточное отведение и с помощью микроэлектрода введенного внутрь протоплазмы внутриклеточное отведение. Долгое время физиологи полагали что потенциал действия представляет собой лишь результат кратковременного исчезновения той разности потенциалов которая существует в покое между наружной и внутренней сторонами мембраны. Однако точные измерения проведенные с помощью внутриклеточных микроэлектродов...
25309. Законы раздражения 44 KB
  Механизм раздражающего действия тока при всех видах стимулов в принципе одинаков однако в наиболее отчетливой форме он выявляется при использовании постоянного тока прямоугольной формы. При использовании в качестве раздражителя электрического тока порог выражается в единицах силы тока или напряжения. Существует два способа подведения электрического тока к ткани: внеклеточный и внутриклеточный. Недостаток этого метода заключается в значительном ветвлении тока: только часть его проходит через мембраны клеток часть же ответвляется в...
25310. Строение и классификация нейронов 35.5 KB
  Место отхождения аксона от тела нервной клетки называют аксонным холмиком. Дендриты это многочисленные ветвящиеся отростки функция которых состоит в восприятии импульсов приходящих от других нейронов и проведении возбуждения к телу нервной клетки. В центральной нервной системе тела нейронов сосредоточены в сером веществе больших полушарий головного мозга подкорковых образований мозжечка мозгового ствола и спинного мозга.
25311. Строение и работа синапсов 28 KB
  Они образуются концевыми разветвлениями нейрона на теле или отростках другого нейрона. В структуре синапса различают три элемента: 1пресинаптическую мембрану образованную утолщением мембраны конечной веточки аксона; 2синаптическую щель между нейронами; 3постсинаптическую мембрану утолщение прилегающей поверхности следующего нейрона. В большинстве случаев передача влияния одного нейрона на другой осуществляется химическим путем.Для возбуждения нейрона необходимо чтобы ВПСП достиг порогового уровня.
25312. Рефлекс. Рефлекторный процесс 63.5 KB
  У животных обладающих нервной системой развился особый тип реакций рефлексы. Рефлексы это реакции организма происходящие при обязательном участии нервной системы в ответ на раздражение воспринимающих нервных окончаний рецепторов. Павлова делят на две большие группы: на рефлексы безусловные и условные. Безусловные рефлексы это врожденные наследственно передающиеся реакции организма.
25313. Свойства нервных центров 39 KB
  Проведение волны возбуждения от одного нейрона к другому через синапс происходит в большинстве нервных клеток химическим путем с помощью медиатора а медиатор содержится лишь в пресинаптической части синапса и отсутствует в постсинаптической мембране. В связи с этим поток нервных импульсов в рефлекторной дуге имеет определенное направление от афферентных нейронов к вставочным и затем к эфферентным мотонейронам или вегетативным нейронам. Суммация возбуждения В ответ на одиночную афферентную волну идущую от рецепторов к нейронам в...
25314. Торможение в центральной нервной системе 28.5 KB
  Сеченовым опыт: у лягушки делали разрез головного мозга на уровне зрительных бугров и удаляли большие полушария после этого измеряли время рефлекса отдергивания задних лапок при погружении их в раствор серной кислоты.раздражение на эту область мозга то время рефлекса резко удлиняется. На основании этого он пришел к заключению что в таламической области мозга у лягушки существуют нервные центры оказывающие тормозяшие влияния на спинномозговые рефлексы. мозга наряду с возбуждающими нейронами существуют и тормозящие аксоны кот.
25315. Строение мышечного волокна 32 KB
  В состав волокна входят его оболочка сарколемма жидкое содержимое саркоплазма ядро митохондрии рибосомы сократительные элементы миофибриллы а также замкнутая система продольных трубочек и цистерн расположенных вдоль миофибрилл и содержащих ионы Са2 саркоплазматический ретикулум. Поверхностная мембрана клетки через равные промежутки образует поперечные трубочки входящие внутрь мышечного волокна по которым внутрь клетки проникает потенциал действия при ее возбуждении. Миофибриллы тонкие волокна содержащие 2 вида...
25316. Физиология спинного мозга 30 KB
  В составе серого вещества спинного мозга человека насчитывают около 13. Из них основную массу 97 представляют промежуточные клетки вставочные или интернейроны которые обеспечивают сложные процессы координации внутри спинного мозга. Среди мотонейронов спинного мозга выделяют крупные альфамотонейроны имелкие гаммамотонейроны.