42730

ЛИНЕЙНЫЕ МЕТОДЫ КЛАССИФИКАЦИИ

Лабораторная работа

Математика и математический анализ

В данной лабораторной работе мы будем рассматривать способ построения линейного решающего правила на основе обучения одного формального нейрона. Модель нейрона Нейрон представляет собой формализованную модель биологического нейрона.4 Простейший нейрон В общем виде функционирование нейрона подчиняется следующему выражению: где: вектор входного сигнала весовой вектор T порог f функция активации. Весовой вектор порог и функция активации определяют поведение нейрона то как он реагирует на входные данные.

Русский

2013-10-30

178.5 KB

35 чел.

Лабораторная работа № 2

ЛИНЕЙНЫЕ МЕТОДЫ КЛАССИФИКАЦИИ

  1.  Линейный классификатор

Линейный классификатор (или линейное решающее правило) – это простейший алгоритм классификации, основанный на построении линейной разделяющей поверхности. В задачах с двумя классами линейный классификатор представляет собой гиперплоскость, разделяющую пространство на два полупространства. В задачах со многими классами разделяющая поверхность кусочно-линейная.

На рисунке 2.1 представлен пример линейного решающего правила для двух классов по двум информативным признакам. В данном случае двумерного пространства признаков разделяющей гиперплоскостью является прямая линия.

Рисунок 2.1 – Пример линейной классификации по двум признакам

Обучение линейного классификатора заключается в подборе такого положения гиперплоскости, когда классы разделены наилучшим образом. Что значит в данном контексте «наилучшим» – вопрос нетривиальный. Существует несколько подходов, каждый из которых приводит к различным решениям.

Рассмотрим простой пример автоматической классификации образа Х, принадлежащего классу С1 или С2.

Пусть обучающее множество (выборка) прецедентов (множество образов, истинная классификация которых известна) состоит из множества двумерных образов Хij, где i – номер класса, j – номер образа в выборке:

X11 = {5, 5};  X12 = {6, 5};   X13 = {6, 6}; X14 = {6, 7}; X15 = {7; 5}

X21 = {0, 3};  X22 = {-1, 3};  X23 = {-2, 3}; X24 = {-3, 3}; X25 = {-4, 3}

Обозначим  и  – средние образов, связанные с С1 и С2 соответственно. Тогда имеет место соотношение:

Получим ={6, 5.6} и ={-2, 3}.

Из рисунка 2.2 видно, что наиболее целесообразной решающей границей (линейным решающим правилом) является срединный перпендикуляр к прямой, соединяющей  и .

Рисунок 2.2 – Линейное решающее правило

Опишем решающую границу в виде уравнения. Рассмотрим любую точку Х, принадлежащую решающей границе. Так как решающая граница является срединным перпендикуляром к прямой, соединяющей  и , имеет место равенство:

.

Возведём обе части равенства в квадрат и получим:

Подставляя значения средних образов, получим уравнение:

8x1+2,6x2=27,18.

Т.е. дискриминантная функция имеет вид:

g(x)= 8x1+2,6x2-27,18.

Решающее правило формулируется следующим образом:

Если g(x)>0, то исследуемый класс относится к классу С1.

Если g(x)<0, то исследуемый класс относится к классу С2.

Такой классификатор называется элементом пороговой логики и реализуется он как показано на рисунке 2.3.

Рисунок 2.3 – Реализация линейного решающего правила

Простейшим обоснование линейного классификатора является его аналогия с нервной клеткой – нейроном. Другие обоснования дают байесовская теория классификации (метод логистической регрессии) и принцип разделяющей гиперплоскости (метод опорных векторов). В данной лабораторной работе мы будем рассматривать способ построения линейного решающего правила на основе обучения одного формального нейрона.

  1.  Модель нейрона

Нейрон представляет собой формализованную модель биологического нейрона. Это простейший процессор, вычислительные возможности которого ограничиваются некоторым правилом комбинирования входных сигналов и правилом активизации, позволяющим вычислить значение выходного сигнала по совокупности входных.

Сигналы посылаются другим элементам нейронной сети по взвешенным связям, с каждой из которых связан весовой коэффициент (или вес). Графически это можно представить следующим образом:

Рисунок 2.4 – Простейший нейрон

В общем виде функционирование нейрона подчиняется следующему выражению:

где:  – вектор входного сигнала,

  – весовой вектор,

 T порог,

  fфункция активации.

Весовой вектор, порог и функция активации определяют поведение нейрона, то, как он реагирует на входные данные. Величина веса wi определяет степень влияния i-того входа на выходной сигнал нейрона, а его знак - характер влияния. Связь с положительным весом называют возбуждающей связью, так как она активизирует нейрон, а связь с отрицательным весом – тормозящей.

Функция активации используется для ограничения выхода нейрона в заданном диапазоне, а так же для осуществления нелинейного преобразования взвешенной суммы. На практике широко применяются следующие виды функций активации:

- линейная (вида y=kx)

- пороговая

- сигмоидальная  и др.

Для построения классификаторов лучше всего использовать нелинейные хорошо дифференцируемые функции (вроде сигмоидальной).

Веса и порог конкретного нейрона являются настраиваемыми параметрами. Процесс настройки этих параметров называется обучением.

В целом нейронные сети – совокупности нейронных элементов и связей между ними – широко применяющиеся на практике, могут иметь различную структуру, топологию, алгоритмы обучения. Следует отметить, что для построения линейного решающего правила достаточно всего лишь одного нейрона. Поэтому далее мы рассмотрим принцип обучения одного нейрона, а более сложные нейросетевые структуры будут рассматриваться в курсе ЦОСиИ.

  1.  Принцип обучения нейрона

Существует несколько основных подходов к нейронному обучению. Исторически самый первый подход – правило Хебба, основано на изменении весов нейронов пропорционально произведению его входного и выходного сигналов. При этом на этапе обучения (или в процессе адаптации нейрона) его выходные сигналы не прогнозируются. Такое обучение называется обучением без учителя.

Если для обучения используются эталонные значения выходного сигнала нейрона (результат обучения предопределён заранее заданными значениями обучающей выборки), то такой механизм обучения называется обучением с учителем.

Формула для обучения с учителем, известная так же как дельта-правило, имеет следующий вид:

где  и  – компоненты весового вектора в моменты времени t+1 и t соответственно,

 – коэффициент обучения (),

D – эталонное значение выходного сигнала нейрона.

Алгоритм обучения нейрона можно описать следующим образом:

  1.  Весовые коэффициенты инициализируются случайным образом
  2.  На входы поочерёдно подаются входные образы из обучающей последовательности и вычисляются выходные значения
  3.  Если реакция нейрона соответствует требуемой, весовой коэффициент не изменяется
  4.  Если реакция нейрона не совпадает с эталонной, веса корректируются по дельта-правилу
  5.  Алгоритм продолжается до тех пор, пока выходные значения для всей выборки не совпадут с эталонными значениями, либо пока коэффициенты не перестанут изменяться.

2.4 Задание на лабораторную работу

Используя обучающую выборку из предыдущей работы построить линейное решающее правило аналитически.

Написать программу для обучения нейрона по дельта-правилу на образах из обучающей выборки (варьируя инициализирующие значения весового вектора и параметр скорости обучения). Продемонстрировать успешное обучение. Оценить обобщающую способность по контрольным точкам из предыдущей работы.

Изобразить линейный пороговый классификатор и обученный нейронный элемент. Построить линейные решающие правила графически.

Сравнить и сделать выводы.

В отчёте приводятся:

  1.  Исходные данные (обучающая и контрольная выборки)
  2.  Расчёт линейного порогового классификатора
  3.  Алгоритм обучения нейронного элемента
  4.  Граф-схема линейного порогового классификатора
  5.  Граф-схема нейронной сети
  6.  Построенные линейные решающие правила
  7.  Выводы (что общего и в чём отличия изученных способов построения линейного решающего правила)


 

А также другие работы, которые могут Вас заинтересовать

83776. Правовой статус налогоплательщиков, налоговых агентов и налоговых представителей 57.26 KB
  Возникновение обстоятельств влекущих уплату суммы налога или сбора служит юридическим фактом на основании которого субъект налогового права приобретает статус участника налоговых правоотношений. 11 НК РФ указывает что физические лица осуществляющие предпринимательскую деятельность без образования юридического лица но не зарегистрировавшиеся в качестве индивидуальных предпринимателей в нарушение требований гражданского законодательства при исполнении налоговых обязанностей не вправе ссылаться на то что они не являются индивидуальными...
83777. Банки как субъекты налогового права. Иные участники налоговых отношений 49.16 KB
  Иные участники налоговых отношений. 9 НК РФ к участникам налоговых отношений регулируемых законодательством о налогах и сборах фактически они таковыми являются и обладают специальным налоговоправовым статусом. Банки являются субъектами налоговых правоотношений обеспечивающими налоговые изъятия и наделенными в связи с этим соответствующими правами и обязанностями. Участие банков в налоговых отношениях носит более сложный по сравнению с иными участниками налоговых отношений регулируемых законодательством о налогах и сборах характер.
83778. Правовой статус налоговых органов. Их права и обязанности. Обязанности должностных лиц налоговых органов 43.23 KB
  Обязанности должностных лиц налоговых органов. Правовой статус налоговых органов РФ объем и характер прав и обязанностей системы налоговых органов России строго определенных законодательством. Правовое положение налоговых органов обусловлено их местом в системе органов государственного управления страны наделением их над ведомственными полномочиями по отношению к организационно неподчиненным объектам управления по контролю за соблюдением налогового законодательства правильностью их исчисления полнотой и своевременностью внесения в...
83779. Правовой статус таможенных органов, финансовых органов, органов внутренних дел, следственных органов 44.78 KB
  Таможенные органы пользуются правами и несут обязанности налоговых органов по взиманию налогов при перемещении товаров через таможенную границу Таможенного союза в соответствии с таможенным законодательством ТС и законодательством РФ о таможенном деле. При исполнении указанных функций таможенные органы и их должностные лица реализовывают в пределах своей компетенции права и обязанности налоговых органов ст. В ходе проведения контрольных мероприятий таможенные органы вправе: запрашивать документы и сведения в том числе в форме электронных...
83780. Исполнение обязанности по уплате налогов и сборов. Объекты налогообложения. Принципы определения цены товаров, работ или услуг для целей налогообложения 44.19 KB
  Сущность исполнения налоговой обязанности заключается в уплате налога или сбора. Налоговая обязанность возникает с момента возникновения установленных налоговым законодательством обстоятельств предусматривающих уплату конкретного налога или сбора. Так вот обстоятельствами с которыми налоговое законодательство связывает возникновение налоговой обязанности являются следующие: вопервых это наличие объекта конкретного налога или сбора; вовторых это наличие непосредственной связи между этим объектом и субъектом налогоплательщиком. И...
83781. Исполнение обязанности по уплате налогов и сборов. Основания возникновения, изменения и прекращения обязанности по уплате налогов и соборов; порядок исчисления налогов; взыскание налога за счет денежных средств и иного имущества налогоплательщика 46.34 KB
  Основания возникновения изменения и прекращения обязанности по уплате налогов и соборов; порядок исчисления налогов; взыскание налога за счет денежных средств и иного имущества налогоплательщика. Возникновение обязанности по уплате налогов и сборов связано с несколькими обстоятельствами: с наличием конституционноправовой обязанности по уплате налогов по нормам законодательства о налогах и сборах в которых детализируется реализация обязанности по уплате налогов объектами налогообложения.  Основанием возникновения налогового обязательства...
83782. Изменение срока уплаты налога и сбора: общие условия изменения срока уплаты; обстоятельства исключающие изменение срока уплаты, органы, уполномоченные принимать решение об изменении сроков уплаты 41.84 KB
  Изменением срока уплаты налога и сбора признается перенос установленного срока уплаты налога и сбора на более поздний срок. Срок уплаты налога и или сбора может быть изменен в отношении всей подлежащей уплате суммы налога и или сбора либо ее части с начислением процентов на сумму задолженности. Изменение срока уплаты налога и сбора осуществляется в форме отсрочки рассрочки инвестиционного налогового кредита.
83783. Порядок и условия предоставления отсрочки и рассрочки по уплате налога и сбора. Инвестиционный налоговый кредит. Порядок и условия его предоставления 48.98 KB
  Отсрочка или рассрочка по уплате налога представляет собой изменение срока уплаты на срок не превышающий один год соответственно с единовременной или поэтапной уплатой суммы задолженности. Отсрочка или рассрочка может быть предоставлена заинтересованному лицу если имеются достаточные основания полагать что возможность уплаты указанным лицом такого налога возникнет в течение срока на который предоставляется отсрочка или рассрочка при наличии хотя бы одного из следующих оснований: 1 причинение этому лицу ущерба в результате стихийного...
83784. Требование об уплате налогов и сборов. Способы обеспечения исполнения обязанностей по уплате налогов и сборов 48.4 KB
  Требованием об уплате налога признается извещение налогоплательщика о неуплаченной сумме налога а также об обязанности уплатить в установленный срок неуплаченную сумму налога. Требование об уплате налога направляется налогоплательщику при наличии у него недоимки. Направляется налогоплательщику независимо от привлечения его к ответственности за нарушение законодательства о налогах и сборах. Требование об уплате налога должно содержать сведения о сумме задолженности по налогу размере пеней начисленных на момент направления требования сроке...