8138

Статистические методы обучения. Обучение с полными данными. Метод максимального правдоподобия. Обучение байесовских сетей

Лекция

Информатика, кибернетика и программирование

Статистические методы обучения. Обучение с полными данными. Метод максимального правдоподобия. Обучение байесовских сетей. Основными понятиями при использовании статистических методов обучения продолжают оставаться данные и гипотезы, но данные рассм...

Русский

2013-02-04

65.5 KB

15 чел.

Статистические методы обучения. Обучение с полными данными. Метод максимального правдоподобия.

Обучение байесовских сетей.

Основными понятиями при использовании статистических методов обучения продолжают оставаться данные и гипотезы, но данные рассматриваются как свидетельства, то есть конкретизации случайных переменных, описывающих проблемную область, а гипотезы представляют собой вероятностные теории того, как функционирует проблемная область.

Рассмотрим простой пример. На кондитерской фабрике выпускаются леденцы двух разновидностей –  вишневые и лимонные, которые заворачиваются в одинаковые фантики и упаковываются в очень большие внешне неразличимые пакеты, относящиеся к следующим пяти типам:

h1: 100% вишневых леденцов,

h2: 75% вишневых + 25% лимонных леденцов,

h3: 50% вишневых + 50% лимонных леденцов,

h4: 25% вишневых + 75% лимонных леденцов,

h5: 100% лимонных леденцов.

Работник ОТК должен определить, к какому типу относится предоставленный на контроль пакет, которому соответствует случайная переменная H, принимающая значение от h1 до h5. По мере развертывания конфет регистрируются данные о них D1, D2, …. Dn, где Di – случайная переменная, принимающая значение из множества {cherry, lime}. Работник ОТК должен предсказать к какой разновидности относится следующая выбираемая конфета.

В баесовском обучении исходя из полученных данных вычисляется вероятность каждой гипотезы и делается предсказание. Пусть переменная D представляет все данные с наблюдаемым значением d, тогда вероятность каждой гипотезы может быть определена с помощью правила Байеса:

P(hi|d) = P(d|hi) P(hi)

Пусть необходимо сделать предсказание в отношении неизвестного количества X. В таком случае применяется следующее уравнение:

P(X|d) = =

где предполагается, что каждая гипотеза определяет распределение вероятностей по X. Это уравнение показывает, что предсказания представляют собой взвешенные средние по предсказаниям отдельных гипотез. Сами гипотезы, по сути, являются “посредниками” между фактическими данными и предсказаниями. Основными количественными показателями в байесовском подходе являются распределение априорных вероятностей гипотезы P(hi) и правдоподобие данных согласно каждой гипотезе P(d|hi).

Предположим, что изготовитель объявил о наличии распределения априорных вероятностей по значениям h1, …,h5, которое задано вектором {0.1, 0.2, 0.4, 0.2, 0.1). Правдоподобие данных рассчитывается в соответствии с предположением, что наблюдения являются независимыми и одинаково распределенными, поэтому соблюдается следующее уравнение:

P(d|hi) =

Например, если в действительности пакет содержит только лимонные леденцы (h5) и все первые 10 конфет являются лимонными леденцами, то значение P(d|h3) равно 0.510, поскольку в пакете типа h3 половина конфет – лимонные леденцы. Априори наиболее вероятным вариантом является гипотеза h3 и остается таковой после развертывания 1 конфеты с лимонным леденцом. После развертывания 2 конфет с лимонными леденцами наиболее вероятной становится гипотеза h4, а после обнаружения 3 или больше лимонных леденцов наиболее вероятной становится гипотеза h5. баесовская вероятность того, что следующий леденец будет лимонным, согласно уравнению для P(X|d) монотонно увеличивается до 1.

Данный пример показывает, что истинная гипотеза в конечном итоге будет доминировать над байесовским предсказанием. При любом заданном распределении априорных вероятностей, которое не исключает с самого начала истинную гипотезу, апостериорная вероятность любой сложной гипотезы в конечном итоге полностью исчезает.

В реальных задачах обучения пространство гипотез обычно является очень большим или бесконечным, поэтому приходится вместо прямого вычисления суммы для P(x|d) (или, в непрерывном случае, интегрирования) приходится прибегать к приближенным или упрощенным методам.

Упрощение может быть достигнуто путем предсказаний на основе единственной наиболее вероятной гипотезы, т.е. той гипотезы hi, которая максимизирует значение P(hi|d). Такую гипотезу hmap называют максимально апостериорной. Предсказания, сделанные на основе такой гипотезы, являются приближенно байесовскими до такой степени, что P(X|d) = P(X|hmap). В примере hmap = h5 после обнаружения 3 лимонных леденцов подряд.

Упрощение может быть также достигнуто, например, путем принятия предположения о равномерном распределении априорных вероятностей по пространству гипотез. В этом случае обучение с помощью максимально апостериорной гипотезы сводится к выбору гипотезы hi, которая максимизирует значение P(d|hi). Такая гипотеза называется гипотезой с максимальным правдоподобием. Это – приемлемый подход, применяемый в тех обстоятельствах, когда нет оснований априорно отдавать предпочтение одной гипотезе перед другой. Такой метод обучения становится хорошей аппроксимацией байесовского обучения и обучения с помощью максимально апостериорной гипотезы, когда набор данных имеет большие размеры, поскольку сами данные исправляют распределение априорных вероятностей по гипотезам, но связан с возникновением определенных проблем при использовании небольших наборов данных.


 

А также другие работы, которые могут Вас заинтересовать

52868. Свято англійської мови для 1-4 класів 172 KB
  Storyteller: Dear children! Hope you like fairy-tales very much! You know an old story about the wolf and 7 little kids, don’t you? Now the play begins! Once upon a time there lived Mother Goat and her 7 little kids. ( Mother Goat has a milk can in her hand. She wants to go to the market. Her kids are around her.)
52869. Розвиток комунікативних здібностей школярів на уроках англійської мови 188.5 KB
  Наприклад якщо учні познайомилися один з одним на початку нового шкільного року в них ніколи потім не виникає потреби знову це робити. Учні в класі як правило не мають потреби ставити запитання про те як пройти чи проїхати кудись у певному напрямку але вони мусять знати як це робити в реальних життєвих ситуаціях. Наприклад спочатку учні відпрацьовують команди напрямку.
52870. План-конспект уроку для 4 класу за темою „Christmas” 161 KB
  Тhis day people usually visit their friends. There is a lot of dancing and eating. People bring a piece of coal for good luck. People decorate trees with toys, send greeting cards and find presents in their stockings. People send cards to people they love. They don`t write their names.
52871. СТВОРЕННЯ ТА ВИКОРИСТАННЯ ЕЛЕКТРОННОГО СУПРОВОДУ УРОКІВ АНГЛІЙСЬКОЇ МОВИ 319.5 KB
  Важливого значення з огляду на це набуває питання використання у педагогічному процесі мультимедійних засобів навчання МЗН. Іноземна мова – це навчальний предмет який в силу своєї специфічності створення для учнів штучного мовного середовища передбачає найбільш гнучке і широке використання різних технічних засобів навчання. Головною метою навчання іноземних мов у загальноосвітніх навчальних закладах є надбання учнями вмінь та навичок грамотного використання іноземної мови у реальних життєвих ситуаціях не тільки повсякденного але й...
52872. ШЛЯХИ ЕФЕКТИВНОГО ВИКОРИСТАННЯ ПІСЕННОГО МАТЕРІАЛУ НА УРОКАХ АНГЛІЙСЬКОЇ МОВИ 123 KB
  Музика, а саме пісня іноземною мовою, має великі можливості для реалізації навчально-виховних завдань на уроках англійської мови. Важлива роль полягає саме в методично правильному доборі пісенного матеріалу та методики його використання.
52874. ШЛЯХИ ЕФЕКТИВНОГО ВИКОРИСТАННЯ ПІСЕННОГО МАТЕРІАЛУ НА УРОКАХ АНГЛІЙСЬКОЇ МОВИ 164.5 KB
  У структуру гри як процесу входять: а ролі узяті на собі граючи; б ігрові дії як засіб реалізації цих ролей; в ігрове вживання предметів тобто заміщення реальних речей ігровими умовними; г реальні відносини між граючи; д сюжет зміст область дійсності умовно відтворена в грі. Рольові ігри Ідея використання рольової поведінки на уроці одержала підкріплення з боку теорії ролей розробленої соціологами і соціопсіхологамі. Ігри позитивно впливають на формування пізнавальних інтересів школярів сприяють усвідомленому освоєнню іноземної...
52875. Особливості навчання англійської мови молодших школярів 216 KB
  У сучасних умовах іноземна мова розглядається як засіб спілкування і залучення до культури іншого народу. Це поступово стає домінуючою стратегією викладання іноземної мови в початковій школі. Особлива увага приділяється навчанню іноземної мови школярів в початкових класах, бо в дитинстві схильність до вивчення мов набагато більша.
52876. «В чарівній країні англійської мови» «In the Magic Land of English» Сценарій позакласного заходу з англійської мови (7 клас) 138 KB
  Every season is beautiful in its own way but Autumn is a wonderful season. It's like an old woman who is still beautiful and comes to breakfast in her diamonds. Who lights a million candles over the gabled roof and never looks back to see them black, The trees are beautiful in their fantastic yellow, red, golden and brown dresses. The ground is like a carpet of many colours.And everybody feels happy.