8138

Статистические методы обучения. Обучение с полными данными. Метод максимального правдоподобия. Обучение байесовских сетей

Лекция

Информатика, кибернетика и программирование

Статистические методы обучения. Обучение с полными данными. Метод максимального правдоподобия. Обучение байесовских сетей. Основными понятиями при использовании статистических методов обучения продолжают оставаться данные и гипотезы, но данные рассм...

Русский

2013-02-04

65.5 KB

15 чел.

Статистические методы обучения. Обучение с полными данными. Метод максимального правдоподобия.

Обучение байесовских сетей.

Основными понятиями при использовании статистических методов обучения продолжают оставаться данные и гипотезы, но данные рассматриваются как свидетельства, то есть конкретизации случайных переменных, описывающих проблемную область, а гипотезы представляют собой вероятностные теории того, как функционирует проблемная область.

Рассмотрим простой пример. На кондитерской фабрике выпускаются леденцы двух разновидностей –  вишневые и лимонные, которые заворачиваются в одинаковые фантики и упаковываются в очень большие внешне неразличимые пакеты, относящиеся к следующим пяти типам:

h1: 100% вишневых леденцов,

h2: 75% вишневых + 25% лимонных леденцов,

h3: 50% вишневых + 50% лимонных леденцов,

h4: 25% вишневых + 75% лимонных леденцов,

h5: 100% лимонных леденцов.

Работник ОТК должен определить, к какому типу относится предоставленный на контроль пакет, которому соответствует случайная переменная H, принимающая значение от h1 до h5. По мере развертывания конфет регистрируются данные о них D1, D2, …. Dn, где Di – случайная переменная, принимающая значение из множества {cherry, lime}. Работник ОТК должен предсказать к какой разновидности относится следующая выбираемая конфета.

В баесовском обучении исходя из полученных данных вычисляется вероятность каждой гипотезы и делается предсказание. Пусть переменная D представляет все данные с наблюдаемым значением d, тогда вероятность каждой гипотезы может быть определена с помощью правила Байеса:

P(hi|d) = P(d|hi) P(hi)

Пусть необходимо сделать предсказание в отношении неизвестного количества X. В таком случае применяется следующее уравнение:

P(X|d) = =

где предполагается, что каждая гипотеза определяет распределение вероятностей по X. Это уравнение показывает, что предсказания представляют собой взвешенные средние по предсказаниям отдельных гипотез. Сами гипотезы, по сути, являются “посредниками” между фактическими данными и предсказаниями. Основными количественными показателями в байесовском подходе являются распределение априорных вероятностей гипотезы P(hi) и правдоподобие данных согласно каждой гипотезе P(d|hi).

Предположим, что изготовитель объявил о наличии распределения априорных вероятностей по значениям h1, …,h5, которое задано вектором {0.1, 0.2, 0.4, 0.2, 0.1). Правдоподобие данных рассчитывается в соответствии с предположением, что наблюдения являются независимыми и одинаково распределенными, поэтому соблюдается следующее уравнение:

P(d|hi) =

Например, если в действительности пакет содержит только лимонные леденцы (h5) и все первые 10 конфет являются лимонными леденцами, то значение P(d|h3) равно 0.510, поскольку в пакете типа h3 половина конфет – лимонные леденцы. Априори наиболее вероятным вариантом является гипотеза h3 и остается таковой после развертывания 1 конфеты с лимонным леденцом. После развертывания 2 конфет с лимонными леденцами наиболее вероятной становится гипотеза h4, а после обнаружения 3 или больше лимонных леденцов наиболее вероятной становится гипотеза h5. баесовская вероятность того, что следующий леденец будет лимонным, согласно уравнению для P(X|d) монотонно увеличивается до 1.

Данный пример показывает, что истинная гипотеза в конечном итоге будет доминировать над байесовским предсказанием. При любом заданном распределении априорных вероятностей, которое не исключает с самого начала истинную гипотезу, апостериорная вероятность любой сложной гипотезы в конечном итоге полностью исчезает.

В реальных задачах обучения пространство гипотез обычно является очень большим или бесконечным, поэтому приходится вместо прямого вычисления суммы для P(x|d) (или, в непрерывном случае, интегрирования) приходится прибегать к приближенным или упрощенным методам.

Упрощение может быть достигнуто путем предсказаний на основе единственной наиболее вероятной гипотезы, т.е. той гипотезы hi, которая максимизирует значение P(hi|d). Такую гипотезу hmap называют максимально апостериорной. Предсказания, сделанные на основе такой гипотезы, являются приближенно байесовскими до такой степени, что P(X|d) = P(X|hmap). В примере hmap = h5 после обнаружения 3 лимонных леденцов подряд.

Упрощение может быть также достигнуто, например, путем принятия предположения о равномерном распределении априорных вероятностей по пространству гипотез. В этом случае обучение с помощью максимально апостериорной гипотезы сводится к выбору гипотезы hi, которая максимизирует значение P(d|hi). Такая гипотеза называется гипотезой с максимальным правдоподобием. Это – приемлемый подход, применяемый в тех обстоятельствах, когда нет оснований априорно отдавать предпочтение одной гипотезе перед другой. Такой метод обучения становится хорошей аппроксимацией байесовского обучения и обучения с помощью максимально апостериорной гипотезы, когда набор данных имеет большие размеры, поскольку сами данные исправляют распределение априорных вероятностей по гипотезам, но связан с возникновением определенных проблем при использовании небольших наборов данных.


 

А также другие работы, которые могут Вас заинтересовать

48190. ІСТОРІЯ СЕРЕДНЬОВІЧНОГО СХОДУ КУРС ЛЕКЦІЙ 2.42 MB
  ІНДІЯ ПІСЛЯ ІСЛАМСЬКОГО ЗАВОЮВАННЯ. Встановивши східну деспотію в СРСР вожді від “диктатури пролетаріату†не бажали залишати в умах підданих зайвих асоціацій і хоча після смерті Й. Інші річки Хуайхе Чжуцзян Хайхе Ляохе теж відігравали певну роль у природногосподарській системі традиційного Китаю а після завершення будівництва Великого каналу VII ст. Для тогочасних китайців було характерним міняти особисте ім'я людини протягом життя: в дитинстві всім давалося “молочне ім'я†жумін після повноліття основне мін нарешті...
48191. ПРОБЛЕМЫ ТЕОРИИ ПРАВА. КУРС ЛЕКЦИЙ 2.87 MB
  Кожевников ПРОБЛЕМЫ ТЕОРИИ ПРАВА КУРС ЛЕКЦИЙ Второе издание переработанное и дополненное Нижний Новгород 2008 УДК 340 ББК 67. Проблемы теории права: Курс лекций: Право: понятие сущность система; правотворчество и правовое регулирование. Нормы права правоотношения правосознание и правовая культура действие права. Вопервых на основе обобщения материала последних лет по правоведению и сохранения всего ценного накопленного в прошлые годы доступно изложить достаточно сложные и объемные вопросы относящиеся к природе права его...
48192. Джерела з історії середньовічної Європи (V-XV ст.) 145.5 KB
  На території власне германських областей панували місцеві діалекти зокрема законодавчі документи перекладалися цими діалектами. В Англії латина була мовою церкви документи та історичні твори писалися місцевою мовою. Поодинокі документи збереглися лише через те що знаходилися за межами імперії. Це варварські правди для раннього середньовіччя потім королівське законодавство правові документи феодального звичаєвого права парламентське законодавство.
48193. Лісові культури для Літинського лісництва «ДП Хмільницьке ЛГ» 938 KB
  Для задоволення потреб у садивному матеріалі дерев і чагарників, в лісовому господарстві створена і функціонує ціла сітка спеціалізованих лісових розсадників по вирощуванню потрібного садивного матеріалу, головним чином, з відкритою кореневою системою із застосуванням при цьому широкої та комплексної механізації і хімізації робіт (гербіцидів, міндобрив, отрутохімікатів).
48194. Мікроекономіка 22.13 MB
  Цей опорний конспект лекцій створено з метою надання допомоги студентам в процесі вивчення дисципліни. Інформація в опорному конспекті лекцій розташована в порядку викладання тем дисципліни у відповідності з навчальною програмою
48195. Соціальна профілактика як аспект соціальної політики держави 403 KB
  Соціальна профілактика як аспект соціальної політики держави Сутність соціальної профілактики. Предмет об’єкти та суб’єкти чинники соціальної профілактики. Рівні профілактики. Нормативноправова база держави в напрямку профілактики негативних явищ у дитячому та молодіжному середовищі.
48196. СОЦІАЛЬНЕ СТРАХУВАННЯ. КОНСПЕКТ ЛЕКЦІЙ 1.47 MB
  050104 ФІНАНСИ усіх форм навчання та слухачів ЦПО Суми Видавництво СумДУ 2009 МІНІСТЕРСТВО ОСВІТИ І НАУКИ УКРАЇНИ СУМСЬКИЙ ДЕРЖАВНИЙ УНІВЕРСИТЕТ СОЦІАЛЬНЕ СТРАХУВАННЯ КОНСПЕКТ ЛЕКЦІЙ для студентів напряму підготовки 0501 спеціальності 7.050104 ФІНАНСИ усіх форм навчання та слухачів ЦПО Затверджено на засіданні кафедри фінансів як конспект лекцій з дисципліни “Соціальне страхуванняâ€. Суми Видавництво СумДУ 2009 Соціальне страхування: Конспект лекцій Укладачі: П.