23602

Автоматический морфологический анализ. Соотношение словаря и анализа

Доклад

Иностранные языки, филология и лингвистика

Автоматический морфологический анализ. Соотношение словаря и анализа. Автоматический морфологический анализ АМА анализ отдельно взятой словоформы и всех тех сведений которые из нее можно извлечь безотносительно к тому относятся ли эти сведения к морфологии или нет. АМА определяется двумя факторами: 1 тип ЕЯ подвергаемого анализу 2 тип алгоритма авт.

Русский

2013-08-16

12.5 KB

6 чел.

2. Автоматический морфологический анализ.  Соотношение словаря и анализа.

Автоматический морфологический анализ (АМА)- анализ отдельно взятой словоформы и всех тех сведений, которые из нее можно извлечь безотносительно к тому, относятся ли эти сведения к морфологии или нет.

АМА определяется двумя факторами:

1) тип ЕЯ, подвергаемого анализу

2) тип алгоритма авт. обработки текста

МА начинается с поиска входного слова в словаре и с членения словоформы на составляющие ее морфемы.

Общая схема морфологического анализа:

1. Общие правила (управляющий алгоритм

2. Список (таблицы) суффиксов

3. Список (таблицы) информации к суффиксам

4. Список нестандартных операций (нестандартная запись)

5. Обработка омонимичных основ

Важен тип входного словаря. Учитывая  связь МА со словарем можно выделить следующие группы МА:

1. морфологический анализ со словарем словоформ: каждой словоформе приписывается определенная информация (слово отыскивается. информация извлекается)

2. морфологический анализ со словарем основ (проблемы: анализ найденных в словаре форм, как отождествить разные словоформы одного и того же слова)

сравнение словоформы на полное совпадение  -> нет -> словоформа = основа + окончание. В задачу МА входит разрешение синонимии и омонимии основ

3. МА методом логического умножения (Варга)

Каждой морфеме сопоставляется информация, полученная в результате объединения информации о словоформах, в которые входит данная морфема. Информация о словоформе получается как пересечение или логическая конъюнкция (&) информации о морфемах. входящих в данную словоформу.  Тем самым функция. определенная на множестве словоформ. заменяется на функцию, определенную на множестве морфем.  Такой анализ производится при наличии словаря основ и применяется к флективным языкам. каждой букве соответствует булевый вектор (есть 1, нет 0).  перемножая эти векторы выходят на категорию.

4. независимый МА без словаря словоформ.

Максимальное использование информации о флексиях во флективных языках. выделяются грамматические морфемы (флексии, предлоги, союзы, знаки препинания между словами - все элементы. передающие связи слов во фразе.

Группа флексий, характеризующаяся одинаковым набором грамм. отношений. которые они могут передавать, образует морфему.

флексии, входящие в одну морфему, называются алломорфами, т.е. морфемными синонимами.  Задача алгоритма состоит в том, чтобы по взаимному расположению алломорфов отнести каждую флексию к ее морфеме.  С этой целью строятся специальные словари: словари флексий, словари слов, не несущих грамм. инф. (наречий и т.п.).  Способ имеет ограниченной применение.


 

А также другие работы, которые могут Вас заинтересовать

81196. Конфуцианство и его роль в жизни китайского общества 23.48 KB
  Основатель Кунцзы или Конфуций. Конфуций жил в эпоху крупных социальных и политических потрясений: гибла власть чжоуского правителя нарушались патриархальнородовые нормы разрушался сам институт государства. Конфуций заимствовал первобытные верования: культ умерших предков культ Земли и почитание древними китайцами своего верховного божества и легендарного первопредка Шанди. Конфуций был обожествлен а учение превратилось в религию.
81198. Синтоизм как национальная религия Японии 24.16 KB
  Императорский двор стал руководить деятельностью главных синтоистских храмов; наиболее важные обряды стал совершать император объявленный в 7 в. буддизм играл преобладающую роль в религиозной жизни страны многие японцы стали исповедовать две религии. постепенно стал восстанавливать своё влияние и несколько модернизировал своё учение.
81199. Вероучение и культ синтоизма 22.07 KB
  Священными книгами синтоизма считаются Кодзики и Нихон секи. Кодзики содержит мифы космогонического и героического характера. Нихон секи представляет собой в основном японские исторические хроники есть там и мифы о происхождении мира и Японии частично повторяющие сюжеты Кодзики.
81200. Специфика зороастризма 22.95 KB
  Выделяют два самых важных божества: Ахура – Мазда светлое божество олицетворявшее мудрость правду и Ангра – Манью тёмный бог. прежде всего почитался АхураМазда осознававшийся как Богтворец воплощение и носитель блага. Демонов противостоящих ахурам возглавляет главный носитель зла АнхраМанью. Борьба Ахура Мазды и Анхра Манью изначальна бескомпромиссна и каждый человек должен занять свою личную позицию в ней.
81201. История формирования иудаизма 26.17 KB
  Выделяют различные периоды формирования и развития иудаизма. Возникновение иудаизма как религии принято связывать с именем Моисея получивший на горе Синай через Откровение десять заповедей образовавших основу монотеизма и религиозной этики. формируются основные черты иудаизма: строгий монотеизм централизация культа канонизация священных книг появлению веры в сверхъестественную помощь для освобождения от угнетателей и веры в избавителямессию.
81202. Догматы и культ иудаизма 26.33 KB
  Центральная доктрина иудаизма вера в единого Бога который бессмертен вечен всемогущ вездесущ и безграничен. В соответствии с нормами иудаизма верующий поддерживает связь с Богом через молитву а божья воля открывается человеку через Танах.
81203. Структура Ветхого завета в иудаизме 22.12 KB
  Книги Ветхого Завета были написаны в период с XIII по I в. Ветхий Завет состоит из следующих книг: 1 Книги закона Тора Учение или Пятикнижие Моисеево составление книг приписывается Моисею: Бытие сотворение мира и человека рай первые люди грехопадение размножение человечества всемирный потоп Ной патриархи родоначальники еврейского народа Авраам Исаак Иаков Иосиф с братьями поселение евреев в Египте; Исход Моисей 10 заповедей освобождение из плена; Левит религиозное законодательство; Числа законодательство и...
81204. Формирование ислама. Жизнь и деятельность Мухаммеда 25.03 KB
  Жизнь и деятельность Мухаммеда. Политическое и религиозное движение возглавил пророк Мухаммед. Мухаммед родился в 570 г. Мать Амина по обычаю мекканцев отдала Мухаммеда кормилицебедуинке у которой он рос до 5 лет.