23602

Автоматический морфологический анализ. Соотношение словаря и анализа

Доклад

Иностранные языки, филология и лингвистика

Автоматический морфологический анализ. Соотношение словаря и анализа. Автоматический морфологический анализ АМА анализ отдельно взятой словоформы и всех тех сведений которые из нее можно извлечь безотносительно к тому относятся ли эти сведения к морфологии или нет. АМА определяется двумя факторами: 1 тип ЕЯ подвергаемого анализу 2 тип алгоритма авт.

Русский

2013-08-16

12.5 KB

7 чел.

2. Автоматический морфологический анализ.  Соотношение словаря и анализа.

Автоматический морфологический анализ (АМА)- анализ отдельно взятой словоформы и всех тех сведений, которые из нее можно извлечь безотносительно к тому, относятся ли эти сведения к морфологии или нет.

АМА определяется двумя факторами:

1) тип ЕЯ, подвергаемого анализу

2) тип алгоритма авт. обработки текста

МА начинается с поиска входного слова в словаре и с членения словоформы на составляющие ее морфемы.

Общая схема морфологического анализа:

1. Общие правила (управляющий алгоритм

2. Список (таблицы) суффиксов

3. Список (таблицы) информации к суффиксам

4. Список нестандартных операций (нестандартная запись)

5. Обработка омонимичных основ

Важен тип входного словаря. Учитывая  связь МА со словарем можно выделить следующие группы МА:

1. морфологический анализ со словарем словоформ: каждой словоформе приписывается определенная информация (слово отыскивается. информация извлекается)

2. морфологический анализ со словарем основ (проблемы: анализ найденных в словаре форм, как отождествить разные словоформы одного и того же слова)

сравнение словоформы на полное совпадение  -> нет -> словоформа = основа + окончание. В задачу МА входит разрешение синонимии и омонимии основ

3. МА методом логического умножения (Варга)

Каждой морфеме сопоставляется информация, полученная в результате объединения информации о словоформах, в которые входит данная морфема. Информация о словоформе получается как пересечение или логическая конъюнкция (&) информации о морфемах. входящих в данную словоформу.  Тем самым функция. определенная на множестве словоформ. заменяется на функцию, определенную на множестве морфем.  Такой анализ производится при наличии словаря основ и применяется к флективным языкам. каждой букве соответствует булевый вектор (есть 1, нет 0).  перемножая эти векторы выходят на категорию.

4. независимый МА без словаря словоформ.

Максимальное использование информации о флексиях во флективных языках. выделяются грамматические морфемы (флексии, предлоги, союзы, знаки препинания между словами - все элементы. передающие связи слов во фразе.

Группа флексий, характеризующаяся одинаковым набором грамм. отношений. которые они могут передавать, образует морфему.

флексии, входящие в одну морфему, называются алломорфами, т.е. морфемными синонимами.  Задача алгоритма состоит в том, чтобы по взаимному расположению алломорфов отнести каждую флексию к ее морфеме.  С этой целью строятся специальные словари: словари флексий, словари слов, не несущих грамм. инф. (наречий и т.п.).  Способ имеет ограниченной применение.


 

А также другие работы, которые могут Вас заинтересовать

10316. Общество - это продукт совметной историчсекой деятельности дюдей 18.99 KB
  Общество это продукт совместной исторической деятельности людей совокупность общественных связей отношений и компонентов особый тип надындивидуальной и надприродной системной организации. Общество представляет собой специфическую систему включающую множество э...
10317. Предмет и функции философии, Философские дисциплины 27.54 KB
  Философия есть определенная способность думать о вечных вопросах, о человеческой жизни и смерти, о предназначении человека, и в таком своем качестве она возникла вместе с появлением человеческого рода, Философия имеет дело с предельными, вековечными вопросами.
10318. Мировоззренческая, методологическая, рефлексивно–критическая и интегративная функция философии 26.11 KB
  Содержание Введение 1. Предмет философии. Место философии в системе наук и культуре 2. Основные разделы философии 3. Мировоззренческая методологическая рефлексивно–критическая и интегративная функция философии Заключение Список использованной ли...
10319. Гумилев Л.Н. Этногенез и биосфера Земли 47.04 KB
  Тема: Гумилев Л.Н. Этногенез и биосфера Земли. Этнос и популяция. Этнос не популяция. Начать свой доклад я бы хотел с определения терминов этнос и популяция. Этнос – исторически возникший вид устойчивой социальной группировки людей представленный племенем или народ...
10320. Предмет, задачи, основные категории педагогики и психологии. Формы проявления психики. Связь педагогики и психологии с другими науками. Методология психолого-педагогических дисциплин. Методологическая культура педагога 50.5 KB
  Предмет задачи основные категории педагогики и психологии. Формы проявления психики. Связь педагогики и психологии с другими науками. Методология психологопедагогических дисциплин. Методологическая культура педагога. Педагогика наука изучающая сущность законом
10321. Актуальные задачи российской школы и педагогической и психологической науки 67.5 KB
  Актуальные задачи российской школы и педагогической и психологической науки. Закон РФ Об образовании. Структура и особенности современной системы образования в РФ. Непрерывное образование. Уровни и формы получения образования. Концепция модернизации российского обра...
10322. Психологические и педагогические теории. Теории психики в мировой психологии (психоанализ, бихевиоризм, гештальтпсихология и др.). Взаимосвязь педагогических теорий и систем 31 KB
  Психологические и педагогические теории. Теории психики в мировой психологии психоанализ бихевиоризм гештальтпсихология и др.. Взаимосвязь педагогических теорий и систем. Педагогическая наука – это отрасль специфической деятельности связанная обучением и познани
10323. Личность, ее социальная и биологическая сущность. Понятие об индивидуальном развитии личности, его факторах и движущих силах 43.5 KB
  Личность ее социальная и биологическая сущность. Понятие об индивидуальном развитии личности его факторах и движущих силах. Специфика виды функции психологопедагогической диагностики и ее место в процессе формирования личности. Личность – человек как представител...
10324. Javacript является интерпретируемым языком для документов HTML 25.94 KB
  Лабораторная работа № 8. Javacript является интерпретируемым языком для документов HTML разработанным фирмой Netscape в сотрудничестве с Sun Mucrosystems. Сценарии scripts выполняются в результате наступления какихлибо событий инициированных действиями пользователя. Программы JavaScript...