75857

Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах

Доклад

Иностранные языки, филология и лингвистика

Целесообразность создания текстовых корпусов объясняется: представлением лингвистических данных в реальном контексте; достаточно большой представительностью данных при большом объёме корпуса; возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач. Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из...

Украинкский

2015-01-26

34.09 KB

4 чел.

18, 38. Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах.

Корпусная лингвистика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов. Термин введён в употребление в 60-х годах XX века в связи с развитием практики создания корпусов, которому начиная с 80-х способствовало развитие вычислительной техники.

Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).

Целесообразность создания текстовых корпусов объясняется:

  1.  представлением лингвистических данных в реальном контексте;
  2.  достаточно большой представительностью данных (при большом объёме корпуса);
  3.  возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач.

Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из корпусов; – обработка информации; – проверка и интерпретация обработанных данных. Первые две ступени полностью алгоритмизированы, третья является спорной.

По мнению В.В. Рыкова, главной целью корпусной лингвистики являются: – лингвистическое описание языковой системы (подход от конкретного изучения коммуникации людей), – особый способ отражения речевого материала в корпусе текстов, который может использоваться в свою очередь другими лингвистическими дисциплинами.

Проблемная область. Под проблемной областью понимается область реализаций языковой системы, содержащая феномены, подлежащие лингвистическому описанию. Проблемная область для конкретного корпуса данных может быть сколь угодно велика или мала — все определяется выбранным объектом анализа. Существенно иметь в виду, что в идеале проблемная область имеет два измерения — языковое и речевое. Речевое представлено речевыми высказываниями (реализациями), а языковое измерение проявляется в существовании потенциальной возможности появления других употреблений, дополняющих массив имеющихся реализаций. Как правило, в корпусной лингвистике языковой аспект фактически игнорируется, поскольку изначально фиксируется область привлекаемых данных — реализаций языковой системы. Это совершенно естественно, поскольку вряд ли возможно зафиксировать, собрать «потенцию», «возможность». Однако для регулярно изменяемых корпусов данных языковой аспект проблемной области сразу «вылезает» при разработке принципов модификации корпуса. Кроме того, для лингвистического исследования (кроме специально оговариваемых случаев) в центре внимания стоит именно языковое измерение, поскольку его следует реконструировать в результате анализа.

С чисто практической точки зрения проблемная область чаще всего предстает перед разработчиком корпуса как множество данных, обработка которых затруднена из-за того, что языковых реализаций слишком много.

Корпус данных. Корпус данных представляет собой сформированную по определенным правилам выборку данных из проблемной области. Тем самым корпус данных представляет собой результат отображения из проблемной области. В отличие от проблемной области, корпус данных имеет только одно измерение — речевое, поскольку сам по себе он не обладает потенцией производства своих составляющих.

Корпус текстов. Корпус текстов — это вид корпуса данных, единицами которого являются тексты или их достаточно значительные фрагменты, включающие, например, какие-то полные фрагменты макроструктуры текстов данной проблемной области.

В зависимости от поставленной цели выделяют несколько типов корпусов текстов: 1. по форме хранения: – в звуковой форме; – письменные; – смешанные; 2. по языку представления текстов: – одноязычные; – многоязычные; 3. по жанровой принадлежности: – литературные; – диалектные; – разговорные; – публицистические; – смешанные; 4. по способам доступа: – свободно доступные; – коммерческие; – закрытые; 5. по назначению: – исследовательские; – иллюстративные; 6. по динамичности: – динамические (мониторные); – статические; 7. по наличию дополнительной информации: – аннотированные (размеченные); – неразмеченные. 

Принципи розмітки текстів у лінгвістичних корпусах.

Типы корпусной разметки

Для выполнения многих перечисленных выше задач мало лишь наличие корпуса как такового. Требуется также, чтобы текст содержал в себе явным образом разного рода лингвистическую информацию. Так в корпусной лингвистике возникла идея размеченного корпуса.

Лингвистическая разметка подразумевает присвоение словам особых кодов. Каждому коду соответствует определенный набор грамматических признаков, характеризующих данное слово. Коды также известны как тэги (от англ. tag – ярлык, метка), а сам процесс приписывания словам тэгов соответственно имеет название тэггинг (от англ. tagging).

В настоящее время не существует общепризнанных стандартов представления лингвистической и других видов информации в текстах. Специальный международный проект Text Encoding Initiative (TEI) предназначен для того, чтобы разработать стандартизированные средства разметки. Для этого применяется уже общепризнанный международный язык разметки документов SGML или его подмножество XML. Типы разметки, которые может содержать корпус, можно условно подразделить на лингвистические и внешне лингвистические.

К внешне лингвистическим относятся:

- разметка, отражающая особенности форматирования текста (заголовки, абзацы, отступы и т.д.);

- разметка, касающаяся сведений об авторе и тексте. Причем сведения об авторе могут включать не только его имя, но также и возраст, пол, годы жизни и многое другое, а сведения о тексте обычно содержат, кроме названия, еще и язык, на котором он написан, год и место издания и т.д.

Среди лингвистических типов разметки выделяются:

  1.  Морфологическая– частеречная разметка, в действительности она включает не только признак части речи, но и признаки грамматических категорий, свойственных данной части речи. Это основной тип разметки в текстах, он рассматривается как основа для дальнейших этапов анализа – синтаксического и семантического.
  2.  Синтаксическая. Является результатом синтаксического анализа или парсинга (от англ. parsing). Чаще всего в его основе лежит грамматика структур непосредственно составляющих. На синтаксическом уровне, как и на морфологическом, проявляется тенденция к меньшей детализации схем грамматической разметки в целях увеличения скорости и последовательности анализа текста.
  3.  Семантическая - для ее представления используют код, состоящий из букв и цифр или только цифр, в котором первая буква или цифра обозначает общую семантическую категорию, в которую входит данное слово, а последующие символы – более узкие подкатегории, специализирующие его значение.
  4.  Анафорическая. Призвана правильно определялась референцию местоимений-заместителей.
  5.  Просодическая. В корпусах затранскрибированной звучащей речи применяются метки, описывающие ударение и интонацию. Просодической часто сопутствует так называемая дискурсная разметка, которая служит для обозначения пауз хезитации, повторов, оговорок и т. д.

Проблема разметки

К первичной разметке текстов относятся этапы, обязательные для каждого корпуса:

  1.   токенизация (разбиение на орфографические слова)
  2.  лемматизация (приведение словоформ к словарной форме)
  3.  морфологический анализ 

Токенизация – это когда в тексте выделяются слова, числа, и другие токены. Например, нахождение границ предложений.

Лемматиза́ция — процесс привода словоформы к лемме — её нормальной (словарной) форме.

Морфологический анализ - определение морфологических характеристик слова.


 

А также другие работы, которые могут Вас заинтересовать

36909. Кластерный анализ. Агломеративные методы 16.97 KB
  В качестве выбора нового расстояния между кластерами рассмотреть: 1Метод дальнего соседа 2Метод ближнего соседа. 3 Используем метод дальнего соседа. 4 Используем метод ближнего соседа. Решение поставленной задачи: 1Центрируем и нормируем: 2Рассчитаем матрицу расстояний: 1 2 3 4 5 6 Далее поскольку матрицы будут симметричными будут записаны полученные данные только над главной диагональю 3По методу...
36910. МОДЕЛИРОВАНИЕ ЗВЕНЬЕВ АВТОМАТИЧЕКСКИХ СИСТЕМ 346.5 KB
  1 Безынерционное звено Рис. 2 Интегрирующее звено Рис. 3 Апериодическое звено 1 порядка Рис. 4 Колебательное звено Переходные ht и передаточные Wp характеристики звеньев имеют вид: Безынерционное звено Wp=k Интегрирующее звено Wp=k p Апериодическое звено Wp=k Tp1 Колебательное звено Wp=k1 T2p22k2Tp1...
36911. Файлы и папки 185 KB
  Скопируйте этот файл с заданием в свою сетевую папку на studdc1 Загрузить программу Проводник. Создайте на своем рабочем столе структуру папок: Для этого щелкните правой кнопкой мыши для вызова контекстного меню выберите команду Создать Папку. Откройте текстовый файл и наберите текст: Переместите файл МОЙ ТЕКСТ в папку SUB. В любой папке доступной на Вашем компьютере выберите три файла вразброс используя для выделения клавишу Ctrl и скопируйте их в папку SUB.
36912. Операционная система MS DOS, конфигурирование и настройка 58.5 KB
  ОС MSDOS – основные системные команды. Системные команды MS DOS MSDOS сокр. MSDOS – самая известная ОС из семейства DOS ранее устанавливаемая на большинство PCсовместимых компьютеров.
36913. Исследование характеристик ТТЛ элемента 49.5 KB
  Исследование характеристик ТТЛ элемента. Цель лабораторной работы: исследовать основные свойства стандартного ТТЛ элемента переходную характеристику входную характеристику и выходные характеристики. На рабочем столе собрать принципиальную электрическую схему логического элемента ТТЛ. На вход элемента подключить источник напряжения изменяющегося по треугольному закону.
36914. Выделение и перемещение фрагментов изображения, кадрирование изображений 158.5 KB
  dobe Photoshop Тема: Выделение и перемещение фрагментов изображения кадрирование изображений Цель: приобрести навыки работы с инструментами выделения фрагментов изображений научиться перемещать и копировать выделенные фрагменты. Краткие теоретические сведения В данном уроке используются следующие инструменты: Инструмент Zoom Масштаб позволяет получать изображение на экране в увеличенном или в уменьшенном виде. Инструмент Crop Рамка позволяет выделить прямоугольный фрагмент изображения и удалить ту его часть которая осталась за...
36915. КОМПЬЮТЕРНАЯ СИСТЕМА PROJECT EXPERT. ФОРМИРОВАНИЕ ФИНАНСОВОЙ МОДЕЛИ ПРОЕКТА 47.5 KB
  ФОРМИРОВАНИЕ ФИНАНСОВОЙ МОДЕЛИ ПРОЕКТА Цель: изучить систему команд Project Expert формирования финансовой модели инвестиционного проекта для предприятия. Построив с помощью Project Expert финансовую модель собственного предприятия или инвестиционного проекта можно получить такие возможности: разработать детальный финансовый план и определить потребность в денежных средствах на перспективу; определить схему финансирования предприятия оценить возможность и эффективность привлечения денежных средств из различных источников; разработать...
36916. Структура управления регионального международного аеропорта (РМА) 55 KB
  Непосредственно генеральному директору аэропорта подчиняются его замы и директора по направлениям а также самостоятельные структурные подразделения и службы. Типовая структура РМА представлена на схеме: Деятельность отдельных подразделений и служб аэропорта Основные функции службы качества: 1. разработка перспективных направлений повышения качества услуг авиакомпаниям и клиентам аэропорта; 2.
36917. Исследование статической и динамической характеристики термопары 188 KB
  Исследование статической и динамической характеристики термопары. Ознакомиться со схемами включения измерительного прибора в цепь термопары. Экспериментально получить статическую и динамическую характеристики термопары. Определить математическую модель термопары.