75857

Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах

Доклад

Иностранные языки, филология и лингвистика

Целесообразность создания текстовых корпусов объясняется: представлением лингвистических данных в реальном контексте; достаточно большой представительностью данных при большом объёме корпуса; возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач. Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из...

Украинкский

2015-01-26

34.09 KB

4 чел.

18, 38. Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах.

Корпусная лингвистика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов. Термин введён в употребление в 60-х годах XX века в связи с развитием практики создания корпусов, которому начиная с 80-х способствовало развитие вычислительной техники.

Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).

Целесообразность создания текстовых корпусов объясняется:

  1.  представлением лингвистических данных в реальном контексте;
  2.  достаточно большой представительностью данных (при большом объёме корпуса);
  3.  возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач.

Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из корпусов; – обработка информации; – проверка и интерпретация обработанных данных. Первые две ступени полностью алгоритмизированы, третья является спорной.

По мнению В.В. Рыкова, главной целью корпусной лингвистики являются: – лингвистическое описание языковой системы (подход от конкретного изучения коммуникации людей), – особый способ отражения речевого материала в корпусе текстов, который может использоваться в свою очередь другими лингвистическими дисциплинами.

Проблемная область. Под проблемной областью понимается область реализаций языковой системы, содержащая феномены, подлежащие лингвистическому описанию. Проблемная область для конкретного корпуса данных может быть сколь угодно велика или мала — все определяется выбранным объектом анализа. Существенно иметь в виду, что в идеале проблемная область имеет два измерения — языковое и речевое. Речевое представлено речевыми высказываниями (реализациями), а языковое измерение проявляется в существовании потенциальной возможности появления других употреблений, дополняющих массив имеющихся реализаций. Как правило, в корпусной лингвистике языковой аспект фактически игнорируется, поскольку изначально фиксируется область привлекаемых данных — реализаций языковой системы. Это совершенно естественно, поскольку вряд ли возможно зафиксировать, собрать «потенцию», «возможность». Однако для регулярно изменяемых корпусов данных языковой аспект проблемной области сразу «вылезает» при разработке принципов модификации корпуса. Кроме того, для лингвистического исследования (кроме специально оговариваемых случаев) в центре внимания стоит именно языковое измерение, поскольку его следует реконструировать в результате анализа.

С чисто практической точки зрения проблемная область чаще всего предстает перед разработчиком корпуса как множество данных, обработка которых затруднена из-за того, что языковых реализаций слишком много.

Корпус данных. Корпус данных представляет собой сформированную по определенным правилам выборку данных из проблемной области. Тем самым корпус данных представляет собой результат отображения из проблемной области. В отличие от проблемной области, корпус данных имеет только одно измерение — речевое, поскольку сам по себе он не обладает потенцией производства своих составляющих.

Корпус текстов. Корпус текстов — это вид корпуса данных, единицами которого являются тексты или их достаточно значительные фрагменты, включающие, например, какие-то полные фрагменты макроструктуры текстов данной проблемной области.

В зависимости от поставленной цели выделяют несколько типов корпусов текстов: 1. по форме хранения: – в звуковой форме; – письменные; – смешанные; 2. по языку представления текстов: – одноязычные; – многоязычные; 3. по жанровой принадлежности: – литературные; – диалектные; – разговорные; – публицистические; – смешанные; 4. по способам доступа: – свободно доступные; – коммерческие; – закрытые; 5. по назначению: – исследовательские; – иллюстративные; 6. по динамичности: – динамические (мониторные); – статические; 7. по наличию дополнительной информации: – аннотированные (размеченные); – неразмеченные. 

Принципи розмітки текстів у лінгвістичних корпусах.

Типы корпусной разметки

Для выполнения многих перечисленных выше задач мало лишь наличие корпуса как такового. Требуется также, чтобы текст содержал в себе явным образом разного рода лингвистическую информацию. Так в корпусной лингвистике возникла идея размеченного корпуса.

Лингвистическая разметка подразумевает присвоение словам особых кодов. Каждому коду соответствует определенный набор грамматических признаков, характеризующих данное слово. Коды также известны как тэги (от англ. tag – ярлык, метка), а сам процесс приписывания словам тэгов соответственно имеет название тэггинг (от англ. tagging).

В настоящее время не существует общепризнанных стандартов представления лингвистической и других видов информации в текстах. Специальный международный проект Text Encoding Initiative (TEI) предназначен для того, чтобы разработать стандартизированные средства разметки. Для этого применяется уже общепризнанный международный язык разметки документов SGML или его подмножество XML. Типы разметки, которые может содержать корпус, можно условно подразделить на лингвистические и внешне лингвистические.

К внешне лингвистическим относятся:

- разметка, отражающая особенности форматирования текста (заголовки, абзацы, отступы и т.д.);

- разметка, касающаяся сведений об авторе и тексте. Причем сведения об авторе могут включать не только его имя, но также и возраст, пол, годы жизни и многое другое, а сведения о тексте обычно содержат, кроме названия, еще и язык, на котором он написан, год и место издания и т.д.

Среди лингвистических типов разметки выделяются:

  1.  Морфологическая– частеречная разметка, в действительности она включает не только признак части речи, но и признаки грамматических категорий, свойственных данной части речи. Это основной тип разметки в текстах, он рассматривается как основа для дальнейших этапов анализа – синтаксического и семантического.
  2.  Синтаксическая. Является результатом синтаксического анализа или парсинга (от англ. parsing). Чаще всего в его основе лежит грамматика структур непосредственно составляющих. На синтаксическом уровне, как и на морфологическом, проявляется тенденция к меньшей детализации схем грамматической разметки в целях увеличения скорости и последовательности анализа текста.
  3.  Семантическая - для ее представления используют код, состоящий из букв и цифр или только цифр, в котором первая буква или цифра обозначает общую семантическую категорию, в которую входит данное слово, а последующие символы – более узкие подкатегории, специализирующие его значение.
  4.  Анафорическая. Призвана правильно определялась референцию местоимений-заместителей.
  5.  Просодическая. В корпусах затранскрибированной звучащей речи применяются метки, описывающие ударение и интонацию. Просодической часто сопутствует так называемая дискурсная разметка, которая служит для обозначения пауз хезитации, повторов, оговорок и т. д.

Проблема разметки

К первичной разметке текстов относятся этапы, обязательные для каждого корпуса:

  1.   токенизация (разбиение на орфографические слова)
  2.  лемматизация (приведение словоформ к словарной форме)
  3.  морфологический анализ 

Токенизация – это когда в тексте выделяются слова, числа, и другие токены. Например, нахождение границ предложений.

Лемматиза́ция — процесс привода словоформы к лемме — её нормальной (словарной) форме.

Морфологический анализ - определение морфологических характеристик слова.


 

А также другие работы, которые могут Вас заинтересовать

33110. Этапы развития систем автоматизации 25.5 KB
  Сегодня мы анализируем уже третье поколение российских автоматизированных бухгалтерских систем. Этот период характеризовался массовым ввозом в нашу страну персональных компьютеров что в значительной степени обусловило выбор последних в качестве основной аппаратной платформы для бухгалтерских разработок. Энтузиастоводиночек и временные трудовые коллективы сменили профессиональные группы специалистов объединившихся в собственные компании которые хотели получать прибыль с продаваемого тиража бухгалтерских программ.
33111. Этическое регулирование деятельности проф.бухгалтеров в России 33 KB
  Инвесторы кредиторы работодатели правительство и население в целом полагаются на профессиональных бухгалтеров в плане достоверного и полного финансового учета и отчетности эффективного финансового управления и компетентных рекомендаций по различным вопросам. Подход и поведение профессиональных бухгалтеров при предоставлении ими таких услуг влияют на экономическое благосостояние всей станы. Профессиональные бухгалтеры смогут оставаться в таком привилегированном положении только в том случае если они попрежнему будут...
33112. Федеральные правила аудиторской деятельности 28.5 KB
  Список заканчивается номером 34 но шестой тринадцатый четырнадцатый и пятнадцатый стандарты утратили силу Правило стандарт N 1. Цель и основные принципы аудита Правило стандарт N 2. Документирование аудита Правило стандарт N 3. Планирование аудита Правило стандарт N 4.
33113. Федеральный закон О бухгалтерском учете 30.5 KB
  Основные требования к ведению бухгалтерского учета. Заключительные положения Основные моменты: Бухгалтерский учет представляет собой упорядоченную систему сбора регистрации и обобщения информации в денежном выражении об имуществе обязательствах организаций и их движении путем сплошного непрерывного и документального учета всех хозяйственных операций. Объектами бухгалтерского учета являются имущество организаций их обязательства и хозяйственные операции осуществляемые организациями в процессе их деятельности. Ответственность за организацию...
33114. Федеральный закон «Об аудиторской деятельности» 35 KB
  2008 N 307ФЗ Статья 1. Аудиторская деятельность Статья 2. Законодательство Российской Федерации и иные нормативные правовые акты которые регулируют аудиторскую деятельность Статья 3. Аудиторская организация Статья 4.
33115. Финансовая система РФ и ее структура 90 KB
  первым классификационным признаком в соответствии с которым все многообразие финансовых отношений подразделяется на составные части является роль субъекта в общественном воспроизводстве в соответствии с чем все финансовые отношения подразделяются на две большие группы называемые сферами финансовой системы финансы субъектов хозяйствования а также государственные и муниципальные финансы. Финансы субъектов хозяйствования при всем своем многообразии обеспечивают процесс производства товаров и оказания услуг постоянного восполнения...
33116. Финансовый механизм как инструмент реализации финансовой политики государства 35.5 KB
  Однако такой механизм верен только частично так как не учитывает все возможности финансового регулирования. Функции финансов реализуются через финансовый механизм представляющий собой часть хозяйственного механизма. Финансовый механизм включает совокупность организационных форм финансовых отношений в народном хозяйстве порядок формирования и использования централизованных и децентрализованных фондов денежных средств методы финансового планирования формы управления финансами и финансовой системой финансовое законодательство.
33117. Куріння та алкоголь 46.8 KB
  Куріння є соціальною проблемою суспільства, як для його кращий, так і для некурящої частини. Для першої - проблемою є кинути палити, для другої - уникнути впливу кращого суспільства...
33118. Экологическое воспитание в Болгарии между традициями и инновациями 17.99 KB
  Ответственность за судьбу природы воспитывается, а это лучше всего начать с самого раннего детского возраста, когда у ребенка формируются свои ценности, направленные к той самой ответственности за сохранение окружающей среды.