75857

Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах

Доклад

Иностранные языки, филология и лингвистика

Целесообразность создания текстовых корпусов объясняется: представлением лингвистических данных в реальном контексте; достаточно большой представительностью данных при большом объёме корпуса; возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач. Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из...

Украинкский

2015-01-26

34.09 KB

4 чел.

18, 38. Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах.

Корпусная лингвистика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов. Термин введён в употребление в 60-х годах XX века в связи с развитием практики создания корпусов, которому начиная с 80-х способствовало развитие вычислительной техники.

Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).

Целесообразность создания текстовых корпусов объясняется:

  1.  представлением лингвистических данных в реальном контексте;
  2.  достаточно большой представительностью данных (при большом объёме корпуса);
  3.  возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач.

Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из корпусов; – обработка информации; – проверка и интерпретация обработанных данных. Первые две ступени полностью алгоритмизированы, третья является спорной.

По мнению В.В. Рыкова, главной целью корпусной лингвистики являются: – лингвистическое описание языковой системы (подход от конкретного изучения коммуникации людей), – особый способ отражения речевого материала в корпусе текстов, который может использоваться в свою очередь другими лингвистическими дисциплинами.

Проблемная область. Под проблемной областью понимается область реализаций языковой системы, содержащая феномены, подлежащие лингвистическому описанию. Проблемная область для конкретного корпуса данных может быть сколь угодно велика или мала — все определяется выбранным объектом анализа. Существенно иметь в виду, что в идеале проблемная область имеет два измерения — языковое и речевое. Речевое представлено речевыми высказываниями (реализациями), а языковое измерение проявляется в существовании потенциальной возможности появления других употреблений, дополняющих массив имеющихся реализаций. Как правило, в корпусной лингвистике языковой аспект фактически игнорируется, поскольку изначально фиксируется область привлекаемых данных — реализаций языковой системы. Это совершенно естественно, поскольку вряд ли возможно зафиксировать, собрать «потенцию», «возможность». Однако для регулярно изменяемых корпусов данных языковой аспект проблемной области сразу «вылезает» при разработке принципов модификации корпуса. Кроме того, для лингвистического исследования (кроме специально оговариваемых случаев) в центре внимания стоит именно языковое измерение, поскольку его следует реконструировать в результате анализа.

С чисто практической точки зрения проблемная область чаще всего предстает перед разработчиком корпуса как множество данных, обработка которых затруднена из-за того, что языковых реализаций слишком много.

Корпус данных. Корпус данных представляет собой сформированную по определенным правилам выборку данных из проблемной области. Тем самым корпус данных представляет собой результат отображения из проблемной области. В отличие от проблемной области, корпус данных имеет только одно измерение — речевое, поскольку сам по себе он не обладает потенцией производства своих составляющих.

Корпус текстов. Корпус текстов — это вид корпуса данных, единицами которого являются тексты или их достаточно значительные фрагменты, включающие, например, какие-то полные фрагменты макроструктуры текстов данной проблемной области.

В зависимости от поставленной цели выделяют несколько типов корпусов текстов: 1. по форме хранения: – в звуковой форме; – письменные; – смешанные; 2. по языку представления текстов: – одноязычные; – многоязычные; 3. по жанровой принадлежности: – литературные; – диалектные; – разговорные; – публицистические; – смешанные; 4. по способам доступа: – свободно доступные; – коммерческие; – закрытые; 5. по назначению: – исследовательские; – иллюстративные; 6. по динамичности: – динамические (мониторные); – статические; 7. по наличию дополнительной информации: – аннотированные (размеченные); – неразмеченные. 

Принципи розмітки текстів у лінгвістичних корпусах.

Типы корпусной разметки

Для выполнения многих перечисленных выше задач мало лишь наличие корпуса как такового. Требуется также, чтобы текст содержал в себе явным образом разного рода лингвистическую информацию. Так в корпусной лингвистике возникла идея размеченного корпуса.

Лингвистическая разметка подразумевает присвоение словам особых кодов. Каждому коду соответствует определенный набор грамматических признаков, характеризующих данное слово. Коды также известны как тэги (от англ. tag – ярлык, метка), а сам процесс приписывания словам тэгов соответственно имеет название тэггинг (от англ. tagging).

В настоящее время не существует общепризнанных стандартов представления лингвистической и других видов информации в текстах. Специальный международный проект Text Encoding Initiative (TEI) предназначен для того, чтобы разработать стандартизированные средства разметки. Для этого применяется уже общепризнанный международный язык разметки документов SGML или его подмножество XML. Типы разметки, которые может содержать корпус, можно условно подразделить на лингвистические и внешне лингвистические.

К внешне лингвистическим относятся:

- разметка, отражающая особенности форматирования текста (заголовки, абзацы, отступы и т.д.);

- разметка, касающаяся сведений об авторе и тексте. Причем сведения об авторе могут включать не только его имя, но также и возраст, пол, годы жизни и многое другое, а сведения о тексте обычно содержат, кроме названия, еще и язык, на котором он написан, год и место издания и т.д.

Среди лингвистических типов разметки выделяются:

  1.  Морфологическая– частеречная разметка, в действительности она включает не только признак части речи, но и признаки грамматических категорий, свойственных данной части речи. Это основной тип разметки в текстах, он рассматривается как основа для дальнейших этапов анализа – синтаксического и семантического.
  2.  Синтаксическая. Является результатом синтаксического анализа или парсинга (от англ. parsing). Чаще всего в его основе лежит грамматика структур непосредственно составляющих. На синтаксическом уровне, как и на морфологическом, проявляется тенденция к меньшей детализации схем грамматической разметки в целях увеличения скорости и последовательности анализа текста.
  3.  Семантическая - для ее представления используют код, состоящий из букв и цифр или только цифр, в котором первая буква или цифра обозначает общую семантическую категорию, в которую входит данное слово, а последующие символы – более узкие подкатегории, специализирующие его значение.
  4.  Анафорическая. Призвана правильно определялась референцию местоимений-заместителей.
  5.  Просодическая. В корпусах затранскрибированной звучащей речи применяются метки, описывающие ударение и интонацию. Просодической часто сопутствует так называемая дискурсная разметка, которая служит для обозначения пауз хезитации, повторов, оговорок и т. д.

Проблема разметки

К первичной разметке текстов относятся этапы, обязательные для каждого корпуса:

  1.   токенизация (разбиение на орфографические слова)
  2.  лемматизация (приведение словоформ к словарной форме)
  3.  морфологический анализ 

Токенизация – это когда в тексте выделяются слова, числа, и другие токены. Например, нахождение границ предложений.

Лемматиза́ция — процесс привода словоформы к лемме — её нормальной (словарной) форме.

Морфологический анализ - определение морфологических характеристик слова.


 

А также другие работы, которые могут Вас заинтересовать

78649. Экономические методы управления 32 KB
  Экономические методы управления. Методы управления совокупность способов и приемов воздействия субъекта управления посредством своей дельности на управляемый объект для достижения поставленной цели. Методы управления классифицируются по многочисленным признакам. Их соотношение отражает характерные черты стиля управления.
78650. Организация антикризисного управления предприятием 47 KB
  Организация антикризисного управления предприятием. Главная задача антикризисного управления выработка наименее рисковых управленческих решений которые позволили бы достичь поставленной цели и результата с минимумом дополнительных средств и при минимальных негативных последствиях. 2 Разработка концепции преодоления кризиса Ниже указаны этапы разработки концепции преодоления кризиса: ознакомление со стратегическим планом развития предприятия для уточнения целей и задач антикризисного управления; налаживание межрегиональных отношений...
78651. Характеристика организационных структур управления 44.5 KB
  Графически чаще всего изображается в виде иерархической диаграммы показывающей состав подчиненность и связи структурных единиц организации. Основы линейных структур составляет так называемый шахтный принцип принцип колодца построения и специализация управленческого процесса по функциональным подсистемам организации маркетинг производство исследования и разработки финансы персонал и т. При этом конечный результат – эффективность и качество работы организации в целом – становится как бы второстепенным так как считается что все...
78652. Услуги, их специфические черты. Основные виды 34.5 KB
  Услуги их специфические черты. Услуги действия направленные непосредственно на потребителя. Услуги виды деятельности в процессе выполнения которых не создается новый материальновещественный продукт но изменяется качество имеющегося продукта. Услуги блага предоставляемые в форме деятельности.
78653. Рынок услуг, механизм его функционирования и регулирования 26.5 KB
  Рынок услуг механизм его функционирования и регулирования. Рынок услуг сфера обращения или совокупность актов куплипродажи различных видов деятельности удовлетворяющие потребности отдельного человека группы людей организаций. Рынок нематериальных услуг как совокупность социальноэкономических институтов – это набор субъектов хозяйствования связей отношений норм социальноэкономической жизни которые имеют устойчивый характер и сохраняются в течение длительного времени. На рынке нематериальных услуг проявляются экономические отношения...
78654. Направления развития сферы услуг в современных условиях 35 KB
  Направления развития сферы услуг в современных условиях. Рынок услуг сфера обращения или совокупность актов куплипродажи различных видов деятельности удовлетворяющие потребности отдельного человека группы людей организаций. Рынок нематериальных услуг как совокупность социальноэкономических институтов – это набор субъектов хозяйствования связей отношений норм социальноэкономической жизни которые имеют устойчивый характер и сохраняются в течение длительного времени. На рынке нематериальных услуг проявляются экономические отношения...
78655. Регион как территориальный социально-экономический комплекс. Основные характеристики 28.5 KB
  Она исследует экономические явления и процессы связанные с рыночным развитием хозяйства отдельных регионов и их включением в единое экономическое пространство России. Основные черты : узкая специализация регионов с доминированием какоголибо одного комплекса: рыбопромышленного мясомолочного военнопромышленного и т. Типы проблемных регионов: слаборазвитые хронически отстают от среднероссийского уровня экон.
78656. Устойчивое развитие регионов как фактор стабильности национальной экономики 76 KB
  Национальная экономика – совокупность сфер и отраслей народного хозяйства страны. Основой национальной экономики является общественное воспроизводство (единый процесс возобновления материальных благ, производственных отношений и рабочей силы).
78657. Налоговое бремя экономики и его измерение 31.5 KB
  Проблема тяжести налогового бремени волнует различных агентов хозяйственной деятельности: государство как субъект управления хозяйственной деятельностью на своей территории и перераспределения доходов от нее в виде налогов в пользу прочих элементов государственной и социальной жизнедеятельности; организации и предприятия как объекты управляющего воздействия государства и субъекты собственно предпринимательской деятельности обеспечивающие формирование источника предпринимательского дохода и соответственно налогооблагаемой базы; ...