75857

Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах

Доклад

Иностранные языки, филология и лингвистика

Целесообразность создания текстовых корпусов объясняется: представлением лингвистических данных в реальном контексте; достаточно большой представительностью данных при большом объёме корпуса; возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач. Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из...

Украинкский

2015-01-26

34.09 KB

4 чел.

18, 38. Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах.

Корпусная лингвистика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов. Термин введён в употребление в 60-х годах XX века в связи с развитием практики создания корпусов, которому начиная с 80-х способствовало развитие вычислительной техники.

Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).

Целесообразность создания текстовых корпусов объясняется:

  1.  представлением лингвистических данных в реальном контексте;
  2.  достаточно большой представительностью данных (при большом объёме корпуса);
  3.  возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач.

Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из корпусов; – обработка информации; – проверка и интерпретация обработанных данных. Первые две ступени полностью алгоритмизированы, третья является спорной.

По мнению В.В. Рыкова, главной целью корпусной лингвистики являются: – лингвистическое описание языковой системы (подход от конкретного изучения коммуникации людей), – особый способ отражения речевого материала в корпусе текстов, который может использоваться в свою очередь другими лингвистическими дисциплинами.

Проблемная область. Под проблемной областью понимается область реализаций языковой системы, содержащая феномены, подлежащие лингвистическому описанию. Проблемная область для конкретного корпуса данных может быть сколь угодно велика или мала — все определяется выбранным объектом анализа. Существенно иметь в виду, что в идеале проблемная область имеет два измерения — языковое и речевое. Речевое представлено речевыми высказываниями (реализациями), а языковое измерение проявляется в существовании потенциальной возможности появления других употреблений, дополняющих массив имеющихся реализаций. Как правило, в корпусной лингвистике языковой аспект фактически игнорируется, поскольку изначально фиксируется область привлекаемых данных — реализаций языковой системы. Это совершенно естественно, поскольку вряд ли возможно зафиксировать, собрать «потенцию», «возможность». Однако для регулярно изменяемых корпусов данных языковой аспект проблемной области сразу «вылезает» при разработке принципов модификации корпуса. Кроме того, для лингвистического исследования (кроме специально оговариваемых случаев) в центре внимания стоит именно языковое измерение, поскольку его следует реконструировать в результате анализа.

С чисто практической точки зрения проблемная область чаще всего предстает перед разработчиком корпуса как множество данных, обработка которых затруднена из-за того, что языковых реализаций слишком много.

Корпус данных. Корпус данных представляет собой сформированную по определенным правилам выборку данных из проблемной области. Тем самым корпус данных представляет собой результат отображения из проблемной области. В отличие от проблемной области, корпус данных имеет только одно измерение — речевое, поскольку сам по себе он не обладает потенцией производства своих составляющих.

Корпус текстов. Корпус текстов — это вид корпуса данных, единицами которого являются тексты или их достаточно значительные фрагменты, включающие, например, какие-то полные фрагменты макроструктуры текстов данной проблемной области.

В зависимости от поставленной цели выделяют несколько типов корпусов текстов: 1. по форме хранения: – в звуковой форме; – письменные; – смешанные; 2. по языку представления текстов: – одноязычные; – многоязычные; 3. по жанровой принадлежности: – литературные; – диалектные; – разговорные; – публицистические; – смешанные; 4. по способам доступа: – свободно доступные; – коммерческие; – закрытые; 5. по назначению: – исследовательские; – иллюстративные; 6. по динамичности: – динамические (мониторные); – статические; 7. по наличию дополнительной информации: – аннотированные (размеченные); – неразмеченные. 

Принципи розмітки текстів у лінгвістичних корпусах.

Типы корпусной разметки

Для выполнения многих перечисленных выше задач мало лишь наличие корпуса как такового. Требуется также, чтобы текст содержал в себе явным образом разного рода лингвистическую информацию. Так в корпусной лингвистике возникла идея размеченного корпуса.

Лингвистическая разметка подразумевает присвоение словам особых кодов. Каждому коду соответствует определенный набор грамматических признаков, характеризующих данное слово. Коды также известны как тэги (от англ. tag – ярлык, метка), а сам процесс приписывания словам тэгов соответственно имеет название тэггинг (от англ. tagging).

В настоящее время не существует общепризнанных стандартов представления лингвистической и других видов информации в текстах. Специальный международный проект Text Encoding Initiative (TEI) предназначен для того, чтобы разработать стандартизированные средства разметки. Для этого применяется уже общепризнанный международный язык разметки документов SGML или его подмножество XML. Типы разметки, которые может содержать корпус, можно условно подразделить на лингвистические и внешне лингвистические.

К внешне лингвистическим относятся:

- разметка, отражающая особенности форматирования текста (заголовки, абзацы, отступы и т.д.);

- разметка, касающаяся сведений об авторе и тексте. Причем сведения об авторе могут включать не только его имя, но также и возраст, пол, годы жизни и многое другое, а сведения о тексте обычно содержат, кроме названия, еще и язык, на котором он написан, год и место издания и т.д.

Среди лингвистических типов разметки выделяются:

  1.  Морфологическая– частеречная разметка, в действительности она включает не только признак части речи, но и признаки грамматических категорий, свойственных данной части речи. Это основной тип разметки в текстах, он рассматривается как основа для дальнейших этапов анализа – синтаксического и семантического.
  2.  Синтаксическая. Является результатом синтаксического анализа или парсинга (от англ. parsing). Чаще всего в его основе лежит грамматика структур непосредственно составляющих. На синтаксическом уровне, как и на морфологическом, проявляется тенденция к меньшей детализации схем грамматической разметки в целях увеличения скорости и последовательности анализа текста.
  3.  Семантическая - для ее представления используют код, состоящий из букв и цифр или только цифр, в котором первая буква или цифра обозначает общую семантическую категорию, в которую входит данное слово, а последующие символы – более узкие подкатегории, специализирующие его значение.
  4.  Анафорическая. Призвана правильно определялась референцию местоимений-заместителей.
  5.  Просодическая. В корпусах затранскрибированной звучащей речи применяются метки, описывающие ударение и интонацию. Просодической часто сопутствует так называемая дискурсная разметка, которая служит для обозначения пауз хезитации, повторов, оговорок и т. д.

Проблема разметки

К первичной разметке текстов относятся этапы, обязательные для каждого корпуса:

  1.   токенизация (разбиение на орфографические слова)
  2.  лемматизация (приведение словоформ к словарной форме)
  3.  морфологический анализ 

Токенизация – это когда в тексте выделяются слова, числа, и другие токены. Например, нахождение границ предложений.

Лемматиза́ция — процесс привода словоформы к лемме — её нормальной (словарной) форме.

Морфологический анализ - определение морфологических характеристик слова.


 

А также другие работы, которые могут Вас заинтересовать

28143. Методы психологии труда 173.5 KB
  ПТ пытается решить две основных макрозадачи: 1 повышение производительности и эффективности трудовой деятельности 2 гуманизация трудовой деятельности содействие развитию личности в ней. как регуляторов трудовой деятельности и их развития в деятельности. Изучение основных психических свойств субъекта трудовой деятельности и ее эффективности. Изучение проблемы мотивации трудовой деятельности.
28144. Виды и функции речи 61 KB
  Существуют различные виды речи: речь жестов и звуковая речь письменная и устная речь внутренняя и внешняя речь. Выделять виды речь можно по разным основаниям и благодаря этому подчеркиваются разные стороны речевой деятельности. В зависимости от выявленности речевой деятельности вовне различают внешнюю и внутреннюю речь. Это речь обращенная к другому человеку это речь для другого.
28145. Психологическая готовность ребенка к школьному обучению 26.85 KB
  Вопрос готовности ребёнка к школьному обучению начал решаться с перевода детей на обучение с 6ти лет. Важна задача не снабжения знаниями ребёнка а его развитие. Выделяется 3 аспекта зрелости: интеллектуальный – дифференцированное восприятие концентрация внимания аналитическое мышление способность постигать основные связи между явлениями – способность логического запоминания умение воспринимать образец развитие тонкой моторики и координации; эмоциональный – уменьшение импульсивных реакций возможность длительное время выполнять...
28146. Концепция В. Дильтея 37 KB
  В период открытого кризиса его описательная психология как наука о духе занимала одно из центральных мест. Дильтей считал что господствовавшая психология – атомистическая элементаристическая – не дает адекватной картины духовной жизни человека она строится на объяснительных методах заимствованных из естествознания и как наука о личности должна быть отвергнута. Описательная психология рассматривает также развитие личности каждый этап которого определяется характерной для него ценностью все более возрастающей. Описательная психология по...
28147. Динамика становления психологической культуры у субъектов образования 73.5 KB
  Однако в психологической науке отсутствует целостное представление о данном феномене. Он выделяет следующие компоненты психологической культуры: Презентативный компонент его образует комплекс представлений о природе психики ее возможностях закономерностях функционирования; стереотипы восприятия понимания интерпретации психических феноменов в том числе индивидуальных особенностей психики. Другими авторами выделяются когнитивный процессуально – деятельностный и эмоциональнооценочный компоненты психологической культуры.
28148. Уровни нравственного развития личности (по Колбергу) 128 KB
  Ребёнка любят и он это чувствует. Все потребности ребёнка быстро удовлетворяются. Ребёнок считает что мир – это уютное место а люди любят ребёнка людей можно любить и им можно доверять. 2 готовность ребёнка без тревоги и гнева переносить исчезновение матери из поля зрения.
28149. Личностный смысл болезни 46 KB
  Личностный смысл болезни есть жизненное значение для субъекта обстоятельств болезни в отношении к мотивам его деятельности. Частично смысл задаётся выбранным мифом шаманские болезни особый дар блаженные – в отл от просто болезней. Существует целый спектр типов личностного отношения к болезни: болезнь как враг наказание слабость способ решения жизненных проблем и др.
28150. «Методика преподавания психологии»: чему и как учить 40.5 KB
  Добиться реализации данной цели на лекционных занятиях невозможно курс должен быть лекционносеминарским где на практических занятиях студенты могли бы рассматривать прикладные вопросы практики обучения связанные с сохранением психического здоровья учащихся с созданием благоприятного психологического климата на уроке с возможностями объективного оценивания эффективности образовательного процесса. Однако не учитывая изменения эмоционального состояния ребенка динамику состояния соматического здоровья нельзя судить о качестве учебного...
28151. Проблема психической нормы и патологии 44 KB
  Вопрос определения нормы и патологии является крайне сложным и затрагивает различные сферы человеческой деятельности от медицины и психологии до философии и социологии. Был совершён ряд попыток вывести критерии психической нормы в число которых включали соответствующую возрасту человека зрелость чувств адекватное восприятие действительности наличие гармонии между восприятием явлений и эмоциональным отношением к ним умение уживаться с собой и социальным окружением гибкость поведения критический подход к обстоятельствам жизни наличие...