75857

Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах

Доклад

Иностранные языки, филология и лингвистика

Целесообразность создания текстовых корпусов объясняется: представлением лингвистических данных в реальном контексте; достаточно большой представительностью данных при большом объёме корпуса; возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач. Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из...

Украинкский

2015-01-26

34.09 KB

4 чел.

18, 38. Корпусна лінгвістика: проблемна галузь та корпус даних. Види корпусних текстів. Принципи розмітки текстів у лінгвістичних корпусах.

Корпусная лингвистика — раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов. Термин введён в употребление в 60-х годах XX века в связи с развитием практики создания корпусов, которому начиная с 80-х способствовало развитие вычислительной техники.

Лингвистическим корпусом называют совокупность текстов, собранных в соответствии с определёнными принципами, размеченных по определённому стандарту и обеспеченных специализированной поисковой системой. Иногда корпусом («корпус первого порядка») называют просто любое собрание текстов, объединённых каким-то общим признаком (языком, жанром, автором, периодом создания текстов).

Целесообразность создания текстовых корпусов объясняется:

  1.  представлением лингвистических данных в реальном контексте;
  2.  достаточно большой представительностью данных (при большом объёме корпуса);
  3.  возможностью многократного использования единожды созданного корпуса для решения различных лингвистических задач.

Корпусная лингвистика занимается разработкой общих принципов построения и использования лингвистических корпусов данных с использованием компьютерных технологий. Она использует три приема: – автоматическое извлечение сведений о языке из корпусов; – обработка информации; – проверка и интерпретация обработанных данных. Первые две ступени полностью алгоритмизированы, третья является спорной.

По мнению В.В. Рыкова, главной целью корпусной лингвистики являются: – лингвистическое описание языковой системы (подход от конкретного изучения коммуникации людей), – особый способ отражения речевого материала в корпусе текстов, который может использоваться в свою очередь другими лингвистическими дисциплинами.

Проблемная область. Под проблемной областью понимается область реализаций языковой системы, содержащая феномены, подлежащие лингвистическому описанию. Проблемная область для конкретного корпуса данных может быть сколь угодно велика или мала — все определяется выбранным объектом анализа. Существенно иметь в виду, что в идеале проблемная область имеет два измерения — языковое и речевое. Речевое представлено речевыми высказываниями (реализациями), а языковое измерение проявляется в существовании потенциальной возможности появления других употреблений, дополняющих массив имеющихся реализаций. Как правило, в корпусной лингвистике языковой аспект фактически игнорируется, поскольку изначально фиксируется область привлекаемых данных — реализаций языковой системы. Это совершенно естественно, поскольку вряд ли возможно зафиксировать, собрать «потенцию», «возможность». Однако для регулярно изменяемых корпусов данных языковой аспект проблемной области сразу «вылезает» при разработке принципов модификации корпуса. Кроме того, для лингвистического исследования (кроме специально оговариваемых случаев) в центре внимания стоит именно языковое измерение, поскольку его следует реконструировать в результате анализа.

С чисто практической точки зрения проблемная область чаще всего предстает перед разработчиком корпуса как множество данных, обработка которых затруднена из-за того, что языковых реализаций слишком много.

Корпус данных. Корпус данных представляет собой сформированную по определенным правилам выборку данных из проблемной области. Тем самым корпус данных представляет собой результат отображения из проблемной области. В отличие от проблемной области, корпус данных имеет только одно измерение — речевое, поскольку сам по себе он не обладает потенцией производства своих составляющих.

Корпус текстов. Корпус текстов — это вид корпуса данных, единицами которого являются тексты или их достаточно значительные фрагменты, включающие, например, какие-то полные фрагменты макроструктуры текстов данной проблемной области.

В зависимости от поставленной цели выделяют несколько типов корпусов текстов: 1. по форме хранения: – в звуковой форме; – письменные; – смешанные; 2. по языку представления текстов: – одноязычные; – многоязычные; 3. по жанровой принадлежности: – литературные; – диалектные; – разговорные; – публицистические; – смешанные; 4. по способам доступа: – свободно доступные; – коммерческие; – закрытые; 5. по назначению: – исследовательские; – иллюстративные; 6. по динамичности: – динамические (мониторные); – статические; 7. по наличию дополнительной информации: – аннотированные (размеченные); – неразмеченные. 

Принципи розмітки текстів у лінгвістичних корпусах.

Типы корпусной разметки

Для выполнения многих перечисленных выше задач мало лишь наличие корпуса как такового. Требуется также, чтобы текст содержал в себе явным образом разного рода лингвистическую информацию. Так в корпусной лингвистике возникла идея размеченного корпуса.

Лингвистическая разметка подразумевает присвоение словам особых кодов. Каждому коду соответствует определенный набор грамматических признаков, характеризующих данное слово. Коды также известны как тэги (от англ. tag – ярлык, метка), а сам процесс приписывания словам тэгов соответственно имеет название тэггинг (от англ. tagging).

В настоящее время не существует общепризнанных стандартов представления лингвистической и других видов информации в текстах. Специальный международный проект Text Encoding Initiative (TEI) предназначен для того, чтобы разработать стандартизированные средства разметки. Для этого применяется уже общепризнанный международный язык разметки документов SGML или его подмножество XML. Типы разметки, которые может содержать корпус, можно условно подразделить на лингвистические и внешне лингвистические.

К внешне лингвистическим относятся:

- разметка, отражающая особенности форматирования текста (заголовки, абзацы, отступы и т.д.);

- разметка, касающаяся сведений об авторе и тексте. Причем сведения об авторе могут включать не только его имя, но также и возраст, пол, годы жизни и многое другое, а сведения о тексте обычно содержат, кроме названия, еще и язык, на котором он написан, год и место издания и т.д.

Среди лингвистических типов разметки выделяются:

  1.  Морфологическая– частеречная разметка, в действительности она включает не только признак части речи, но и признаки грамматических категорий, свойственных данной части речи. Это основной тип разметки в текстах, он рассматривается как основа для дальнейших этапов анализа – синтаксического и семантического.
  2.  Синтаксическая. Является результатом синтаксического анализа или парсинга (от англ. parsing). Чаще всего в его основе лежит грамматика структур непосредственно составляющих. На синтаксическом уровне, как и на морфологическом, проявляется тенденция к меньшей детализации схем грамматической разметки в целях увеличения скорости и последовательности анализа текста.
  3.  Семантическая - для ее представления используют код, состоящий из букв и цифр или только цифр, в котором первая буква или цифра обозначает общую семантическую категорию, в которую входит данное слово, а последующие символы – более узкие подкатегории, специализирующие его значение.
  4.  Анафорическая. Призвана правильно определялась референцию местоимений-заместителей.
  5.  Просодическая. В корпусах затранскрибированной звучащей речи применяются метки, описывающие ударение и интонацию. Просодической часто сопутствует так называемая дискурсная разметка, которая служит для обозначения пауз хезитации, повторов, оговорок и т. д.

Проблема разметки

К первичной разметке текстов относятся этапы, обязательные для каждого корпуса:

  1.   токенизация (разбиение на орфографические слова)
  2.  лемматизация (приведение словоформ к словарной форме)
  3.  морфологический анализ 

Токенизация – это когда в тексте выделяются слова, числа, и другие токены. Например, нахождение границ предложений.

Лемматиза́ция — процесс привода словоформы к лемме — её нормальной (словарной) форме.

Морфологический анализ - определение морфологических характеристик слова.


 

А также другие работы, которые могут Вас заинтересовать

68452. Товародвижение на фармацевтическом рынке. Элементы логистики. Организация деятельности оптового звена 30.56 KB
  Вторая часть пути связана с продвижением готовой продукции от производителя до конечного потребителя или пользователя и называется товародвижением. Новый объект который появился в процессе движения продукции стал предметом изучения науки логистики от греч.
68453. История развития информатики 219.5 KB
  Генетически информатика связана с вычислительной техникой, компьютерными системами и сетями, т.к. именно компьютеры позволяют порождать, хранить и автоматически перерабатывать информацию в таких количествах, что научный подход к информационным процессам становится одновременно необходимым и возможным.
68454. Основные положения права СМИ в РФ 19.83 KB
  Осуществление этих свобод, налагающее обязанности и ответственность, может быть сопряжено с определенными формальностями, условиями, ограничениями или санкциями, которые предусмотрены законом и необходимы в демократическом обществе в интересах национальной безопасности...
68455. Теория и практика сестринского дела. Общение с пациентом и его окружением в процессе профессиональной деятельности 1.26 MB
  О сестринском деле говорят, что это самая юная наука и самое древнее искусство. Сестринское дело считалось женской профессией, и самой из всех сестринских специальностей, и самой древней являлась акушерская (в Древней Греции, по определению Гиппократа, акушерки могли быть только рожавшие женщины...
68456. Информационные технологии в производстве текстильных изделий 52.5 KB
  В настоящее время любому специалисту, связанному с проектированием и производством текстильных изделий, приходится иметь дело с огромным объемом данных. С появлением компьютеров задача обработки и хранения данных существенно упростилась. Любые данные, хранимые на компьютере, подразделяются на текстовые и числовые.
68457. Организация оперативного ввода изображений в авиационные геоинформационные комплексы реального времени 1.17 MB
  Одной из основных проблем создания ИГК РВ является проблема оперативного ввода больших массивов видеоинформации в реальном масштабе времени, налагаемых на картографический фон. Эта видеоинформация может быть «набросана» от руки и представляет собой изображение...
68458. История политических учений 95 KB
  Отвергая демократию как форму государства Платон настаивает на необходимости использования ее основных принципов в его модели совершенного государства. Подчинения государства закону регулирования общественной жизни людей писанными нормами права и т.
68459. Становление и развитие политической мысли в России 76.5 KB
  История возникновения политической мысли в России совпадает с этапами становления и развития русской государственности. Она развивалась следуя собственным идеалам обычаям и традициям во взаимосвязи с русской философией закономерностями и тенденциями отечественной политической истории.
68460. ФОРМАТИРОВАНИЕ ДАННЫХ В ЯЧЕЙКАХ 1.36 MB
  Ячейка – это минимальный адресуемый элемент рабочего листа. Ячейка определяется адресом. Кроме этого можно задавать диапазон ячеек. Диапазоном называется группа ячеек. Чтобы задать адрес диапазона нужно указать адреса верхней левой и нижней правой ячейки, разделив их двоеточием.