17476

Документальный информационный поиск в сети Интернет

Лекция

Информатика, кибернетика и программирование

Лекция №9 Документальный информационный поиск в сети Интернет Информационнопоисковые системы Интернет могут быть разделены по функциональноструктурному принципу на следующие классы: полностью распределенные системы где реализуются принципы распределенных вы

Русский

2013-07-01

40.5 KB

3 чел.

Лекция №9 Документальный информационный поиск в сети Интернет

Информационно-поисковые системы Интернет могут быть разделены по функционально-структурному принципу на следующие классы:

полностью распределенные системы, где реализуются принципы распределенных вычислений и хранения данных;

частично распределенные — распределенные данные и локализованная обработка;

локальные системы — локализованные данные и их обработка(см. выше, Weblrbis).

Поисковые задачи в сети Интернет имеют следующие особенности:

/. Огромный объем доступной информации. За последние годы было предпринято множество попыток оценить размер ресурса Интернет, и, хотя оценки не полностью совпадают, все они единогласны в том, что в Интернет содержится более миллиарда страниц и их число увеличивается экспоненциально. Если учесть, что размер среднестатистической страницы составляет 5—10 Кб, объем оценивается в десятках терабайт (10 х 240 байт).

  1.  Высокий процент временной информации. Информация в Интернет очень динамична, информационные ресурсы непрерывно появляются, пропадают, перемещаются, обновляются. В среднем, ежемесячно изменяется около 40 % информации, среднее время жизни половины страниц в Интернет не превышает 10 дней.
  2.  Неконтролируемое качество информации. Отсутствие редакторского контроля над публикуемой информацией в Интернет обуславливает проблему ее качества — информация может быть некорректной (например, устаревшей), ложной, плохо сформулированной, содержать ошибки (опечатки, грамматические ошибки, ошибки оцифровки и т. п.). Так, по некоторым оценкам, одна опечатка
    встречается в среднем в каждых двухстах часто употребляемых словах или в трех иностранных фамилиях.
  3.  Разнородность информации. Кроме различных форматов представления информации, используется также множество различных языков и алфавитов. Около 30 % информации в Интернет составляют точные или приблизительные копии других документов.

В Интернет изменяется понятие типичного пользователя. Имеются следующие различия:

плохо сформулированные запросы. Никто специально не обучает пользователей АИ ПС в Интернет формулировать запросы, и, как следствие, немногие из них используют расширенные возможности поиска, такие, как логические выражения. Более того, типичные запросы очень коротки — более 60 % поисковых запросов в Интернет состоит из 1—2 слов, в то время как в классических АИ ПС — из 7—9 слов;

разнородный контингент. Разнообразие в знаниях, потребностях и ожиданиях пользователей очень велико. Большинство же работающих с классическими ИПС обычно имеет много общих черт;

поведение пользователей. Обычно они не готовы долго ожидать результата или даже искать его в предоставленной системой выборке (58 % не идет дальше первого экрана, а 67 % не предпринимает попыток модифицировать свой первоначальный запрос).

Структура процессов в поисковых системах WWW. Ключевым отличием данных систем от классических АИПС является наличие сетевых роботов программных модулей-агентов, занимающихся сбором информации о доступных WWW-pecypcax. Они осуществляют сканирование и, начиная с некоторого множества ссылок (URL) на WWW-страницы, рекурсивно обходят ресурсы Интернет, извлекая ссылки из получаемых документов до тех пор, пока не будет выполнено некоторое условие остановки.

Собранная информация помещается в хранилище, содержимое которого определяет набор документов, по которым идет поиск.

Как и в классических ИПС, для достижения приемлемой эффективности поиск производится не напрямую по документам в хранилище, а по индексным структурам, за создание которых отвечает модуль индексирования.

Получение и выполнение запросов пользователей — это задача модуля поисковой машины.

При исследовании задачи сканирования возникает ряд вопросов.

1. Выбор WWW-ссылок для индексирования. Обычно робот имеет информацию о существовании множества еще не отсканированных ресурсов и может выбирать, какой из них «посетить» следующим. Этот выбор осуществляется согласно используемой роботом стратегии сканирования, которая напрямую определяет множество страниц, которое будет обработано роботом и, как следствие, какие страницы будут известны поисковой системе.

  1.  Частота обновления индекса. В связи с высокой динамикой изменений в WWW собранная информация о многих посещенных страницах довольно быстро перестает отражать их реальное текущее содержание.
  2.  Минимизация нагрузки на WWW-серверы. Робот не должен перегружать сервер своими запросами или сканировать информацию против воли владельца сервера. Для выражения этих условий может использоваться файл robots.txt, располагающийся в корневом каталоге сервера.
  3.  Организация параллельного сканирования. Одним из способов повышения производительности является параллельный запуск нескольких роботов на разных машинах, но при этом необходим хорошо масштабируемый механизм координации их действий (например, чтобы они одновременно не сканировали один и тот же адрес).

Индексы поисковых систем. Важнейшим отличием поисковых систем для поиска в Интернет от классических систем информационного поиска является необходимость обслуживания всех запросов без реального доступа к ресурсам на момент их выполнения, иначе необходимо либо хранить свежую локальную копию всех ресурсов (что слишком накладно), либо посещать их во время выполнения запроса (что слишком медленно).

Поэтому в системах поиска в Интернет все запросы обслуживаются на основе индекса, содержащего описания известных данной поисковой системе ресурсов.

Хранилище. Хранилище содержит большое количество объектов данных (страниц WWW) и в этом смысле очень похоже на СУБД или файловую систему. Однако многие возможности последних в данном случае не нужны (например, поддержка транзакций или иерархия директорий), зато очень важны такие, как масштабируемость и реализация двух режимов доступа:

произвольного — для того, чтобы быстро найти конкретную страницу по ее идентификатору (например, для создания копии страницы);

потокового — для того, чтобы извлечь значительную часть всей коллекции (например, для индексирования или анализа).

Кроме того, важными являются эффективная поддержка обновлений, сборка «мусора» (устаревших страниц).

Модуль индексирования. Задачей этого модуля является построение необходимых индексов. Кроме текстовых, часто используются индексы, описывающие структуру графа WWW, а также вспомогательные индексы (например, индекс для доступа к страницам по их длине или по количеству используемых графических изображений).

Специфика WWW определяет свои особенности построения текстового индекса для ИПС. В дополнение к традиционным целям — минимизации времени доступа и размера индекса, также важно минимизировать время его создания и обеспечить возможность эффективного обновления.

Поисковая машина. Расширенные возможности поиска имеют малый спрос у пользователей ИПС для WWW. Как следствие, за исключением предикатов, позволяющих наложить условия на входящие/исходящие ссылки, в языках запросов, применяемых в системах в WWW, нет существенных нововведений по сравнению с языками запросов классических ИПС.

Однако простота запросов влечет их низкую селективность, и поэтому очень важной задачей является упорядочивание результатов, так чтобы первыми оказались те результаты, которые, вероятнее всего, интересны пользователю. Классические подходы к ранжированию опираются на меру схожести текстов запроса и документа, но «расплывчатые запросы» пользователей и огромное количество документов значительно понижают эффективность таких подходов в контексте WWW.


 

А также другие работы, которые могут Вас заинтересовать

8055. Тенденции развития современного образования 24.92 KB
  Тенденции развития современного образования Системы образования призваны способствовать реализации основных задач социально - экономического и культурного развития общества, ибо именно школа, вуз готовят человека к активной деятельности в разных сфе...
8056. Национальная система образования РБ 23.12 KB
  Национальная система образования РБ В соответствии с действующим законодательством руководство образованием в Республике Беларусь осуществляют органы государственного управления (законодательство - Верховный Совет республики, исполнение законов...
8057. Процесс обучения, его сущность, структурные компоненты, их характеристика 23.21 KB
  Процесс обучения, его сущность, структурные компоненты, их характеристика. Обучение - это целенаправленный процесс, направленный на формирование личности посредством передачи научных знаний и усвоение культурного опыта общества. Уже в древности...
8058. Закономерности и функции процесса обучения 23.44 KB
  Закономерности и функции процесса обучения Процесс обучения может быть представлен следующими основными функциями: образовательная, воспитательная и развивающая. К функции образования относится овладение учащимися научными знаниями и умениями, а так...
8059. Принципы обучения. Характеристика принципа обучения 25.22 KB
  Принципы обучения. Характеристика принципа обучения Для организации учебного процесса необходимы конкретные указания, которые не содержаться в закономерностях обучения. Практические указания содержатся в принципах и правилах обучения. Дидактические ...
8060. Понятие метод обучения. Различные подходы к классификации 24.46 KB
  Понятие метод обучения. Различные подходы к классификации Сущность обучения состоит во взаимодействии учителя и учащихся с целью усвоения, учениками содержания социального опыта, их воспитания, формирования научного мировоззрения. Успех воспитания и...
8061. Истории возникновения и развития форм обучения 29.59 KB
  Истории возникновения и развития форм обучения Формы организации обучения имеют долгую историю. На заре человечества опыт и знания передавали детям в процессе разнообразной трудовой деятельности. Трудовая деятельность выступала универсальной формой ...
8062. Формы организации обучения и их характеристика 25.25 KB
  Формы организации обучения и их характеристика Форма организации обучения - это внешнее выражение согласованной деятельности учителя и учеников, упаковка для содержания обучения. Они возникают и совершенствуются в связи с развитием дидактичес...
8063. Классно-урочная система обучения и её признаки 24 KB
  Классно-урочная система обучения и её признаки Классно-урочная система обучения, возникшая еще в XVII веке, образовалась и развивалась благодаря деятельности великих деятелей педагогической науки И. Лойолы, И. Штурма, Я. А. Коменского. Классно-урочн...