17476

Документальный информационный поиск в сети Интернет

Лекция

Информатика, кибернетика и программирование

Лекция №9 Документальный информационный поиск в сети Интернет Информационнопоисковые системы Интернет могут быть разделены по функциональноструктурному принципу на следующие классы: полностью распределенные системы где реализуются принципы распределенных вы

Русский

2013-07-01

40.5 KB

3 чел.

Лекция №9 Документальный информационный поиск в сети Интернет

Информационно-поисковые системы Интернет могут быть разделены по функционально-структурному принципу на следующие классы:

полностью распределенные системы, где реализуются принципы распределенных вычислений и хранения данных;

частично распределенные — распределенные данные и локализованная обработка;

локальные системы — локализованные данные и их обработка(см. выше, Weblrbis).

Поисковые задачи в сети Интернет имеют следующие особенности:

/. Огромный объем доступной информации. За последние годы было предпринято множество попыток оценить размер ресурса Интернет, и, хотя оценки не полностью совпадают, все они единогласны в том, что в Интернет содержится более миллиарда страниц и их число увеличивается экспоненциально. Если учесть, что размер среднестатистической страницы составляет 5—10 Кб, объем оценивается в десятках терабайт (10 х 240 байт).

  1.  Высокий процент временной информации. Информация в Интернет очень динамична, информационные ресурсы непрерывно появляются, пропадают, перемещаются, обновляются. В среднем, ежемесячно изменяется около 40 % информации, среднее время жизни половины страниц в Интернет не превышает 10 дней.
  2.  Неконтролируемое качество информации. Отсутствие редакторского контроля над публикуемой информацией в Интернет обуславливает проблему ее качества — информация может быть некорректной (например, устаревшей), ложной, плохо сформулированной, содержать ошибки (опечатки, грамматические ошибки, ошибки оцифровки и т. п.). Так, по некоторым оценкам, одна опечатка
    встречается в среднем в каждых двухстах часто употребляемых словах или в трех иностранных фамилиях.
  3.  Разнородность информации. Кроме различных форматов представления информации, используется также множество различных языков и алфавитов. Около 30 % информации в Интернет составляют точные или приблизительные копии других документов.

В Интернет изменяется понятие типичного пользователя. Имеются следующие различия:

плохо сформулированные запросы. Никто специально не обучает пользователей АИ ПС в Интернет формулировать запросы, и, как следствие, немногие из них используют расширенные возможности поиска, такие, как логические выражения. Более того, типичные запросы очень коротки — более 60 % поисковых запросов в Интернет состоит из 1—2 слов, в то время как в классических АИ ПС — из 7—9 слов;

разнородный контингент. Разнообразие в знаниях, потребностях и ожиданиях пользователей очень велико. Большинство же работающих с классическими ИПС обычно имеет много общих черт;

поведение пользователей. Обычно они не готовы долго ожидать результата или даже искать его в предоставленной системой выборке (58 % не идет дальше первого экрана, а 67 % не предпринимает попыток модифицировать свой первоначальный запрос).

Структура процессов в поисковых системах WWW. Ключевым отличием данных систем от классических АИПС является наличие сетевых роботов программных модулей-агентов, занимающихся сбором информации о доступных WWW-pecypcax. Они осуществляют сканирование и, начиная с некоторого множества ссылок (URL) на WWW-страницы, рекурсивно обходят ресурсы Интернет, извлекая ссылки из получаемых документов до тех пор, пока не будет выполнено некоторое условие остановки.

Собранная информация помещается в хранилище, содержимое которого определяет набор документов, по которым идет поиск.

Как и в классических ИПС, для достижения приемлемой эффективности поиск производится не напрямую по документам в хранилище, а по индексным структурам, за создание которых отвечает модуль индексирования.

Получение и выполнение запросов пользователей — это задача модуля поисковой машины.

При исследовании задачи сканирования возникает ряд вопросов.

1. Выбор WWW-ссылок для индексирования. Обычно робот имеет информацию о существовании множества еще не отсканированных ресурсов и может выбирать, какой из них «посетить» следующим. Этот выбор осуществляется согласно используемой роботом стратегии сканирования, которая напрямую определяет множество страниц, которое будет обработано роботом и, как следствие, какие страницы будут известны поисковой системе.

  1.  Частота обновления индекса. В связи с высокой динамикой изменений в WWW собранная информация о многих посещенных страницах довольно быстро перестает отражать их реальное текущее содержание.
  2.  Минимизация нагрузки на WWW-серверы. Робот не должен перегружать сервер своими запросами или сканировать информацию против воли владельца сервера. Для выражения этих условий может использоваться файл robots.txt, располагающийся в корневом каталоге сервера.
  3.  Организация параллельного сканирования. Одним из способов повышения производительности является параллельный запуск нескольких роботов на разных машинах, но при этом необходим хорошо масштабируемый механизм координации их действий (например, чтобы они одновременно не сканировали один и тот же адрес).

Индексы поисковых систем. Важнейшим отличием поисковых систем для поиска в Интернет от классических систем информационного поиска является необходимость обслуживания всех запросов без реального доступа к ресурсам на момент их выполнения, иначе необходимо либо хранить свежую локальную копию всех ресурсов (что слишком накладно), либо посещать их во время выполнения запроса (что слишком медленно).

Поэтому в системах поиска в Интернет все запросы обслуживаются на основе индекса, содержащего описания известных данной поисковой системе ресурсов.

Хранилище. Хранилище содержит большое количество объектов данных (страниц WWW) и в этом смысле очень похоже на СУБД или файловую систему. Однако многие возможности последних в данном случае не нужны (например, поддержка транзакций или иерархия директорий), зато очень важны такие, как масштабируемость и реализация двух режимов доступа:

произвольного — для того, чтобы быстро найти конкретную страницу по ее идентификатору (например, для создания копии страницы);

потокового — для того, чтобы извлечь значительную часть всей коллекции (например, для индексирования или анализа).

Кроме того, важными являются эффективная поддержка обновлений, сборка «мусора» (устаревших страниц).

Модуль индексирования. Задачей этого модуля является построение необходимых индексов. Кроме текстовых, часто используются индексы, описывающие структуру графа WWW, а также вспомогательные индексы (например, индекс для доступа к страницам по их длине или по количеству используемых графических изображений).

Специфика WWW определяет свои особенности построения текстового индекса для ИПС. В дополнение к традиционным целям — минимизации времени доступа и размера индекса, также важно минимизировать время его создания и обеспечить возможность эффективного обновления.

Поисковая машина. Расширенные возможности поиска имеют малый спрос у пользователей ИПС для WWW. Как следствие, за исключением предикатов, позволяющих наложить условия на входящие/исходящие ссылки, в языках запросов, применяемых в системах в WWW, нет существенных нововведений по сравнению с языками запросов классических ИПС.

Однако простота запросов влечет их низкую селективность, и поэтому очень важной задачей является упорядочивание результатов, так чтобы первыми оказались те результаты, которые, вероятнее всего, интересны пользователю. Классические подходы к ранжированию опираются на меру схожести текстов запроса и документа, но «расплывчатые запросы» пользователей и огромное количество документов значительно понижают эффективность таких подходов в контексте WWW.


 

А также другие работы, которые могут Вас заинтересовать

65042. Пожиратели мертвецов 38.5 KB
  Книга Марко Поло: записки путешественника или имперская космография. 232-234 Марко Поло не равнодушен к теме поедания мертвецов. Есть у них вот какой обычай: когда кого присудят к смерти и по воле государя казнят берут они то тело варят его и едят...
65043. ХРИСТИАНСКИЙ МИР И «ВЕЛИКАЯ МОНГОЛЬСКАЯ ИМПЕРИЯ» 2.42 MB
  Имя францисканца Иоанна де Плано Карпини хорошо известно читающей публике. Его знаменитое описание дипломатического путешествия по просторам империи Чингис-хана сегодня переведено почти на двадцать языков мира.
65044. ЭТИЧЕСКИЕ КАТЕГОРИИ В МОНГОЛЬСКОЙ ИМПЕРИИ ЭПОХИ ЧИНГИСХАНА: ПРЕДСТАВЛЕНИЕ О СЧАСТЬЕ-БЛАГОДАТИ 44.5 KB
  Обычно эти слова историки Чингисхана трактуют как свидетельство варварства и дикости души вождя монголов. Её цель установление мирового порядка основанного на иерархическом мироустройстве которое обеспечивало стабильность и процветание для монголов.
65045. Западная Монголия — узловой регион Евразии 96 KB
  Западная Монголия узловой регион Евразии Природные условия и экологический потенциал Западной Монголии Великие степи Монголии соприкасаются своим северо-западным крылом с сибирскими землями России в районе Алтайских гор.
65046. ОСНОВНЫЕ ПРОБЛЕМЫ ИСТОРИИ АШТАРХАНИДОВ (ТУКАЙ-ТИМУРИДОВ) В ПОВОЛЖЬЕ И СРЕДНЕЙ АЗИИ (XV-XVIII вв.) 30.5 KB
  В настоящее время история государства Аштарханидов в Средней Азии практически полностью установлена. Скорейшее изучение этих малоисследованных материалов видится нам основной задачей для историков и источниковедов которых привлекает позднее средневековье в Средней Азии.
65047. История правления Тимура 143.5 KB
  Именно в этих странах в середине XIV века возникло государство Тимуридов. Среди всех величайших завоевателей когда-либо создававших мировые империи Тимур основатель этого государства так же как и Наполеон занимает особое место: почти все другие по самому рождению своему имели право на известную власть и начиная...
65048. ОЧЕРКИ ИЗ ЖИЗНИ ГЕРАТСКОГО ОБЩЕСТВА НА РУБЕЖЕ XV—XVI ВЕКОВ 437.5 KB
  Настоящие Очерки представляют собой продолжение моей работы над мемуарами Восифи. Задача критического издания всего текста мемуаров Восифи представляется все более нужной заманчивой и выполнимой.
65049. УЛУСНАЯ СИСТЕМА МОНГОЛЬСКОЙ ИМПЕРИИ В ПАМЯТНИКАХ ПИСЬМЕННОСТИ ИМПЕРСКИХ ЦЕНТРОВ ЧИНГИЗИДСКИХ ХАНСТВ И ДРЕВНЕЙ РУСИ 203 KB
  В связи с этим возникает вопрос о влиянии модели власти зародившейся у монголов на процесс формирования русской государственности. Изучение взаимодействия форм собственности и власти в самой Монгольской империи позволяет таким образом исследовать типологические свойства государственности Московской Руси.
65050. КОЛЛЕКЦИЯ ЗОЛОТООРДЫНСКИХ ДОКУМЕНТОВ XIV ВЕКА ИЗ ВЕНЕЦИИ 1.35 MB
  В наши дни авторы настоящего исследования, тюрколог-источниковед и романист-филолог, подвергли все документы коллекции специальному изучению в отношении истории их создания, полного перевода на русский язык и реконструкции их изначального содержания.