17476

Документальный информационный поиск в сети Интернет

Лекция

Информатика, кибернетика и программирование

Лекция №9 Документальный информационный поиск в сети Интернет Информационнопоисковые системы Интернет могут быть разделены по функциональноструктурному принципу на следующие классы: полностью распределенные системы где реализуются принципы распределенных вы

Русский

2013-07-01

40.5 KB

7 чел.

Лекция №9 Документальный информационный поиск в сети Интернет

Информационно-поисковые системы Интернет могут быть разделены по функционально-структурному принципу на следующие классы:

полностью распределенные системы, где реализуются принципы распределенных вычислений и хранения данных;

частично распределенные — распределенные данные и локализованная обработка;

локальные системы — локализованные данные и их обработка(см. выше, Weblrbis).

Поисковые задачи в сети Интернет имеют следующие особенности:

/. Огромный объем доступной информации. За последние годы было предпринято множество попыток оценить размер ресурса Интернет, и, хотя оценки не полностью совпадают, все они единогласны в том, что в Интернет содержится более миллиарда страниц и их число увеличивается экспоненциально. Если учесть, что размер среднестатистической страницы составляет 5—10 Кб, объем оценивается в десятках терабайт (10 х 240 байт).

  1.  Высокий процент временной информации. Информация в Интернет очень динамична, информационные ресурсы непрерывно появляются, пропадают, перемещаются, обновляются. В среднем, ежемесячно изменяется около 40 % информации, среднее время жизни половины страниц в Интернет не превышает 10 дней.
  2.  Неконтролируемое качество информации. Отсутствие редакторского контроля над публикуемой информацией в Интернет обуславливает проблему ее качества — информация может быть некорректной (например, устаревшей), ложной, плохо сформулированной, содержать ошибки (опечатки, грамматические ошибки, ошибки оцифровки и т. п.). Так, по некоторым оценкам, одна опечатка
    встречается в среднем в каждых двухстах часто употребляемых словах или в трех иностранных фамилиях.
  3.  Разнородность информации. Кроме различных форматов представления информации, используется также множество различных языков и алфавитов. Около 30 % информации в Интернет составляют точные или приблизительные копии других документов.

В Интернет изменяется понятие типичного пользователя. Имеются следующие различия:

плохо сформулированные запросы. Никто специально не обучает пользователей АИ ПС в Интернет формулировать запросы, и, как следствие, немногие из них используют расширенные возможности поиска, такие, как логические выражения. Более того, типичные запросы очень коротки — более 60 % поисковых запросов в Интернет состоит из 1—2 слов, в то время как в классических АИ ПС — из 7—9 слов;

разнородный контингент. Разнообразие в знаниях, потребностях и ожиданиях пользователей очень велико. Большинство же работающих с классическими ИПС обычно имеет много общих черт;

поведение пользователей. Обычно они не готовы долго ожидать результата или даже искать его в предоставленной системой выборке (58 % не идет дальше первого экрана, а 67 % не предпринимает попыток модифицировать свой первоначальный запрос).

Структура процессов в поисковых системах WWW. Ключевым отличием данных систем от классических АИПС является наличие сетевых роботов программных модулей-агентов, занимающихся сбором информации о доступных WWW-pecypcax. Они осуществляют сканирование и, начиная с некоторого множества ссылок (URL) на WWW-страницы, рекурсивно обходят ресурсы Интернет, извлекая ссылки из получаемых документов до тех пор, пока не будет выполнено некоторое условие остановки.

Собранная информация помещается в хранилище, содержимое которого определяет набор документов, по которым идет поиск.

Как и в классических ИПС, для достижения приемлемой эффективности поиск производится не напрямую по документам в хранилище, а по индексным структурам, за создание которых отвечает модуль индексирования.

Получение и выполнение запросов пользователей — это задача модуля поисковой машины.

При исследовании задачи сканирования возникает ряд вопросов.

1. Выбор WWW-ссылок для индексирования. Обычно робот имеет информацию о существовании множества еще не отсканированных ресурсов и может выбирать, какой из них «посетить» следующим. Этот выбор осуществляется согласно используемой роботом стратегии сканирования, которая напрямую определяет множество страниц, которое будет обработано роботом и, как следствие, какие страницы будут известны поисковой системе.

  1.  Частота обновления индекса. В связи с высокой динамикой изменений в WWW собранная информация о многих посещенных страницах довольно быстро перестает отражать их реальное текущее содержание.
  2.  Минимизация нагрузки на WWW-серверы. Робот не должен перегружать сервер своими запросами или сканировать информацию против воли владельца сервера. Для выражения этих условий может использоваться файл robots.txt, располагающийся в корневом каталоге сервера.
  3.  Организация параллельного сканирования. Одним из способов повышения производительности является параллельный запуск нескольких роботов на разных машинах, но при этом необходим хорошо масштабируемый механизм координации их действий (например, чтобы они одновременно не сканировали один и тот же адрес).

Индексы поисковых систем. Важнейшим отличием поисковых систем для поиска в Интернет от классических систем информационного поиска является необходимость обслуживания всех запросов без реального доступа к ресурсам на момент их выполнения, иначе необходимо либо хранить свежую локальную копию всех ресурсов (что слишком накладно), либо посещать их во время выполнения запроса (что слишком медленно).

Поэтому в системах поиска в Интернет все запросы обслуживаются на основе индекса, содержащего описания известных данной поисковой системе ресурсов.

Хранилище. Хранилище содержит большое количество объектов данных (страниц WWW) и в этом смысле очень похоже на СУБД или файловую систему. Однако многие возможности последних в данном случае не нужны (например, поддержка транзакций или иерархия директорий), зато очень важны такие, как масштабируемость и реализация двух режимов доступа:

произвольного — для того, чтобы быстро найти конкретную страницу по ее идентификатору (например, для создания копии страницы);

потокового — для того, чтобы извлечь значительную часть всей коллекции (например, для индексирования или анализа).

Кроме того, важными являются эффективная поддержка обновлений, сборка «мусора» (устаревших страниц).

Модуль индексирования. Задачей этого модуля является построение необходимых индексов. Кроме текстовых, часто используются индексы, описывающие структуру графа WWW, а также вспомогательные индексы (например, индекс для доступа к страницам по их длине или по количеству используемых графических изображений).

Специфика WWW определяет свои особенности построения текстового индекса для ИПС. В дополнение к традиционным целям — минимизации времени доступа и размера индекса, также важно минимизировать время его создания и обеспечить возможность эффективного обновления.

Поисковая машина. Расширенные возможности поиска имеют малый спрос у пользователей ИПС для WWW. Как следствие, за исключением предикатов, позволяющих наложить условия на входящие/исходящие ссылки, в языках запросов, применяемых в системах в WWW, нет существенных нововведений по сравнению с языками запросов классических ИПС.

Однако простота запросов влечет их низкую селективность, и поэтому очень важной задачей является упорядочивание результатов, так чтобы первыми оказались те результаты, которые, вероятнее всего, интересны пользователю. Классические подходы к ранжированию опираются на меру схожести текстов запроса и документа, но «расплывчатые запросы» пользователей и огромное количество документов значительно понижают эффективность таких подходов в контексте WWW.


 

А также другие работы, которые могут Вас заинтересовать

5933. Суд присяжных в России: история и современность 140 KB
  Введение Тема курсовой работы - Суд присяжных в России: история и современность. При изучении и разработке вопросов, освещенных в данной работе, основной целью было - выявить: наиболее спорные теоретические вопросы в данной...
5934. Методика воспитательной работы 2.77 MB
  Глава I. Воспитание, воспитательный процесс Воспитание как культурно-исторический феномен Воспитание - категория педагогической науки Теория и методика воспитания в гуманистической парадигме Воспитательный процесс, его цель и сущность...
5935. АНАЛІЗ ГРАМАТИЧНИХ ОСОБЛИВОСТЕЙ ПЕРЕКЛАДУ ЕКОНОМІЧНИХ ТЕКСТІВ 504.5 KB
  Наша країна намагається вийти на світові ринки торгівлі і встановити якомога кращі стосунки зі своїми закордонними колегами, наприклад, укласти найбільш вигідні контракти, та не останнім фактором успішності цих контрактів буде правильний переклад та оформлення ділового паперу, а оскільки будь-який документ такого характеру не можна уявити
5936. Аналіз виховного процесу в 5-В класі 29.5 KB
  Кількість дітей у класі: 22 особи Стосунки між учнями класу загалом дружніі доброзичливі. Але протягом року були випадки суперечок і непорозумінь між учнями, зокрема проблеми у спілкуванні: Шимко-Сирашний, Крючковська-Страшний, а також Барвет, яка м...
5937. Анализ воспитательной работы МБОУ «Устьвашская средняя общеобразовательная школа» за 2011/12 учебный год 102 KB
  Анализ воспитательной работы МБОУ Устьвашская средняя общеобразовательная школа за 2011/12 учебный год. Цель воспитательной работы в 2001/12 учебном году: формирование первичных представлений о базовых национальных российских ценностях (начал...
5938. Анализ воспитательной работы с учащимися 9 а класса 66.5 KB
  Анализ воспитательной работы с учащимися 9 а класса Классный руководитель: Характеристика класса. В классе 25 учеников, из них 11 мальчиков и 14 девочек. По национальному составу - 20 русских, 5 бурят. Количество учащи...
5939. Анализ воспитательной работы за первое полугодие классного руководителя 10 А класса 40.5 KB
  Анализ воспитательной работы за первое полугодие классного руководителя 10 А класса 1. Анализ эффективности целеполагания и планирования воспитательного процесса в классе в 2011-2012 учебном году. Воспитательные задачи в текущем учебном году следующ...
5940. Системы снабжения природным газом 78.66 KB
  Природный газ это заслуженно один из самых эффективных источников энергии. При сравнении с другими видами топлива и сырья у него есть множество преимуществ. Во-первых, его стоимость. Стоимость добычи ниже, а производительность труда намного...
5941. Педагогическая практика по воспитательной работе 172 KB
  Педагогическая практика по воспитательной работе Информационно-методические материалы для начинающих методистов и студентов i - v курсов Отход от авторитарной педагогики и гуманизация всего учебно-воспитательного процесса предъявляют все более ...