Специфика данной задачи заключается в том, что нам необходимо найти не один-два узла по определенной тематике, а в сжатые сроки просмотреть весь массив доступной информации. При этом из экономических соображений сразу была сделана ориентация на компьютерные средства, доступные рядовому научному коллективу, который не может себе позволить "роскошь" поддержания поисковой машины, оснащенной высокоскоростными устройствами доступа к данным, сверхсовременными средствами связи, круглосуточно работающими спайдерами и т.п. атрибутами. (Спайдер (spider, букв. паук) - программный агент для сбора информации в сети Интернет). Поэтому, при необходимости обзора ресурсов Интернет, посвященных какому-либо научному направлению, первым шагом является обращение к надежной поисковой системе. При этом возникают проблемы, во-первых, выбора поисковой машины и, во-вторых, организации запроса таким образом, чтобы не пропустить нужной информации и, в то же время, не получить большого количества информационного "мусора".

Казалось, при том обилии информации о поисковых машинах, которые есть в Интернет, выбор поисковой машины для организации сбора по определенному направлению не представляет проблем. Например, на рис.1 показана диаграмма рейтингов поисковых машин, приведенная в [http://www.searchenginewatch.com/reports/index.html Search Engine Status Reports]. Однако, учитывая особенности поставленной задачи, мы были вынуждены разработать собственную методику эмпирической проверки качества работы поисковых машин по скорости и релевантности результатов поиска.

Обозначения: YH=Yahoo, NS=Netscape, EX=Excite, IS=Infoseek, LY=Lycos, AV=AltaVista, WC=WebCrawler, RN=RealNames

Для проверки релевантности найденной информации использовалась следующая методика. По результатам поиска организовывался дополнительный запрос по ключевому слову (например: application= приложение). Результаты второго запроса анализировались вручную. Для проведения этого теста потребовалось использовать средства комбинирования запросов, предусмотренные в различных поисковых машинах.

На сервере Infoseek предусмотрена возможность организации запроса к результатам предыдущего запроса. Анализ полученного таким образом подзапроса показал его стопроцентную релевантность. Для сокращения множества найденной информации с целью оценки релевантности был сделан еще один подзапрос по ключевому слову finance. Данные о количестве узлов, найденных в подзапросе, приведены в таблице 3.

На поисковой машине Yahoo подзапрос был организован как сложный запрос "natural language" application и дал значительно меньше Web-страниц, чем на Infoseek (см.табл.3) с релевантностью 100%.

- Как запрос "natural language" AND application (столбец AND в табл.3). Оператор AND означает логическое И.

- Как запрос ["natural language" application] (столбец [-] в табл.3). Скобки [...] означает близкое расположение слов в тексте (не более десяти разделяющих слов).

На поисковой машине HotBot для организации подзапроса выполнялся сложный запрос natural language application в двух режимах:

- в режиме exact phrase (столбец exact phrase в табл.3);

- в режиме all words (столбец all words в табл.3).

Парадоксальный на первый взгляд результат, когда самая популярная ПМ оказывается не самой лучшей, автор объясняет следующим образом.

Наибольшей популярностью пользуются поисковые системы, обеспечивающие минимальное время поиска при его удовлетворительном качестве (на момент тестирования этим качествам отвечала ПМ Yahoo).

Для научных целей, когда время поиска интересует в меньшей степени, а на первый план выходят задачи обеспечения релевантности и полноты при удовлетворительном времени поиска, к выбору ПМ необходимо подходить более обдуманно (на момент тестирования всем приведенным качествам отвечала ПМ Infoseek).