すべてのウエブサイトから検索できますか?

数人が、ウエブサイトのインデックスを創るロボットを書きました。このインデックスには新しい ウエブサイト情報やカタログには載せられていないものも含まれています。(あなた自身で、ロボットを 創る前にロボットについての入門編をご覧下さい。

ここにいくつか、あなたが検索できる自動インデックスを挙げてみます。

Alta Vista
(URL <URL:http://www.altavista.digital.com> ) は、おそらく現在最も強力なウエブ検索サイトです。徹底的に創られたデータベースには、 ウエブサイトに加えてユースネットを検索する能力を持っており、問い合わせ手法も非常に 強力です。
Yahoo
(URL <URL:http://www.metrocities.net/> ) はおそらく最も完全な階層型のウエブサイトのイッデックスで、洗練した検索能力があります。 {訳者注}日本版yahooもあります。
Lycos
(URL <URL:http://fuzine.mt.cs.cmu.edu/mlm/lycos-home.html> ) は別のウエブインデクスロボットで、手動でURLをサブミットでき、それを検索 させることができます。
WebCrawler
(URL <URL:http://webcrawler.com.html> ) は印象的で完全なインデックスを創ることができます。一方、文書の内容もインデックスでき、 予想もしなかった多くのリンクを見つけることができます。 しかし、あなたの検索にいかに近いかを見つけ、文書を並び替えるので、使いやすいです。
World Wide Web Worm
(URL http://www.cs.colorado.edu/home/mcbryan/WWWW.html ) ぺーじのタイトルとURLの内容のみからインデックスを作成します。 これは、少し検索対象が狭いですが、見つけたページはあなたの要望に正確にマッチしている ことでしょう。
InfoSeek
<URL:http://www.infoseek.com/> は free web search facility <URL:http://www2.infoseek.com> も提供する商用検索サービスです。 他の問い合わせの操作の中で、InfoSeekの商用サービスは、単なるウエブのページだけでなく、 ニュースグループなども検索可能です。商用サービスは1回の検索が10セントで、 新規ユーザーには無料体験サービスも用意されています。(無料の検索サーバーの負荷が どんどん大きくなってきている中で、この試みはよい動きです。)
OpenText
(URL <URL:http://www.opentext.com> ) も丈夫なウエブ検索を提供します。
他の検索ロボットやその原理については ロボットをご覧下さい.
World Wide Web FAQ 1