しかし、別の人は単純な深さ優先検索を用いたため、最悪の場合、無数のリンクを持つ CGIスク リプトを基にしたページを再帰的にダウンロードすることによって、数分のうちにサーバを屈伏 させてしまう (ロボットはしばしばこれに気付きません！)ものを作りました。ロボットが数百 の mpeg movieの目録を作ろうとした場合、どうなるか想像してみて下さい。恐ろしいでしょう 。
教訓：あなたが欲しいロボットは既にあるかもしれません。もしなければ、 World Wide Web Robots, Wanderersおよび Spidersに関する文書 (URL http://info.webcrawler.com/mak/projects/robots/robots.html )を学ぶことと、望まれていない領域か らのロボットの探検のための出現基準について知っておいて下さい。そこでは既存のロボットに ついても読むことができます。