Chez Le Frisé - Outils et liens

Vous tentez de trouver une page qui contient l'information que vous recherchez dans plus de 800 millions de pages Web sans faire appel à un moteur de recherche ? Bonne chance, car même avec une connection rapide, il faudrait plus de 400 ans pour consulter chacune de ces pages quelques secondes, sans compter le nombre de nouvelles pages qui apparaîtraient dans l'intervalle !

Si vous optez plutôt de vous en remettre à un outil de recherche, encore faut-il choisir le bon dans la quantitée maintenant disponible, et dont le contenu est sans cesse en mouvement. L'applet Java ci-haut vous fera découvrir de nouveaux moteurs de recherche, lesquels y sont classés par catégories.

Les outils de recherche sont des systèmes contitués d'énormes bases de données associées avec des logiciels d'indexation très puissants permettant d'obtenir des temps de réponse très courts. Une grande partie de ces moteurs de recherche s'exécutent sur de gros ordinateurs ou des processeurs en parallèle qui peuvent traiter des centaines de recherches simultanément. Les autres s'exécutent sur des ensembles de serveurs Windows NT.

Les premiers serveurs de recherche se trouvaient jadis dans les universités. La plupart d'entre eux sont maintenant pris en charge par des entreprises privées. Quel bénéfice ces entreprises trouvent-elles en fournissant des recherches gratuites sur des ordinateurs hors de prix ? La publicité ! Les sites index sont ceux auxquels on accède le plus fréquemment sur le Web et leurs administrateurs peuvent demander des sommes importantes aux entreprises qui veulent y placer de la publicité. Certaines de ces entreprises ont obtenu un tel succès qu'elles sont maintenant cotées en bourse.

Il existe aujourd'hui plus d'une centaine d'index disponibles. Certains sont dédiés à un sujet spécifique, d'autres sont encore très petits mais la grande majorité procèdent de la même manière pour conserver un contenu à jour.

En effet, on pourrait dire par analogie que le Web possède sa propre faune. Elle est constituée de programmes autonomes qui parcourent les millions de liaisons reliant les sites pour y récupérer des informations. Ces programmes possèdent des appellations assez pittoresques comme robots, crawler (véhicules lents), walkers (randonneurs), spiders (le terme générique), worms (vers), et wormbats (dans le cas d'un programme australien).

Ces "araignées", à de rares execptions près, consultent une page, l'indexent, et repèrent les liens éventuels vers d'autres pages. Ces nouveaux liens sont enregistrés puis suivis tout à tour. Lorsque tous les liens d'une chaîne particulière ont étés suivis, le chemin suivant est restauré à partir de la base de données et le processus ce poursuit. Lycos et WebCrawler en sont des exemples. Un grand nombre de spiders sont utilisés pour réaliser des statistiques sur le Web.Ces programmes ne génèrent pas de bases de données destinées à la recherche de texte.