Como rastrean los motores de
búsqueda la Web para encontrar nuevas páginas (o contenidos nuevos de las ya
existentes), que incorporar a sus índices.
Un motor de búsqueda compila de forma automática las direcciones de las
páginas que formarán parte de su índice, tras realizar un proceso de
indización de su contenido.
Al módulo encargado de la recopilación de las páginas se le conoce comúnmente
como robot , “es un programa que rastrea la estructura hipertextual de la Web,
recogiendo información sobre las páginas que encuentra. Esa información se
indica y se introduce en una base de datos que será explorada posteriormente
utilizando un motor de búsqueda”
Estos robots pueden recopilar varios millones de páginas por día, y actualizar
la información recogida en los índices en períodos de tiempo extremadamente
pequeños, considerando la extensión del espacio al que nos estamos refiriendo.
Por regla general, se parte de una lista inicial de direcciones que son
visitados por el robot, y a partir de ahí cada uno rastrea a su
manera la Web, de ahí que la información almacenada en cada motor sea
diferente.
En contra de lo que pudiera parecer por su nombre, y de una amplia serie de
definiciones incorrectas, el robot no se mueve por la red ni se ejecuta sobre
las máquinas remotas que visita. Realmente funciona sobre el sistema local del
motor de búsqueda y envía una serie de peticiones a los sitios Web remotos
(donde se alojan las páginas a analizar). El índice también se gestiona
localmente. Esta arquitectura clásica es la que implementa, entre otros, el
motor, por ejemplo
Alta Vista, “precisando para ello (en 1998) de 20 ordenadores
multiprocesadores, todos con más de 130 Gb de memoria RAM y sobre 500 Gb de
espacio en disco; sólo el módulo de interrogación del índice consume más del
75% de estos recursos”.
En esta arquitectura distribuida, los servidores web reciben simultáneamente las peticiones de distintos robots (analizadores), aumentando así la capacidad de carga de nuevas páginas del motor. Esta arquitectura solventa el problema de la carga de tráfico en las conexiones con el motor, ya que aumenta la velocidad de conexión con los robots en tanto que estos descartan gran cantidad de contenidos de las páginas que analizan y no las transfieren al entorno local, aliviando considerablemente la carga de tráfico. En último lugar, la información es recopilada de forma independiente por cada robot, sin tener que realizar una gestión sincronizada.
Creo que en esto de la recuperación a través de Internet , hay que detenerse pues navegar, usar correo electrónico puede hacerlo cualquiera, pero recuperar información de calidad y pertinente al usuario no lo puede hacer cualquiera. Pienso que hay que tener experiencia, hay que ir al detalle cada vez que nos aparece un nuevo buscador, hay que crear favoritos que se conviertan en verdaderos directorios temáticos, para acceder a las revistas a texto completo, a las bases de datos online, sobre todo esto es importante para aquellos que no tienen recursos para suscribirse a bases de datos.
La tareas de organización y recuperación son actividades conscientes por lo que cada vez es mas importante la presencia del trabajador de la información no solo dentro de la biblioteca, sino también durante el diseño de los sitios Web y en las empresas para apoyar la toma de decisiones adecuadas, pues la información se ha convertido en un recurso dentro de cualquier organización y se hacen continuas referencias al valor de la gestión de información como factor crítico del éxito.
En la empresa nos encontramos con una documentación variada y muchas veces de carácter confidencial , por lo que la recuperación de este tipo de fuentes documentales es una tarea que va más allá de las actividades propias de los archiveros y documentalistas y se convierte más bien un trabajo de detectives y recopiladores de documentos, además de recopilar la información es necesario crear formatos adecuados para la empresa, en cuestión, que permitan organizar y actualizar la información y recuperarla en el momento preciso para facilitar la toma de decisiones.