Los Spiders son robots automáticos que utilizan la mayoría de los grandes buscadores internacionales y conocidos para indexar los sitios en sus motores de búsqueda.
Los Spiders realizan las siguientes acciones:
– Recorren las páginas recopilando información sobre los contenidos de estas. Cuando se busca una información en los motores, ellos consultan su base de datos y presentan resultados clasificados por su relevancia. De las webs, los buscadores pueden almacenar desde la página de entrada, a todas las páginas de la web.
– Si consideran que una web es importante para el usuario, tienden a registrarlas todas. Si no la consideran importante, sólo almacenan una o más páginas.
– Cada cierto tiempo, los motores revisan las webs, para actualizar los contenidos de su base de datos, lo que garantiza que los resultados de la búsqueda estén siempre actualizados.
– Los spiders tienen una colección de programas simples y potentes con diferentes cometidos. Se suelen dividir en tres partes. Los programas que exploran la red -spiders-, los que construyen la base de datos y los que utiliza el usuario, el programa que explora la base de datos.
– Algunos de los buscadores que utilizan Spiders: Google, MSN Search, AltaVista, Hotbot, recorren las páginas recopilando información sobre los contenidos de estas. Cuando se busca una información en los motores, ellos consultan su base de datos y presentan resultados clasificados por su relevancia. De las webs, los buscadores pueden almacenar desde la página de entrada, a todas la páginas de la web.
Se aprecia una tendencia por parte de los principales buscadores de Internet a dar el salto hacia entornos móviles creando una nueva generación de buscadores: los buscadores móviles.
Según los responsables de Google, actualmente utilizan más de 200 factores para evaluar la relevancia de un resultado.
Muchos de estos algoritmos son sistemas que hace tiempo que están implementados en otros buscadores como la importancia del título, el control de las repeticiones de una palabra, etc. Otros son sistemas propios, como el famoso PageRank, que sin embargo tiene claros antecedentes, como los índices de citaciones. Mezclando unos y otros, Google ha conseguido convertirse en uno de los buscadores que mejor sabe valorar la relevancia sobre una base de datos de documentos sin control humano normalizado previo.
Add Comment