Strict Standards: Only variables should be passed by reference in /home2/chato/sites/tejedoresdelweb.com/wiki/skins/GuMax.php on line 191
  • Iniciar sesión

¿Qué es un crawler o spider?

De TW

Saltar a: navegación, buscar
Estoy haciendo una traducción sobre optimización de máquinas de búsqueda y quiero saber qué es lo que hace un spider.

Un Web Crawler (también llamado Web Spider) es un programa diseñado para explorar páginas Web en forma automática. La operación normal es que se le da al programa un grupo de direcciones iniciales, el crawler descarga estas direcciones, analiza las páginas y busca enlaces a páginas nuevas. Luego descarga estas páginas nuevas, analiza sus enlaces, y así sucesivamente ad nauseam.

Los crawlers se pueden usar para varias cosas, lo más común es que se usen para:

  • Crear el índice de una [article-1056.html máquina de búsqueda].
  • Analizar los enlaces de un sitio para buscar links rotos.
  • Recolectar información de un cierto tipo, como precios de productos para armar un catálogo.
  • etc.

Un resumen sobre el tema está en la página de la Wikipedia sobre Web Crawling, que está principalmente basada en mi tesis.

La traducción al castellano que yo uso más corrientemente es "recolector de páginas web" o simplemente "recolector".