Encontraste a la persona adecuada :-) Hice mi Tesis de doctorado en Web Crawling.

Un Web Crawler (también llamado Web Spider) es un programa diseñado para explorar páginas Web en forma automática. La operación normal es que se le da al programa un grupo de direcciones iniciales, el crawler descarga estas direcciones, analiza las páginas y busca enlaces a páginas nuevas. Luego descarga estas páginas nuevas, analiza sus enlaces, y así sucesivamente ad nauseam.

Los crawlers se pueden usar para varias cosas, lo más común es que se usen para:

• Crear el índice de una máquina de búsqueda.
• Analizar los enlaces de un sitio para buscar links rotos.
• Recolectar información de un cierto tipo, como precios de productos para armar un catálogo.
• etc.

Un resumen sobre el tema está en la página de la Wikipedia sobre Web Crawling, que es un extracto de mi tesis.

La traducción al castellano que yo uso más corrientemente es "recolector de páginas web" o simplemente "recolector".