El crawler de Google o crawler web es básicamente una pequeña línea de código que se encarga de analizar todos los sitios web.
Lo que hace este pequeño software es recoger, organizar, categorizar y clasificar dentro de su base datos cada uno de los componentes que ha recogido de la web para mostrarlos más tarde en los buscadores.
Araña – Spider – Rastreador – Bot – Robot – GoogleBot*
*Este último nombre es específico para el crawler de Google.
¿Qué información puedo sacar del crawler de Google desde Search Console?
Puedes saber qué ha rastreado la araña de Google a través de su herramienta Search Console, además de saber qué ha indexado en su base de datos o servidor y otro tipo de información muy valiosa, como se detalla a continuación:
Inspección de URL
Desde aquí podrás saber si se ha indexado una página, e incluso pedir su indexación; además, podrás saber cuándo la rastreó Google por última vez y su usabilidad en el móvil.
Estadísticas de Rastreo
Esta opción la tienes operativa dentro del apartado Herramientas e Informes Antiguos.
Aquí dispones de 3 gráficas:
- La primera gráfica muestra las páginas que ha rastreado Google.
- La segunda gráfica muestra los kilobytes descargados, es decir, la información que ha recogido Google de tu sitio web.
- La tercera gráfica te informa sobre la velocidad de descarga de tu web.
De estas tres gráficas tienes que tener en cuenta que las dos primeras deben ir en aumento, algo que sucederá si tu sitio web es relevante.
Mientras que, la última gráfica debiera de ser bastante estable y con valores bajos para entenderse que tu sitio web va por el buen camino.
El crawler de Google rastrea tu sitio web en su totalidad, aunque puede bloquearse su acceso desde el archivos robots.txt.
