[ad_1]
Google actualizó la lista de sus rastreadores oficiales agregando el nombre y la información de un rastreador relativamente desconocido que los editores han estado viendo de vez en cuando pero que anteriormente no existía documentación al respecto.
Aunque Google agregó documentación oficial para este rastreador, la información proporcionada parece alentar una mayor explicación.
Rastreadores de casos especiales
Google tiene varios tipos de rastreadores (también conocidos como bots y arañas).
Las diferentes formas de rastreadores son:
- Rastreadores comunes
Estos bots se utilizan principalmente para indexar diferentes tipos de contenido. Pero algunos rastreadores comunes también sirven para herramientas de prueba de búsqueda, uso interno del equipo de productos de Google y rastreo relacionado con la IA. - Recuperadores activados por el usuario
Estos son bots activados por los usuarios. Esto incluye usos como la obtención de feeds o la verificación de sitios. - Rastreadores de casos especiales
Estos son para casos especiales, como controles de calidad de páginas web de anuncios móviles o mensajes de notificación automática a través de las API de Google. Estos bots no obedecen las directivas globales de agentes de usuario en robots.txt que están señaladas con el asterisco.
.
La nueva documentación del rastreador es para el agente de usuario de Google-Safety. El rastreador no es nuevo pero la documentación sí lo es.
Rastreador de seguridad de Google
La documentación del rastreador de seguridad de Google de rastreadores de casos especiales es la que utilizan los procesos de Google para encontrar malware.
Único entre los rastreadores de casos especiales, el rastreador de seguridad de Google ignora por completo todas las directivas de robots.txt.
La nueva documentación para Google-Safety Crawler:
“El agente de usuario de Google-Safety maneja el rastreo de abusos específicos, como el descubrimiento de malware para enlaces publicados públicamente en las propiedades de Google.
Este agente de usuario ignora las reglas de robots.txt”.
"Google-Safety"
La cadena de agente completa para el rastreador:
Descripción general de los rastreadores y buscadores de Google (agentes de usuario): rastreadores de casos especiales
[ad_2]
Consultar el artículo en la publicación original