Ha habido discusiones en curso durante las últimas semanas en las redes sociales de que Googlebot ha reducido drásticamente su rastreo. Por ejemplo, el fundador de un servicio de análisis de rastreo web tuiteó un gráfico que muestra cómo la actividad de rastreo de Google ha disminuido desde el 11 de noviembre de 2021.
Aunque la desaceleración de la indexación no afecta a todos los sitios, muchos en Twitter y Reddit coinciden en que algo cambió en Google con respecto a la indexación y lo demuestran con capturas de pantalla de la actividad del robot de Google.
Evidencia de rastreo reducido
La evidencia anecdótica de las anomalías de rastreo de Google se ha acumulado en las redes sociales. El problema con las redes sociales es que uno puede literalmente hacer cualquier observación sobre Google y casi estar seguro de recibir un acuerdo.
Lo anecdótico es interesante pero no tan bueno como observaciones respaldadas por datos, que es lo que apareció recientemente en Twitter.
Fundador del servicio de análisis de registros y rastreadores Seolyzer (@Seolyzer_io) publicó un gráfico del comportamiento de rastreo de Google que mostraba una caída dramática de la actividad de rastreo a partir del 11 de noviembre.
Anuncio publicitario
Continuar leyendo a continuación
Él publicó:
“¡Googlebot está en huelga! Googlebot ha reducido drásticamente su actividad de rastreo en muchos sitios grandes desde el 11 de noviembre a las 6 p.m. (GMT) «.
? ¡Googlebot está en huelga! ? Googlebot ha reducido drásticamente su actividad de rastreo en muchos sitios grandes desde el 11 de noviembre a las 6 p.m. (GMT). Estas preocupado ¡Requiere un hilo! ? pic.twitter.com/ugLmCZbC1O
– Olivier @ Seolyzer.io ? (@Seolyzer_io) 15 de noviembre de 2021
Código de respuesta del servidor 304 y rastreo de Googlebot
Algunos han notado un patrón con el robot de Google que de repente ya no rastrea páginas que ofrecen un código de respuesta de servidor 304.
Un código de respuesta 304 significa 304 (no modificado).
Ese código de respuesta lo genera un servidor cuando un navegador (o Googlebot) realiza una solicitud condicional de una página.
Eso significa que un navegador (o Googlebot) le dice al servidor que tiene una página web guardada en la caché, así que no se moleste en servirla a menos que esa página haya sido actualizada (modificada).
A continuación se muestra una definición del código de respuesta del servidor 304 (no modificado) del Grupo de trabajo HTTP:
“El código de estado 304 (No modificado) indica que se ha recibido una solicitud condicional GET o HEAD y habría resultado en una respuesta 200 (OK) si no fuera por el hecho de que la condición se evaluó como falsa.
En otras palabras, no es necesario que el servidor transfiera una representación del recurso de destino porque la solicitud indica que el cliente, que hizo la solicitud condicional, ya tiene una representación válida; por lo tanto, el servidor está redirigiendo al cliente para que haga uso de esa representación almacenada como si fuera la carga útil de una respuesta 200 (OK) «.
Anuncio publicitario
Continuar leyendo a continuación
¿La respuesta 304 provoca menos rastreo de Googlebot?
Una persona tuiteó la confirmación (en francés) de que en varios sitios con AMP que monitorea experimentaron una caída en las páginas que respondieron con una respuesta 304.
También confirmo aquí en la consola de búsqueda en varios sitios con una caída flagrante de 304 el 12 de noviembre
– Erwan Le Tallec (@eletallec) 15 de noviembre de 2021
La persona que publicó el tweet original respondió con una publicación de un gráfico que muestra cómo Google casi dejó de rastrear páginas que respondían con un código de respuesta de servidor 304:
Teoría 2: 304s pic.twitter.com/KQ2k1pgteS
– Olivier @ Seolyzer.io ? (@Seolyzer_io) 15 de noviembre de 2021
Otros notaron un problema similar en el que las páginas que mostraban una respuesta 304 tenían tasas de rastreo drásticamente más bajas:
jajaja vi que este WE y antes de hacer un hilo estaba buscando información / anuncios que pudieran explicar pero la explicación es claramente amp y 304
– Raphael Doucet (@RaphSEO) 15 de noviembre de 2021
Otra persona notó una reducción de los rastreos en las páginas de viajes, pero un aumento de rastreo en las páginas de comercio electrónico:
Vi este patrón solo en el portal de turismo y viajes en Croacia, las verticales de comercio electrónico están bien (incluso vieron un gran aumento en los rastreos después de la noche del 11 de noviembre en varios)
– Marko Cvijic (@MarkoCvijic) 15 de noviembre de 2021
Muchos otros comparten análisis y capturas de pantalla de la consola de búsqueda:
@JohnMu Creo que hay más problemas de enrutamiento con el rastreo de Google nuevamente. Servidor Nginx local y encabezados S3, mismo problema. ¿Puedes contarnos algo al respecto? ¿Quizás un problema relacionado con Cloudflare? https://t.co/c8eV9C4pxg @Seolyzer_io pic.twitter.com/mG1Iqb30UR
— Carlos Redondo (@carlosredondo) 15 de noviembre de 2021
Más datos:
Extraje algunos datos, centrados alrededor del 21-11-11 19:39 (hora parisina).
Algunas IP de rastreo verificadas por Google se oscurecieron por completo desde ese momento. pic.twitter.com/FcqeMXuJPv– Baptiste M. (@bactisme) 15 de noviembre de 2021
El código de respuesta 304 no debe alterar el rastreo
Página de ayuda oficial para desarrolladores de Google documentación sobre el rastreo del robot de Google establece que un código de respuesta 304 no debería afectar el rastreo.
Esto es lo que aconseja la documentación oficial de Google:
“El robot de Google indica a la canalización de indexación que el contenido es el mismo que la última vez que se rastreó.
La canalización de indexación puede volver a calcular las señales para la URL, pero de lo contrario, el código de estado no tiene ningún efecto en la indexación «.
Anuncio publicitario
Continuar leyendo a continuación
¿Es posible que Google haya cambiado (de forma permanente o temporal) y que la página del desarrollador esté desactualizada?
Teoría del consentimiento de cookies
La teoría 304 Server Response es una de las muchas teorías y soluciones para explicar por qué Googlebot podría no indexar una página web.
Una persona tuiteó que Google aumentó la indexación después de eliminar una barra de consentimiento de cookies.
¿Google ya no rastrea e indexa nuevas páginas? Tuve el mismo problema y eliminé la barra de consentimiento de cookies (Cookiepro) para probar. Adivina qué – problema resuelto. @JohnMu – ¿Alguna idea de por qué Google podría no rastrear e indexar páginas nuevas con una ventana emergente de consentimiento de cookies?
– Dennis Sievers (@resiever) 16 de noviembre de 2021
¿Por qué una barra de respuesta de cookies haría que Google no indexara una página web? ¿Podría la barra de consentimiento de cookies haber activado una respuesta 304, lo que provocó que Google no indexara la página?
Reducción de los rastreos de Googlebot discutidos en Reddit
El fenómeno de los rastreos reducidos de Googlebot también se discutió en Reddit.
Un Redditor describió cómo, en el pasado, los artículos de su sitio exitoso se indexaban dentro de los 10 minutos posteriores a su envío a través de Google Search Console.
Relataron que recientemente solo se indexa la mitad de los nuevos artículos.
Anuncio publicitario
Continuar leyendo a continuación
Pero eso cambió en noviembre según esta publicación de Reddit:
«Por el motivo que sea, ahora menos de la mitad de nuestros nuevos artículos se indexan, incluso si yo los envío manualmente después de su publicación».
Otros redditors compartieron experiencias similares:
«Mucha gente está experimentando algo similar en este momento … Algo parece estar sucediendo con Google».
«Algo está sucediendo con Google indexando nuevas publicaciones …»
«Mi sitio web tiene 17 años … de repente, el último artículo tardó semanas en indexarse».
Google dice que nada está roto
John Mueller de Google respondió a las preguntas en Reddit:
“No veo nada roto en la forma en que Google indexa las cosas en este momento. Sin embargo, creo que somos críticos con lo que seleccionamos para indexar, como debería hacerlo cualquier motor de búsqueda «.
¿Google está probando nuevos patrones de rastreo?
Bing anunció en octubre un protocolo de indexación de código abierto llamado IndexNow cuyo objetivo es reducir la frecuencia con la que los rastreadores rastrean páginas web con el fin de reducir la cantidad de energía que se utiliza en los centros de datos para rastrear y en los servidores para servir páginas web. El nuevo protocolo beneficia a los editores porque acelera el proceso de notificación a los motores de búsqueda cuando se actualizan o crean páginas, lo que resulta en una indexación más rápida de las páginas web de calidad.
Anuncio publicitario
Continuar leyendo a continuación
En noviembre Google anunció que probaría el nuevo protocolo de indexación IndexNow para ver si tiene beneficios.
Ahorrar energía y reducir la huella de carbono es uno de nuestros problemas más importantes en la actualidad. ¿Podría ser que Google esté mejorando las formas de reducir el rastreo sin cambiar radicalmente a un nuevo protocolo?
¿Google ha reducido el rastreo de páginas web?
Hay algunas afirmaciones de que Google ha dejado de indexar por completo, pero eso es incorrecto. Sin embargo, existe una discusión significativa sobre las redes sociales respaldadas con datos que respaldan que los patrones de indexación de Googlebot han cambiado.
Consultar el artículo en la publicación original
