Google había discutido permitir Noindex en Robots.txt

John Mueller de Google respondió a una pregunta en LinkedIn para discutir el uso de una directiva noindex no compatible en el archivo robots.txt de su sitio web personal. Explicó los pros y los contras del soporte de la directiva por parte de los motores de búsqueda y ofreció información sobre las discusiones internas de Google sobre su apoyo.

Los robots de John Mueller.txt

Robots de Mueller.txt ha sido un tema de conversación durante la semana pasada debido a la rareza general de las directivas extrañas y no estándar que utilizó en él.

Era casi inevitable que el archivo robots.txt de Mueller fuera analizado y se volviera viral en la comunidad de marketing de búsqueda.

Directiva sin índice

Todo lo que está en un archivo robots.txt se llama directiva. Una directiva es una solicitud dirigida a un rastreador web que está obligado a obedecer (si obedece las directivas de robots.txt).

Existen estándares sobre cómo escribir una directiva robots.txt y cualquier cosa que no se ajuste a esos estándares probablemente será ignorada. Una directiva no estándar en el archivo robots.txt de Mueller llamó la atención de alguien que decidió publicar una pregunta al respecto a John Mueller a través de LinkedIn, para saber si Google apoyaba la directiva no estándar.

Es una buena pregunta porque es fácil suponer que si un empleado de Google la usa, entonces tal vez Google la admita.

La directiva no estándar era noindex. Noindex es parte del metarobots estándar pero no el estándar robots.txt. Mueller no tenía sólo una instancia de la directiva noindex, tenía 5.506 directivas noindex.

El especialista en SEO que hizo la pregunta, Mahek Giri, escribió:

“En el archivo robots.txt de John Mueller,

hay un comando inusual:

“sin índice:”

Este comando no forma parte del formato estándar robots.txt,

Entonces, ¿crees que tendrá algún impacto en la forma en que los motores de búsqueda indexan sus páginas?

John Mueller tiene curiosidad por saber sobre noindex: en robots.txt”

Por qué Google no admite la directiva Noindex en Robots.txt

John Mueller de Google respondió que no era compatible.

Mueller respondió:

«Esta es una directiva sin respaldo, no hace nada».

Mueller luego continuó explicando que Google había considerado en algún momento apoyar la directiva noindex desde dentro del archivo robots.txt porque proporcionaría una manera para que los editores impidieran que Google rastreara e indexara contenido al mismo tiempo.

En este momento es posible bloquear el rastreo en robots.txt o bloquear la indexación con la directiva meta robots noindex. Pero no se puede bloquear la indexación con la directiva meta robots y bloquear el rastreo en el archivo robots.txt al mismo tiempo porque un bloqueo en el rastreo impedirá que el rastreador «vea» la directiva meta robots.

Mueller explicó por qué Google decidió no seguir adelante con la idea de respetar la directiva noindex dentro del archivo robots.txt.

El escribio:

“Hubo muchas discusiones sobre si debería admitirse como parte del estándar robots.txt. La idea detrás de esto era que sería bueno bloquear tanto el rastreo como la indexación al mismo tiempo. Con robots.txt, puede bloquear el rastreo o la indexación (con una metaetiqueta de robots, si permite el rastreo). La idea era que también se pudiera tener un «noindex» en robots.txt y bloquear ambos.

Desafortunadamente, debido a que muchas personas copian y pegan archivos robots.txt sin mirarlos en detalle (¡pocas personas miran tan lejos como usted!), sería muy, muy fácil para alguien eliminar accidentalmente partes críticas de un sitio web. Y entonces, se decidió que este no debería ser un director compatible, ni parte del estándar robots.txt… probablemente hace más de 10 años en este momento”.

¿Por qué estaba ese Noindex en Robots.txt de Mueller?

Mueller dejó claro que es poco probable que Google admita esa etiqueta y que esto se confirmó hace unos diez años. La revelación sobre esas discusiones internas es interesante, pero también profundiza la sensación de rareza sobre el archivo robots.txt de Mueller.

Ver también: 8 problemas comunes de Robots.txt y cómo solucionarlos

Imagen destacada de Shutterstock/Kues