Cómo usar la etiqueta Meta Robots en SEO

Uso de la etiqueta Meta Robots para SEO

Puedes usar la etiqueta meta robots para controlar dónde y cómo Google y otros rastreadores de motores de búsqueda se mueven por tu sitio web y pasan enlaces de una página a otra. Si eso te suena familiar a otro archivo de texto en tu sitio web, sigue leyendo...

En esta guía, cubriremos:

Qué es la etiqueta meta robots y por qué es importante
Cómo usar la metaetiqueta robots para SEO
Los beneficios de usar la metaetiqueta robots

¿Qué es la metaetiqueta Robots y por qué importa?

La metaetiqueta robots es una etiqueta HTML que va la etiqueta de cabecera de una página y proporciona instrucciones a los bots. Al igual que el archivo robots.txt, le dice a los rastreadores de los motores de búsqueda si pueden o no indexar una página.

Para encontrar la metaetiqueta robots en una página, simplemente haz clic derecho en una página web, haz clic en "Ver código fuente" y luego busca (ctrl + F) "robots". Debería verse algo así:

En este ejemplo, la línea superior da se aplica a todos los robots de los motores de búsqueda, mientras que las 4 líneas siguientes se aplican a agentes de usuario específicos. En este ejemplo, la etiqueta meta robots le dice a los motores de búsqueda que no indexen la página. Sin embargo, los bots pueden seguir los enlaces que encuentran en la página.

La metaetiqueta robots es importante porque agrega una capa adicional de protección al archivo robots.txt. Cuando un rastreador sigue un enlace externo y llega a una de tus páginas, aún puede rastrear e indexar esa página porque no ha visto el archivo robots.txt.

La metaetiqueta robots evita que suceda este rastreo e indexación.

¿En qué se diferencian los meta robots de robots.txt?

La metaetiqueta robots se aplica solo a la página que contiene la etiqueta. Los archivos Robots.txt se aplican a todo el sitio web.

¿Cómo funciona la metaetiqueta robots?

Como puede ver, hay dos partes de la etiqueta: name="" y content="".

Lee nuestra guía de rastreadores de motores de búsqueda para más información sobre cómo funcionan.

La parte del nombre especifica el agente de usuario del bot que está instruyendo, al igual que la línea de agente de usuario en un archivo robots.txt. A diferencia de robots.txt, la etiqueta no utiliza un carácter comodín para incluir todos los bots. Para eso, simplemente escribe "robots".

De ahí el nombre de la etiqueta meta robots.

La segunda parte, content="" es donde le dices a los bots qué hacer.

¿Qué valores de metaetiquetas de robots hay?

Hay muchos valores diferentes que puede agregar al campo "contenido" en la etiqueta robots. Cada uno de estos valores hace algo diferente:

Index: Indica a los motores de búsqueda que indexen la página. Esto puede parecer inútil a primera vista ya que "Index" es el predeterminado, pero puede ser útil si desea que solo un grupo particular de motores de búsqueda indexe la página.
NoIndex: Le dice a los motores de búsqueda que no indexen la página para que no aparezca en los resultados de búsqueda.
NoImageIndex: Le dice a los motores de búsqueda que no indexen las imágenes en una página. Sin embargo, si alguien agrega esa imagen en otro lugar de la web, Google aún la indexará y la mostrará en los resultados de la imagen.
None: Esto funciona como un atajo para "noindex, nofollow". Le dice a los motores de búsqueda que ignoren la página y finjan que nunca la han visto.
Follow: Indica a los motores de búsqueda que sigan los enlaces que encuentran en la página. Al igual que con "Index", este es el estado predeterminado cuando un bot no encuentra una metaetiqueta de robots que se aplique a él.
NoFollow: Le dice a los motores de búsqueda que no sigan ningún enlace en una página. También puedes agregar este valor a un enlace individual.
NoArchive: Le dice a los motores de búsqueda que no muestren copias en caché de la página.
NoCache: Lo mismo que "NoArchive" excepto que para MSN/Live.
NoSnippet: Impide que los motores de búsqueda muestren un fragmento de esta página en los resultados de búsqueda. También les impide almacenar la página en caché.
NoTranslate: Indica a los motores de búsqueda que no ofrezcan versiones traducidas de la página en los resultados de búsqueda.
Unavailable_after: Indica a los motores de búsqueda que no muestren la página en los resultados de búsqueda después de una fecha determinada.
NoYDir: Esto le dice al motor de búsqueda que no use la descripción de página del directorio de Yahoo! en el fragmento de búsqueda.
NoODP: Impide que los motores de búsqueda usen la descripción de la página de DMOZ en el fragmento de búsqueda. ODP es la comunidad que ejecuta y mantiene el directorio DMOZ.

Estos dos últimos valores, NoYDir y NoODP, no tienen ningún uso en estos días. Ni Yahoo! El directorio o DMOZ existen más. Sin embargo, es posible que aún los veas mientras navegas en la web.

Para complicar un poco las cosas está el hecho de que no todos los motores de búsqueda admiten todos los valores. Así que aquí hay una tabla útil que lo desglosa:

¿Qué valores son reconocidos por qué motor de búsqueda? Value Google Bing Yandex index Sí Sí Sí noindex Sí Sí Sí none Sí Duda Sí noimageindex Sí No No follow Sí Duda Sí nofollow Sí Sí Sí noarchive/nocache Sí Sí Sí nosnippet Sí No No notranslate Sí No No unavailable_after Sí No No noodp No No No noydir No No No

Con comas, puedes crear metaetiquetas de varias directivas en lugar de crear una etiqueta para cada directiva. De hecho, verás esto con bastante frecuencia, ya que muchas metaetiquetas de robots utilizan valores "noindex, nofollow":

¿Cómo utilizo las metaetiquetas de Robots para SEO?

Asegurarte de que ciertas páginas de bajo valor permanezcan fuera del índice y los resultados de búsqueda de Google es una parte tan importante del SEO como incluir páginas en los resultados de búsqueda. No indexar páginas de bajo valor puede ayudar a aumentar lo que se conoce como "demanda de rastreo" de tu sitio, lo que puede ayudar a que tu sitio se rastree con más frecuencia.

La etiqueta meta robots también agrega una capa adicional de protección para las páginas que se han bloqueado a través de tu archivo robots.txt. Esas páginas aún pueden ser indexadas si Google aterriza en ellas desde un backlink externo. La etiqueta Noindex evitará esto.

El uso de la metaetiqueta robots para evitar que una página se indexe y que siga sus enlaces se ve así:

Los valores noindex y nofollow son los dos valores más utilizados en la etiqueta meta robots. Sin embargo, los otros valores enumerados anteriormente también tienen valor de SEO:

NoImageIndex: Esto indica a los motores de búsqueda que no rastreen las imágenes en una página.
None: Esto equivale a usar "noindex, nofollow" combinado en un valor. Los rastreadores de búsqueda no indexarán la página ni seguirán ningún enlace.
NoArchive: Impide que los motores de búsqueda muestren una versión en caché de tu página. Asegúrate de que las personas siempre vean la última versión de tu contenido. MSN/Live usa "NoCache" en lugar de "NoArchive".
NoSnippet: Esto evita que los motores de búsqueda muestren un fragmento de tu sitio en los resultados de búsqueda y que muestren una versión en caché de la página.

Si el objetivo del SEO es hacer que las páginas se conviertan en resultados de búsqueda, ¿cómo pueden los meta robots ayudar al SEO de una página?

Evita que los archivos o carpetas privados se indexen y se muestren en los resultados de búsqueda. En general, es recomendable no publicar este contenido en tu sitio o protegerlo con contraseña. Sin embargo, si por alguna razón tienes que ponerlo en tu sitio, la metaetiqueta robots te mantendrá fuera de Google.
Ayuda a los motores de búsqueda a rastrear tu sitio de manera más eficiente. Los robots de búsqueda tienen presupuestos de rastreo limitados, por lo que, en teoría, podrían pasar todo su tiempo rastreando páginas que realmente no te importa clasificar, mientras ignoran las más importantes. El bloqueo de la indexación de estos archivos sin importancia ayudará a guiar a los rastreadores a tus páginas más valiosas.
Si tienes una página que ha adquirido mucho contenido de enlaces, pero no desea que se indexe, usa la directiva follow para pasar ese contenido de enlaces a otras páginas de tu sitio.

Si bien nunca es recomendable publicar información confidencial en tu sitio web, a veces sucede. Bloquear estas URLs a través del robots.txt es decirle a cualquiera que lo lea que debería echar un vistazo a esas páginas. Agregar "noindex" a una metaetiqueta de robots mantendrá esa página fuera de los resultados de búsqueda sin incluirla donde alguien pueda encontrarla.

La parte más importante del uso de la metaetiqueta robots es asegurarse de que la estás utilizando correctamente. No es extraño que un sitio completo sea desindexado porque alguien agregó accidentalmente la etiqueta robots noindex a todo el sitio. Por lo tanto, comprender cómo funciona la metaetiqueta de robots es absolutamente vital para el SEO.