Ver contenido
Meta Robots: Cómo Controlar la Indexación y el Rastreo de tus Páginas
Introducción
La etiqueta meta robots le indica a los motores de búsqueda cómo deben tratar una página específica: si pueden indexarla, si deben seguir sus enlaces y qué fragmentos pueden mostrar en los resultados de búsqueda. El UXR SEO Analyzer revisa la etiqueta meta name="robots" de cada página para detectar directivas conflictivas o bloqueos accidentales de indexación.
Qué Es la Etiqueta Meta Robots
Se coloca dentro del <head> del HTML y acepta una lista de directivas separadas por comas:
<meta name="robots" content="noindex, nofollow">También existe una variante HTTP equivalente, el encabezado X-Robots-Tag, que funciona con cualquier tipo de recurso (PDF, imágenes, JSON), no solo con HTML:
X-Robots-Tag: noindex, nofollowDirectivas Más Comunes
| Directiva | Efecto |
|---|---|
noindex | Impide que la página aparezca en los resultados de búsqueda |
nofollow | Le dice al rastreador que no siga los enlaces de la página |
noarchive | Evita que se muestre una copia en caché de la página |
nosnippet | Impide mostrar texto o video de vista previa en los resultados |
max-snippet:[número] | Limita la longitud del fragmento de texto mostrado |
max-image-preview:[setting] | Controla el tamaño de la vista previa de imagen (none, standard, large) |
noimageindex | Evita que las imágenes de la página se indexen |
El Error Más Común: Bloquear en robots.txt Y Esperar que noindex Funcione
Google ha explicado en su blog para desarrolladores que si robots.txt bloquea el rastreo de una URL, Googlebot nunca podrá acceder a ella para leer la etiqueta noindex—por lo tanto, la página puede seguir apareciendo indexada (sin contenido) a partir de enlaces externos. La secuencia correcta es: permitir el rastreo en robots.txt, dejar que Googlebot visite la página, y que ahí encuentre la directiva noindex.
Resolución de Conflictos
Cuando existen valores contradictorios (por ejemplo, una directiva index en el HTML y otra noindex en el encabezado HTTP), Google aplica siempre la combinación más restrictiva: noindex gana sobre index, y nofollow gana sobre follow.
Casos de Uso Típicos
- Páginas de resultados de búsqueda internos (evitar contenido duplicado de baja calidad)
- Páginas de agradecimiento o checkout (sin valor para búsqueda)
- Entornos de staging accidentalmente públicos
- Páginas de filtros con parámetros que generan combinaciones infinitas
Meta Robots vs. robots.txt
Son mecanismos distintos que a menudo se confunden:
| Mecanismo | Controla | Efecto si se bloquea |
|---|---|---|
robots.txt | Rastreo (crawling) | Googlebot no visita la URL; la etiqueta meta robots nunca se lee |
meta robots | Indexación (indexing) | Googlebot visita la URL, la lee, pero no la indexa |
Por eso, para eliminar una página de forma confiable del índice, la directiva noindex siempre debe ir acompañada de acceso permitido en robots.txt.
Meta Robots por Bot Específico
El atributo name también acepta el nombre de un rastreador específico en lugar de robots, lo que permite dar instrucciones distintas a cada motor de búsqueda:
<meta name="googlebot" content="noindex">
<meta name="bingbot" content="index, follow">Esto es útil cuando se quiere excluir una página solo de Google manteniendo su visibilidad en otros buscadores, aunque en la práctica la mayoría de los sitios usan la directiva genérica robots para simplificar el mantenimiento.
Qué Revisa el UXR SEO Analyzer
La herramienta detecta cuando una página clave del sitio tiene noindex sin intención aparente, cuando existen directivas duplicadas o contradictorias entre múltiples etiquetas meta robots, y cuando el robots.txt bloquea páginas que además llevan noindex—un patrón que impide que Google vea la directiva.
Referencias
- Google Search Central - Especificaciones de las Etiquetas Meta Robots
- Google Search Central - Bloquear la Indexación de Búsqueda con noindex
- Google Search Central Blog - Mejorando el Protocolo de Exclusión de Robots
- MDN Web Docs - Valor del atributo meta name="robots"