Probador de Robots.txt

Analiza tu robots.txt y verifica si determinadas URLs estarían permitidas o bloqueadas para cualquier rastreador (user-agent), aplicando reglas de coincidencia al estilo de Google.

Gana la regla coincidente más específica (la más larga). Con igual especificidad, Allow prevalece sobre Disallow. Admite comodines * y anclas de fin de URL $.

Sí: la pestaña de prueba masiva de URLs acepta varias URLs y muestra el veredicto PERMITIDO/BLOQUEADO por cada URL con recuentos de resumen.

Sí, el Probador de Robots.txt es 100 % gratis, sin registro, sin cargos ocultos y sin límites de uso. Todo el procesamiento ocurre localmente en tu navegador, garantizando una privacidad total.

Por supuesto. El Probador de Robots.txt procesa todo del lado del cliente, en tu navegador. No se sube ni almacena ningún dato en ningún servidor. Tu contenido permanece privado en tu dispositivo en todo momento.

Sí, el Probador de Robots.txt es totalmente adaptable y funciona en smartphones y tablets. Puedes usarlo en cualquier dispositivo con un navegador web moderno, sin necesidad de descargar ninguna app.

No hace falta cuenta ni registro. Simplemente abre el Probador de Robots.txt en tu navegador y empieza a usarlo de inmediato. No hay muros de registro ni restricciones de uso.

Sí, el Probador de Robots.txt está desarrollado siguiendo las directrices y buenas prácticas actuales de Google Search. Actualizamos la herramienta con regularidad para reflejar los cambios en los requisitos de los motores de búsqueda.

Solo tienes que introducir tu texto en el campo correspondiente, ajustar los parámetros según tus preferencias y la herramienta lo procesará al instante. Después puedes copiar el resultado al portapapeles o descargarlo.

El Probador de Robots.txt funciona en todos los navegadores modernos, incluidos Chrome, Firefox, Safari, Edge y Opera. Para una mejor experiencia, usa la última versión de tu navegador preferido.

Robots.txt controla el rastreo, no la indexación. Una regla Disallow indica a los rastreadores que no soliciten una URL, pero no la elimina de los resultados de búsqueda: si otras páginas enlazan a ella, Google puede seguir indexando ese enlace sin descripción, ya que nunca tuvo permiso para leer la página. Una etiqueta meta noindex o una cabecera HTTP, en cambio, permite que el rastreador acceda a la página y luego la excluye explícitamente del índice. El problema es que noindex solo funciona si la página es rastreable, así que bloquearla en robots.txt impide directamente que Google llegue a ver la directiva noindex. Para ocultar una página de forma fiable, permite su rastreo y usa noindex; para ahorrar presupuesto de rastreo en URLs realmente inútiles, usa Disallow. Esta herramienta te muestra el veredicto exacto de PERMITIDO o BLOQUEADO para que puedas confirmar que una página es accesible antes de confiar en noindex.

El asterisco (*) coincide con cualquier secuencia de caracteres, y el símbolo de dólar ($) ancla una regla al final de la ruta de la URL. Juntos permiten que una sola línea cubra muchas URLs. Por ejemplo, Disallow: /*?sort= bloquea cualquier ruta que contenga un parámetro sort, algo muy útil para las URLs de búsqueda facetada y filtros que generan páginas duplicadas infinitas. Disallow: /*.pdf$ bloquea únicamente las URLs que terminan en .pdf, de modo que una ruta como /guia.pdf?ref=email no coincidiría, porque hay algo después de la extensión. Google y la mayoría de los rastreadores modernos admiten ambos símbolos, pero es fácil equivocarse de forma sutil, y un comodín mal colocado puede bloquear muchísimo más de lo que pretendías. Pega tu archivo y prueba una URL de ejemplo aquí para comprobar si tu regla con comodín coincide como esperas.

Se hace apuntando a cada bot por su nombre en su propio grupo de user-agent. Los rastreadores de búsqueda y los rastreadores de entrenamiento de IA usan cadenas de user-agent distintas, así que una regla en uno no afecta al otro. Para que Googlebot y Bingbot sigan indexando tu sitio mientras dejas fuera a los bots de IA, deja User-agent: * en Allow y añade grupos separados con Disallow: / para agentes como GPTBot, ChatGPT-User, Google-Extended, anthropic-ai, ClaudeBot, CCBot, PerplexityBot y Bytespider. Como gana el grupo de coincidencia más específico, cada bot con nombre propio sigue su propio bloqueo mientras los buscadores se mantienen bajo la regla permisiva por defecto. Ten en cuenta que el cumplimiento es voluntario: los bots que se comportan bien respetan robots.txt, pero no es una barrera de seguridad. Esta herramienta incluye un preset de Bloquear bots de IA y te permite simular cada rastreador individualmente para confirmar que los buscadores siguen permitidos mientras los bots de IA quedan bloqueados.

El motivo más habitual es la ubicación: un archivo robots.txt debe estar en la raíz del host que gobierna, exactamente en /robots.txt, y las reglas se aplican por protocolo, subdominio y puerto. Un archivo en /carpeta/robots.txt o uno alojado en el dominio raíz no controlará un subdominio. Otros fallos silenciosos habituales son: líneas Allow o Disallow colocadas antes de cualquier línea User-agent (los rastreadores las ignoran), grupos de user-agent duplicados que se fusionan de forma inesperada, una regla Allow inalcanzable porque queda eclipsada por un Disallow más específico, y la ausencia del grupo por defecto User-agent: *. Los errores tipográficos en los nombres de directivas y los valores negativos de Crawl-delay también se descartan con frecuencia. Esta herramienta analiza todo tu archivo, señala estos problemas estructurales con su número de línea y nombra la directiva exacta que decide cada URL, para que puedas identificar por qué una regla no se comporta como esperabas.

No: Google no admite la directiva Crawl-delay y la ignora por completo, así que añadirla no cambiará la velocidad a la que Googlebot solicita tus páginas. Para ajustar la velocidad de rastreo de Google se depende de su rastreo adaptativo automático, que responde a la velocidad de tu servidor y a las respuestas de error. Sin embargo, Crawl-delay sí es respetado por otros rastreadores, entre ellos Bingbot y Yandex, donde establece el número mínimo de segundos que un bot espera entre solicitudes. Un valor negativo no es válido y se descarta. Como el soporte varía según el motor, conviene confirmar qué rastreador lee la directiva y qué valor se le aplica. Esta herramienta muestra el valor de Crawl-delay para el user-agent que selecciones, lo analiza a partir de tu archivo y te avisa de los valores negativos no válidos, para que puedas ver de un vistazo a qué bots afecta realmente tu retardo.