Testeur de Robots.txt

Il analyse votre robots.txt et vérifie si des URL spécifiques seraient autorisées ou bloquées pour n'importe quel robot d'exploration (user-agent), selon des règles de correspondance de type Google.

La règle correspondante la plus spécifique (la plus longue) l'emporte. À spécificité égale, Allow prime sur Disallow. Prend en charge les caractères génériques * et les ancres de fin d'URL $.

Oui — l'onglet Test groupé d'URL accepte plusieurs URL et affiche le verdict AUTORISÉ/BLOQUÉ pour chaque URL avec des totaux récapitulatifs.

Oui, le Testeur de Robots.txt est 100 % gratuit, sans inscription, sans frais cachés ni limite d'utilisation. Tout le traitement se fait localement dans votre navigateur, garantissant une confidentialité totale.

Absolument. Le Testeur de Robots.txt traite tout côté client, dans votre navigateur. Aucune donnée n'est envoyée ni stockée sur un serveur. Votre contenu reste privé sur votre appareil à tout moment.

Oui, le Testeur de Robots.txt est entièrement responsive et fonctionne sur smartphones et tablettes. Vous pouvez l'utiliser sur n'importe quel appareil doté d'un navigateur web moderne, sans téléchargement d'application.

Aucun compte ni inscription n'est nécessaire. Ouvrez simplement le Testeur de Robots.txt dans votre navigateur et commencez à l'utiliser immédiatement. Il n'y a ni page d'inscription ni restriction d'utilisation.

Oui, le Testeur de Robots.txt est conçu en suivant les directives et les bonnes pratiques actuelles de Google Search. Nous mettons régulièrement l'outil à jour pour refléter les évolutions des exigences des moteurs de recherche.

Saisissez simplement votre texte dans le champ prévu, ajustez les paramètres selon vos préférences et l'outil le traitera instantanément. Vous pourrez ensuite copier le résultat dans le presse-papiers ou le télécharger.

Le Testeur de Robots.txt fonctionne dans tous les navigateurs modernes, y compris Chrome, Firefox, Safari, Edge et Opera. Pour une expérience optimale, utilisez la dernière version de votre navigateur préféré.

Robots.txt contrôle l'exploration, pas l'indexation. Une règle Disallow indique aux crawlers de ne pas demander une URL, mais elle ne retire pas cette URL des résultats de recherche — si d'autres pages y font un lien, Google peut tout de même indexer ce lien sans description, puisqu'il n'a jamais été autorisé à lire la page. Une balise meta noindex ou un en-tête HTTP, à l'inverse, laisse le crawler récupérer la page puis l'exclut explicitement de l'index. Le piège, c'est que noindex ne fonctionne que si la page est explorable : la bloquer dans robots.txt empêche justement Google de jamais voir la directive noindex. Pour masquer une page de façon fiable, autorisez l'exploration et utilisez noindex ; pour économiser du budget d'exploration sur des URLs réellement sans valeur, utilisez Disallow. Ce testeur affiche le verdict exact AUTORISÉ ou BLOQUÉ afin que vous puissiez confirmer qu'une page est atteignable avant de vous fier à noindex.

L'astérisque (*) correspond à n'importe quelle suite de caractères, et le signe dollar ($) ancre une règle à la fin du chemin de l'URL. Ensemble, ils permettent à une seule ligne de couvrir de nombreuses URLs. Par exemple, Disallow: /*?sort= bloque tout chemin contenant un paramètre de tri, ce qui est utile pour les URLs de recherche à facettes et de filtres qui génèrent des pages en double à l'infini. Disallow: /*.pdf$ ne bloque que les URLs se terminant par .pdf, si bien qu'un chemin comme /guide.pdf?ref=email ne correspondrait pas, puisque quelque chose suit l'extension. Google et la plupart des crawlers modernes prennent en charge les deux symboles, mais il est facile de se tromper subtilement, et un joker mal placé peut bloquer bien plus que prévu. Collez votre fichier et testez une URL d'exemple ici pour voir si votre règle avec joker correspond comme vous l'attendez.

Vous ciblez chaque robot par son nom, dans son propre groupe de user-agent. Les crawlers de recherche et les crawlers d'entraînement IA utilisent des chaînes de user-agent différentes, si bien qu'une règle définie sous l'un n'affecte pas l'autre. Pour que Googlebot et Bingbot continuent d'indexer votre site tout en écartant les robots IA, laissez User-agent: * en Allow, puis ajoutez des groupes distincts avec Disallow: / pour des agents comme GPTBot, ChatGPT-User, Google-Extended, anthropic-ai, ClaudeBot, CCBot, PerplexityBot et Bytespider. Comme c'est le groupe correspondant le plus spécifique qui l'emporte, chaque robot nommé suit son propre blocage tandis que les moteurs de recherche restent soumis à la règle par défaut permissive. Notez que le respect de ces règles est volontaire — les robots bien élevés honorent robots.txt, mais ce n'est pas une barrière de sécurité. Ce testeur inclut un préréglage Bloquer les robots IA et permet de simuler chaque crawler individuellement pour confirmer que les moteurs de recherche restent autorisés pendant que les robots IA sont bloqués.

La raison la plus courante est l'emplacement : un fichier robots.txt doit se trouver à la racine de l'hôte qu'il régit, exactement à /robots.txt, et les règles s'appliquent par protocole, sous-domaine et port. Un fichier situé dans /dossier/robots.txt ou sur le domaine racine ne contrôlera pas un sous-domaine. Parmi les autres échecs silencieux : des lignes Allow ou Disallow placées avant toute ligne User-agent (les crawlers les ignorent), des groupes de user-agent en double qui fusionnent de façon inattendue, une règle Allow inatteignable masquée par un Disallow plus spécifique, et l'absence d'un groupe par défaut User-agent: *. Des fautes de frappe dans les noms de directives et des valeurs négatives de Crawl-delay sont également souvent écartées silencieusement. Ce testeur analyse l'intégralité de votre fichier, signale ces problèmes structurels avec les numéros de ligne, et nomme la directive exacte qui décide du sort de chaque URL, afin que vous puissiez identifier pourquoi une règle ne se comporte pas comme prévu.

Non — Google ne prend pas en charge la directive Crawl-delay et l'ignore entièrement, donc l'ajouter ne changera pas la vitesse à laquelle Googlebot demande vos pages. Pour ajuster la vitesse d'exploration de Google, vous dépendez de son exploration adaptative automatique, qui réagit à la vitesse de votre serveur et à ses réponses d'erreur. Crawl-delay est en revanche respecté par certains autres crawlers, dont Bingbot et Yandex, où il fixe le nombre minimal de secondes qu'un robot attend entre deux requêtes. Une valeur négative est invalide et est écartée. Comme la prise en charge varie selon le moteur, il vaut la peine de vérifier quel crawler lit la directive et quelle valeur s'applique à lui. Ce testeur affiche la valeur de Crawl-delay pour le user-agent que vous sélectionnez, l'analyse dans votre fichier et vous alerte en cas de valeurs négatives invalides, afin que vous voyiez d'un coup d'œil quels robots votre délai affecte réellement.