Robots.txt-Tester

Es analysiert deine robots.txt und prüft, ob bestimmte URLs für einen beliebigen User-Agent-Crawler erlaubt oder blockiert wären, anhand von Abgleichsregeln im Google-Stil.

Die spezifischste (längste) übereinstimmende Regel gewinnt. Bei gleicher Spezifität schlägt Allow das Disallow. Unterstützt *-Platzhalter und $-Anker für das URL-Ende.

Ja — der Tab „Bulk-URL-Test“ akzeptiert mehrere URLs und zeigt das Urteil ERLAUBT/BLOCKIERT pro URL mit zusammenfassenden Zählungen an.

Ja, der Robots.txt-Tester ist zu 100 % kostenlos, ohne Registrierung, ohne versteckte Gebühren und ohne Nutzungslimits. Die gesamte Verarbeitung erfolgt lokal in deinem Browser und gewährleistet vollständige Privatsphäre.

Absolut. Der Robots.txt-Tester verarbeitet alles clientseitig in deinem Browser. Es werden keine Daten auf einen Server hochgeladen oder dort gespeichert. Deine Inhalte bleiben jederzeit privat auf deinem Gerät.

Ja, der Robots.txt-Tester ist vollständig responsiv und funktioniert auf Smartphones und Tablets. Du kannst ihn auf jedem Gerät mit einem modernen Webbrowser nutzen, ohne eine App herunterzuladen.

Es ist kein Konto und keine Registrierung erforderlich. Öffne einfach den Robots.txt-Tester in deinem Browser und beginne sofort mit der Nutzung. Es gibt keine Anmeldeschranken oder Nutzungsbeschränkungen.

Ja, der Robots.txt-Tester wurde gemäß den aktuellen Richtlinien und Best Practices von Google Search entwickelt. Wir aktualisieren das Tool regelmäßig, um Änderungen der Suchmaschinenanforderungen zu berücksichtigen.

Gib einfach deinen Text in das vorgesehene Feld ein, passe die Einstellungen nach Belieben an, und das Tool verarbeitet ihn sofort. Anschließend kannst du das Ergebnis in die Zwischenablage kopieren oder herunterladen.

Der Robots.txt-Tester funktioniert in allen modernen Browsern, darunter Chrome, Firefox, Safari, Edge und Opera. Für das beste Erlebnis verwende die neueste Version deines bevorzugten Browsers.

Robots.txt steuert das Crawling, nicht die Indexierung. Eine Disallow-Regel weist Crawler an, eine URL nicht anzufragen, entfernt diese URL aber nicht aus den Suchergebnissen — verlinken andere Seiten darauf, kann Google den Link trotzdem ohne Beschreibung indexieren, da die Seite selbst nie gelesen werden durfte. Ein noindex-Meta-Tag oder HTTP-Header lässt den Crawler die Seite dagegen abrufen und schließt sie anschließend ausdrücklich von der Indexierung aus. Der Haken: noindex funktioniert nur, wenn die Seite crawlbar ist — eine Blockierung in robots.txt verhindert also, dass Google die noindex-Direktive überhaupt jemals zu Gesicht bekommt. Um eine Seite zuverlässig zu verbergen, erlaube das Crawling und nutze noindex; um Crawl-Budget bei wirklich wertlosen URLs zu sparen, nutze Disallow. Dieser Tester zeigt dir das exakte ALLOWED- oder BLOCKED-Urteil, damit du bestätigen kannst, dass eine Seite erreichbar ist, bevor du dich auf noindex verlässt.

Der Asterisk (*) steht für eine beliebige Zeichenfolge, das Dollarzeichen ($) verankert eine Regel am Ende des URL-Pfads. Zusammen decken sie mit einer einzigen Zeile viele URLs ab. Disallow: /*?sort= blockiert zum Beispiel jeden Pfad mit einem Sortierparameter — praktisch bei facettierter Suche und Filter-URLs, die endlose Duplicate-Content-Seiten erzeugen. Disallow: /*.pdf$ blockiert dagegen nur URLs, die auf .pdf enden, sodass ein Pfad wie /guide.pdf?ref=email nicht erfasst wird, weil nach der Dateiendung noch etwas folgt. Google und die meisten modernen Crawler unterstützen beide Symbole, aber sie lassen sich leicht subtil falsch einsetzen, und ein falsch platzierter Platzhalter kann weit mehr blockieren als beabsichtigt. Füge hier deine Datei ein und teste eine Beispiel-URL, um zu sehen, ob deine Platzhalter-Regel so greift wie erwartet.

Du sprichst jeden Bot einzeln über seine eigene User-Agent-Gruppe an. Such-Crawler und KI-Trainingscrawler verwenden unterschiedliche User-Agent-Strings, sodass eine Regel unter dem einen den anderen nicht betrifft. Damit Googlebot und Bingbot deine Website weiterhin indexieren, während KI-Bots ausgesperrt bleiben, lässt du User-agent: * auf Allow und fügst separate Disallow: /-Gruppen für Agents wie GPTBot, ChatGPT-User, Google-Extended, anthropic-ai, ClaudeBot, CCBot, PerplexityBot und Bytespider hinzu. Da die spezifischste passende Gruppe gewinnt, folgt jeder benannte Bot seiner eigenen Blockierung, während Suchmaschinen unter den permissiven Standardregeln bleiben. Beachte: Die Einhaltung ist freiwillig — wohlerzogene Bots respektieren robots.txt, aber es ist keine Sicherheitsbarriere. Dieser Tester enthält ein Preset "Block AI Bots" und lässt dich jeden Crawler einzeln simulieren, um zu bestätigen, dass Suchmaschinen weiterhin zugelassen sind, während KI-Bots blockiert werden.

Der häufigste Grund ist der Speicherort: Eine robots.txt-Datei muss im Root-Verzeichnis des Hosts liegen, den sie steuert, also exakt unter /robots.txt, und Regeln gelten jeweils nur für Protokoll, Subdomain und Port. Eine Datei unter /folder/robots.txt oder eine auf der Hauptdomain kontrolliert keine Subdomain. Weitere stille Fehlerquellen: Allow- oder Disallow-Zeilen vor jeder User-agent-Zeile (Crawler ignorieren sie), doppelte User-Agent-Gruppen, die unerwartet zusammengeführt werden, eine unerreichbare Allow-Regel, die von einem spezifischeren Disallow überschattet wird, sowie eine fehlende Standardgruppe User-agent: *. Auch Tippfehler in Direktivennamen und negative Crawl-delay-Werte werden häufig übersehen. Dieser Tester parst deine gesamte Datei, markiert diese strukturellen Probleme mit Zeilennummern und nennt die genaue Direktive, die über jede URL entscheidet, damit du herausfinden kannst, warum sich eine Regel nicht wie erwartet verhält.

Nein — Google unterstützt die Crawl-delay-Direktive nicht und ignoriert sie vollständig, sodass das Hinzufügen keinen Einfluss darauf hat, wie schnell Googlebot deine Seiten anfragt. Um Googles Crawl-Rate anzupassen, verlässt du dich auf dessen automatisches adaptives Crawling, das sich an der Geschwindigkeit deines Servers und an Fehlerantworten orientiert. Crawl-delay wird jedoch von einigen anderen Crawlern beachtet, darunter Bingbot und Yandex, wo es die Mindestanzahl an Sekunden festlegt, die ein Bot zwischen Anfragen wartet. Ein negativer Wert ist ungültig und wird verworfen. Da die Unterstützung je nach Suchmaschine variiert, lohnt es sich zu prüfen, welcher Crawler die Direktive liest und welcher Wert für ihn gilt. Dieser Tester zeigt den Crawl-delay-Wert für den jeweils ausgewählten User-Agent an, parst ihn aus deiner Datei und warnt dich vor ungültigen negativen Werten, sodass du auf einen Blick siehst, welche Bots dein Delay tatsächlich betrifft.