Kostenloser Robots.txt-Generator

Der Robots.txt-Generator ist ein kostenloses Online-Tool, das robots.txt-Dateien erstellt, um zu steuern, wie Suchmaschinen-Crawler auf deine Website zugreifen und sie indexieren.

Ja, er ist völlig kostenlos und erfordert keine Registrierung. Die gesamte Dateierzeugung erfolgt clientseitig in deinem Browser.

Eine robots.txt-Datei teilt den Suchmaschinen-Bots mit, welche Seiten gecrawlt oder übersprungen werden sollen. Das hilft dir, dein Crawl-Budget zu verwalten und die Indexierung privater Seiten zu verhindern.

Absolut. Der Robots.txt-Generator verarbeitet alles clientseitig in deinem Browser. Es werden keine Daten auf einen Server hochgeladen oder dort gespeichert. Dein Inhalt bleibt jederzeit privat auf deinem Gerät.

Ja, der Robots.txt-Generator ist vollständig responsiv und funktioniert auf Smartphones und Tablets. Du kannst ihn auf jedem Gerät mit einem modernen Webbrowser nutzen – ohne App-Download.

Es ist kein Konto und keine Registrierung erforderlich. Öffne einfach den Robots.txt-Generator in deinem Browser und beginne sofort. Es gibt keine Anmeldehürden oder Nutzungsbeschränkungen.

Ja, der Robots.txt-Generator wurde gemäß den aktuellen Richtlinien und Best Practices von Google Search entwickelt. Wir aktualisieren das Tool regelmäßig, um Änderungen der Suchmaschinenanforderungen zu berücksichtigen.

Gib einfach deinen Text in das vorgesehene Feld ein, passe die Einstellungen nach Wunsch an, und das Tool verarbeitet ihn sofort. Anschließend kannst du das Ergebnis in die Zwischenablage kopieren oder herunterladen.

Der Robots.txt-Generator funktioniert in allen modernen Browsern, darunter Chrome, Firefox, Safari, Edge und Opera. Für das beste Erlebnis verwende die neueste Version deines bevorzugten Browsers.

Disallow weist einen Crawler an, die nachfolgenden Pfade nicht abzurufen, während Allow sie ausdrücklich erlaubt — praktisch, wenn Sie innerhalb eines ansonsten gesperrten Verzeichnisses eine einzelne Datei oder einen Unterordner freigeben möchten. Disallow: /admin/ sperrt zum Beispiel den Ordner, und Allow: /admin/public.html lässt genau diese eine Seite dennoch durch. Passt eine URL sowohl auf eine Allow- als auch auf eine Disallow-Regel, gehen Suchmaschinen nicht einfach von oben nach unten vor — das spezifischste (längste) passende Muster gewinnt, und bei gleicher Länge hat Allow Vorrang. Diese Rangfolge falsch einzuschätzen, ist eine häufige Ursache dafür, dass Seiten versehentlich blockiert oder freigegeben werden. Der URL-Tester dieses Generators bildet exakt diese Abgleichlogik nach: Geben Sie einen Pfad und einen User-Agent ein, und er zeigt Ihnen, ob die URL erlaubt oder blockiert ist und welche Regel dafür ausschlaggebend war — so können Sie es vor der Veröffentlichung überprüfen.

KI-Crawler befolgen die robots.txt jeweils unter ihrem eigenen User-Agent-Namen, unabhängig von den klassischen Suchbots — wer Googlebot blockiert, stoppt damit also nicht automatisch GPTBot, und umgekehrt genauso wenig. Um einen Bot auszusperren, fügen Sie einen Block mit dessen exaktem Namen und einer Disallow: /-Zeile hinzu, zum Beispiel User-agent: GPTBot gefolgt von Disallow: /. Der Generator besitzt dafür einen eigenen Tab „AI Bot Control“, der Ihnen diese Arbeit abnimmt: Sie können jeden Crawler einzeln erlauben oder blockieren — GPTBot und ChatGPT-User (OpenAI), Google-Extended, ClaudeBot und anthropic-ai (Anthropic), PerplexityBot, CCBot, Bytespider und weitere — oder alle auf einmal sperren, während normale Suchmaschinen weiterhin uneingeschränkt indexieren können. Bedenken Sie dabei, dass es sich um einen freiwilligen Standard handelt: Seriöse KI-Crawler halten sich daran, erzwingen lässt sich die Einhaltung jedoch nicht. Wechseln Sie zum Tab AI Bot Control, um jeden Bot einzeln umzuschalten und die Regeln direkt in Ihrer Datei erscheinen zu sehen.

Nicht zuverlässig. Disallow weist Crawler an, eine Seite nicht abzurufen, garantiert aber nicht, dass die URL aus den Suchergebnissen verschwindet — Google kann eine blockierte URL trotzdem indexieren, wenn andere Seiten darauf verlinken, und zeigt den Link dann mitunter ohne Beschreibung an, weil der Inhalt nicht gelesen werden konnte. Um eine Seite wirklich aus dem Index fernzuhalten, benötigen Sie einen noindex-Meta-Tag oder einen X-Robots-Tag-Header direkt auf der Seite — und entscheidend ist, dass die Seite crawlbar bleibt, damit der Crawler diese Direktive überhaupt sehen kann; eine Sperre in der robots.txt verdeckt den noindex-Tag. Robots.txt eignet sich am besten dafür, das Crawl-Budget zu steuern und Bots von wenig wertvollen URLs fernzuhalten, nicht dafür, sensible Daten zu verbergen — das gelingt ohnehin nicht, da böswillige Bots die Datei komplett ignorieren können. Nutzen Sie diesen Generator, um das Crawling zu steuern, und kombinieren Sie ihn bei Bedarf mit noindex-Tags auf Seitenebene, wenn eine Seite wirklich aus den Ergebnissen entfernt werden soll.

Eine robots.txt-Datei muss im Stammverzeichnis einer Domain liegen — zum Beispiel unter https://example.com/robots.txt — und nicht in einem Unterordner wie /blog/robots.txt, denn Crawler suchen ausschließlich an dieser einen Stelle danach. Außerdem gilt die Datei pro Host: Eine Datei im Stammverzeichnis Ihrer Hauptdomain deckt keine Subdomain ab — shop.example.com benötigt eine eigene robots.txt, und auch die http- und https-Version sowie www und non-www gelten jeweils als eigenständige Hosts, die die korrekte Datei ausliefern sollten. Die Datei ist reiner Text, muss UTF-8-kodiert sein und exakt robots.txt in Kleinschreibung heißen. Mit diesem Generator kopieren Sie die fertige Datei in die Zwischenablage oder laden sie als hochladefertige .txt-Datei herunter — Sie müssen sie also nur noch im Stammverzeichnis Ihrer Domain ablegen und prüfen, ob sie unter yoursite.com/robots.txt korrekt geladen wird.

Suchmaschinen rendern Ihre Seiten ähnlich wie ein Browser und laden dabei das CSS und JavaScript, das eine Seite für Layout und Inhalt benötigt. Sperrt Ihre robots.txt die Verzeichnisse, in denen diese Ressourcen liegen, kann der Crawler sie nicht abrufen und sieht dadurch nur eine unvollständige oder fehlerhafte Version der Seite. Das kann sich negativ darauf auswirken, wie die Seite verstanden und eingestuft wird — besonders bei der Mobilfreundlichkeit und bei Inhalten, die per Skript nachgeladen werden. Ein häufiger Fehler ist, ein Verzeichnis wie /assets/ oder /wp-includes/ zu blockieren, das ebenfalls rendering-kritische Dateien enthält. Die Lösung: Erlauben Sie diese Ressourcen auch dann, wenn Sie die umliegenden Verzeichnisse sperren — lassen Sie den Ordner also gesperrt, fügen Sie aber eine Allow-Regel für die .css- und .js-Pfade darin hinzu. Während Sie hier Regeln erstellen, weist die Live-Validierung auf Konflikte und riskante Muster hin, und mit dem URL-Tester können Sie vor der Veröffentlichung bestätigen, dass wichtige Skript- und Stildateien crawlbar bleiben.