Draftcamp

Robots.txt-Generator

Erstelle eine robots.txt, die AI-Training, Retrieval- und User-Fetch-Crawler als separate Entscheidungen behandelt

Läuft komplett in deinem Browser – dein Text wird nie hochgeladen

Suchmaschinen

Ein Pfad pro Zeile

Von Google ignoriert

AI-Crawler

Drei getrennte Entscheidungen, nicht eine. Blockieren ist standardmäßig aus.

Retrieval (citation-eligible)

Diese erzeugen Zitate. Sie zu blockieren entfernt dich komplett aus KI-Antworten – fast immer ein Fehler.

User-triggered fetch

Diese holen deine Seite, wenn jemand den Link im Chat einfügt. Blockieren verhindert das, sonst nichts.

Model training

Diese sammeln Trainingsdaten für künftige Modelle. Blockieren beeinflusst nicht, ob du heute zitiert wirst. Eine legitime Geschäftsentscheidung.

robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /cart/
Disallow: /*?s=

Lade die Datei genau unter /robots.txt in der Root deiner Domain hoch. Jede Subdomain braucht ihre eigene.

Das Blockieren von AI-Crawlern sind drei Entscheidungen, nicht eine

Fast jeder robots.txt-Generator bietet nur eine Checkbox „AI-Bots blockieren“ an. Diese vereint drei völlig verschiedene Folgen, und meist führt das dazu, dass eine Seite, die das Training ausschließen wollte, versehentlich aus der AI-Suche verschwindet.

Retrieval-Crawler – deren Blockierung kostet dich Zitate

OAI-SearchBot, Claude-SearchBot und PerplexityBot sind hier die entscheidenden. Diese Seiten werden abgerufen, um eine gerade gestellte Frage zu beantworten, und sie erzeugen den Quellenlink unter einer KI-Antwort. Blockierst du sie, erscheinst du nicht in der Antwort. Für fast jedes Unternehmen ist das ein klarer Fehler.

User-triggered Fetcher – ein enger, spezifischer Kostenfaktor

ChatGPT-Nutzer, Claude-Nutzer. Sie holen deine Seite, wenn jemand deinen Link in einen Chat einfügt und danach fragt. Sie zu blockieren unterbricht nur diesen Ablauf. Sinnvoll, wenn deine Seiten geschützt sind; sonst unnötig.

Training-Crawler – eine legitime Geschäftsentscheidung

GPTBot, ClaudeBot, CCBot, Google-Extended. Sie sammeln Daten für das Training zukünftiger Modelle. Sie zu blockieren hat keine Auswirkung darauf, ob du heute zitiert wirst. Viele Publisher blockieren das bewusst, und das ist eine legitime Entscheidung – kein Fehler, weshalb kein Tool das als solchen markieren sollte.

Der, der kein Crawler ist

Google-Extended ruft nie etwas ab. Es ist ein Opt-out-Token, das steuert, ob Googlebot-Inhalte für Gemini trainieren darf. Das Blockieren beeinflusst das Google-Suchindexieren oder Ranking überhaupt nicht. Applebot-Extended ist dieselbe Idee für Apple.

Wenn die Datei aktiv ist, prüfe, was sie tatsächlich erlaubt mit dem der Rest der kostenlosen Tools auch.

Häufige Fragen

Soll ich AI-Crawler blockieren?
Das hängt ganz vom Typ ab, und sie alle zusammenzufassen führt dazu, dass man sich versehentlich aus der AI-Suche ausschließt. Das Blockieren von Retrieval-Bots wie OAI-SearchBot, Claude-SearchBot und PerplexityBot verhindert, dass du in AI-Antworten zitiert wirst. Das Blockieren von Trainings-Bots wie GPTBot und CCBot hat keinen Einfluss auf Zitate – es verhindert nur zukünftiges Modelltraining. Die meisten, die „AI blockieren“ sagen, meinen das Zweite und blockieren versehentlich das Erste.
Was ist der Unterschied zwischen Google-Extended und Googlebot?
Google-Extended ist kein Crawler. Es ist ein Opt-out-Token, das steuert, ob Inhalte, die Googlebot bereits abgerufen hat, für Gemini-Training verwendet werden dürfen. Das Blockieren beeinflusst dein Google-Suchindex oder Ranking nicht. Applebot-Extended funktioniert genauso für Apple.
Verhindert robots.txt, dass eine Seite indexiert wird?
Nein, und das ist der häufigste Fehler bei robots.txt. Disallow verhindert das Crawlen, nicht das Indexieren. Eine in robots.txt blockierte Seite kann trotzdem in den Ergebnissen erscheinen – meist ohne Beschreibung – wenn andere Seiten darauf verlinken. Um etwas aus dem Index zu halten, brauchst du ein noindex-Meta-Tag, und dafür muss die Seite crawlbar sein, damit das Tag gelesen werden kann.
Wo wird die Datei abgelegt?
Genau im Root der Domain: https://example.com/robots.txt. Es gilt pro Protokoll, Host und Port, also braucht jede Subdomain ihre eigene Datei. Crawler suchen nicht anderswo und finden sie nicht in Unterverzeichnissen.
Funktioniert Crawl-delay?
Nicht für Google, das es komplett ignoriert – nutze stattdessen die Crawl-Rate-Einstellung in der Search Console. Bing und Yandex respektieren es. Es ist für diese da, sollte aber auf den meisten Seiten leer bleiben.