Zum Inhalt springen
Kostenloses SEO-Werkzeug

robots.txt für AI-Crawler

Erzeuge robots.txt-Regeln für die Crawler von OpenAI, Anthropic, Google, Perplexity und weiteren KI-Anbietern. Das Werkzeug unterscheidet zwischen Training, Retrieval und nutzerinitiiertem Abruf und weist auf die Fälle hin, in denen eine robots.txt-Regel allein nicht ausreicht.

Crawler-Auswahl

Training Retrieval Nutzerabruf Opt-out-Token

Kommagetrennt. Leer lassen, um blockierte Crawler von der gesamten Website auszuschließen. Gilt für alle auf „blockieren“ gesetzten Crawler.

robots.txt

Die Regeln gehören in die Datei robots.txt im Stammverzeichnis deiner Website, sodass sie unter deine-domain.de/robots.txt erreichbar ist. Bestehende Regeln für andere Crawler bleiben davon unberührt und sollten erhalten bleiben.

Kurz erklärt

Was die vier Kategorien bedeuten.

Jeder Crawler gehört zu einer von vier Kategorien. Sie entscheidet, was ein Blockieren tatsächlich bewirkt.

Training

Crawler, die Inhalte einsammeln, um damit KI-Modelle zu trainieren (z. B. GPTBot, ClaudeBot). Blockieren bedeutet: Deine Inhalte fließen nicht in die Trainingsdaten. Das kostet keine Sichtbarkeit in KI-Antworten.

Retrieval (Grounding)

Crawler, die einen Suchindex aufbauen, aus dem KI-Systeme ihre Antworten in Echtzeit belegen und zitieren (z. B. OAI-SearchBot, PerplexityBot). Dieses Belegen heißt Grounding. Blockieren bedeutet: Deine Inhalte erscheinen in diesen Antworten nicht mehr.

Nutzerabruf

Ein Bot ruft eine einzelne Seite in dem Moment ab, in dem ein Mensch die KI konkret danach fragt, etwa nach einer eingefügten URL (z. B. ChatGPT-User).

Opt-out-Token

Kein Crawler, sondern ein Steuertoken in der robots.txt (Google-Extended, Applebot-Extended). Es regelt nur, ob bereits abgerufene Inhalte für das KI-Training genutzt werden dürfen, ohne deine Suchsichtbarkeit zu berühren.

Die Voreinstellungen kombinieren diese Kategorien. Alles erlauben hält dich überall sichtbar, auch als Trainingsdaten. Training blockieren nimmt dich aus den Trainingsdaten, hält dich über Retrieval aber in KI-Antworten sichtbar. Alles blockieren schließt jeden KI-Zugriff aus.

Häufige Fragen

Was du über die Steuerung von KI-Crawlern wissen solltest.

Was ist der Unterschied zwischen Training, Retrieval und Nutzerabruf?
Training-Crawler sammeln Inhalte für das Training von KI-Modellen. Sie zu blockieren ist allein eine Entscheidung über die Nutzung deiner Inhalte und beeinträchtigt deine Sichtbarkeit in KI-Antworten nicht. Retrieval-Crawler bauen den Index, aus dem KI-Systeme ihre Antworten zitieren. Blockierst du sie, erscheinen deine Inhalte in den Antworten der jeweiligen Engine nicht mehr. Beim nutzerinitiierten Abruf holt ein Bot eine Seite in dem Moment, in dem eine Person die KI konkret danach fragt.
Werde ich unsichtbar in ChatGPT oder Perplexity, wenn ich Crawler blockiere?
Das hängt davon ab, welchen Crawler du blockierst. Blockierst du den Training-Crawler eines Anbieters, bleibt sein Retrieval-Crawler davon unberührt und deine Inhalte können weiterhin in seinen Antworten erscheinen. Blockierst du dagegen den Retrieval-Crawler, verschwinden deine Inhalte aus den zitierten Antworten. Das Werkzeug trennt beide Fälle und warnt, wenn du einen Retrieval-Crawler ausschließt.
Reicht robots.txt aus, um einen Crawler zu blockieren?
robots.txt ist ein freiwilliges Protokoll. Die großen Anbieter geben an, es zu befolgen. Bei manchen Crawlern, etwa Bytespider, ist dokumentiert, dass sie sich nicht zuverlässig daran halten. Auch beim nutzerinitiierten Abruf, etwa durch Perplexity-User, geben die Anbieter selbst an, dass robots.txt nicht zuverlässig greift. In diesen Fällen ist eine Regel auf Server- oder WAF-Ebene nötig. Das Werkzeug weist auf diese Fälle hin.
Was hat es mit Google-Extended und Applebot-Extended auf sich?
Diese beiden sind keine Crawler, sondern Steuertoken in der robots.txt. Sie besuchen deine Website nicht selbst. Ein Disallow legt fest, dass Google beziehungsweise Apple bereits abgerufene Inhalte nicht für das KI-Training verwendet. Deine Sichtbarkeit in der regulären Google-Suche und in den AI Overviews bleibt davon unberührt; dafür ist Googlebot zuständig, den dieses Werkzeug bewusst nicht enthält.
Warum fehlt Googlebot in der Liste?
Googlebot ist der reguläre Suchcrawler, kein KI-Crawler. Ihn zu blockieren hindert Google daran, deine Inhalte zu erfassen, und kostet dich damit die Sichtbarkeit in der Google-Suche, ein häufiger und teurer Fehler. Dieses Werkzeug listet ausschließlich KI-Crawler, damit du Googlebot gar nicht erst versehentlich ausschließen kannst. Für die AI Overviews gibt es zudem keinen eigenen Crawler; sie werden über Googlebot bedient.
Werden meine Eingaben gespeichert?
Nein. Die robots.txt entsteht vollständig in deinem Browser, es geht keine Anfrage an einen Server. Deine Eingaben verlassen deinen Browser nicht.