Wer KI-Crawler blockieren will, braucht mehr als das neue robots.txt-Signal

Wer per robots.txtTextdatei im Hauptverzeichnis einer Website, in der Betreiber festlegen, welche Crawler was abrufen sollen. Freiwillig, technisch nicht erzwingbar. Rechtlich kann eine Sperre darin in der EU als Vorbehalt gegen Text- und Data-Mining gelten. verhindern will, dass KI-Anbieter Inhalte für das Training nutzen, braucht bisher für jeden Anbieter eine eigene Regel. Ein neuer Eintrag soll das vereinfachen: Mit einer einzigen Gruppe aus zwei Zeilen in der robots.txt können Website-Betreiber künftig mehreren KI-Anbietern gleichzeitig mitteilen, dass ihre Inhalte nicht für das Training generativer KI-Modelle genutzt werden sollen. CrawlerEin Programm, das Websites automatisch aufruft und ihre Inhalte ausliest, etwa für Suchmaschinen oder für das Training von KI-Modellen. Andere Bezeichnungen sind Bot oder Spider. blockiert dieser Eintrag allerdings nicht. OpenAI, Google und Microsoft haben am 30. Oktober 2026 angekündigt, das Signal zu unterstützen, Anthropic hat nach eigener Angabe mit der Umsetzung begonnen. Dieser Ratgeber zeigt, was der Eintrag leistet und wie Sie Ihre robots.txt jetzt prüfen. Stand: 31. Oktober 2026.

Ein Eintrag in der robots.txt soll das KI-Training bei mehreren Anbietern ablehnen

Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website. Darin legen Betreiber fest, welche automatischen Programme, sogenannte Crawler, welche Bereiche abrufen sollen. Das neue Signal nutzt diese Datei mit einem festen Namen in der Zeile «User-AgentDie Zeile in der robots.txt, die nennt, für welchen Crawler die folgenden Regeln gelten. Ein Stern (*) steht für alle Crawler, die keine eigene Gruppe haben.», die normalerweise den angesprochenen Crawler nennt: __usage_ai-trainingEin fester Name für die Zeile User-Agent in der robots.txt. Er steht für keinen Crawler, sondern drückt eine Präferenz für oder gegen das Training generativer KI-Modelle aus., mit zwei Unterstrichen am Anfang. Ein «Disallow» (nicht erlauben) bedeutet dann eine Präferenz gegen KI-Training, ein «Allow» (erlauben) eine Präferenz dafür.

Grundlage ist ein Internet-Draft, also ein Arbeitsentwurf bei der Internet Engineering Task Force (IETF), die technische Internetstandards entwickelt. Verfasst hat ihn Kevin Kelley von Anthropic als Beitrag für die Arbeitsgruppe AI Preferences (AIPREF). Neue Befehle führt er nicht ein. Er gilt höchstens sechs Monate und läuft am 3. Mai 2027 ab, wenn ihn keine neue Fassung ersetzt.

Die Zusagen der Anbieter unterscheiden sich deutlich:

• Microsoft will die Präferenzen laut Bing-Blog ab 1. Februar 2027 beachten, sobald es eine Seite neu crawlt.

• Google nennt im Search-Central-Blog das Jahr 2027, in der Crawler-Dokumentation Anfang 2027.

• OpenAI will das Signal laut Ankündigung in den kommenden Monaten umsetzen und dann Einzelheiten mitteilen. Ein Datum fehlt.

• Anthropic hat laut Kevin Kelley in einer Mail an die IETF-Liste mit der Umsetzung begonnen, die Einführung in allen Diensten werde aber dauern. The Verge berichtet dagegen, Anthropic habe das Signal bereits übernommen. Die Anthropic-Hilfeseite nennt den Eintrag am 31. Oktober 2026 noch nicht.

Meta begrüßt laut The Verge das Prinzip, sagt aber nicht, ob es das Signal befolgen wird. Weitere Anbieter haben in den geprüften Quellen keine Zusage gemacht.

Das Signal regelt die Nutzung der Inhalte, nicht den Zugriff der Crawler

Der Entwurf sagt ausdrücklich, das Signal sei keine Anweisung zum Crawling-Verhalten. Anbieter dürfen darauf verzichten, Inhalte abzurufen, müssen es aber nicht. Microsoft schreibt, die Einstellungen regelten die Nutzung von Inhalten, nicht den Zugriff. Die Darstellung von The Verge, die Anbieter würden ihre Crawler dann vom Zugriff abhalten, deckt keine Primärquelle.

Daraus ergeben sich vier Grenzen:

• Antworten mit Live-Abruf: Das Signal gilt nur für Training. Wenn ein KI-Assistent eine Seite für eine konkrete Antwort abruft, im Fachjargon Grounding, greift es nicht. Microsoft regelt Grounding getrennt und nur pro Seite.

• Abrufe auf Nutzerwunsch: Für ChatGPT-User, den Abruf im Auftrag einer Person, gelten laut OpenAI die Regeln der robots.txt möglicherweise nicht.

• Kein Rückgriff auf früher: Maßgeblich ist laut Entwurf die robots.txt, die beim Abruf galt. Einschätzung der Redaktion: Inhalte, die vor dem Eintrag abgerufen wurden, erfasst er demnach nicht.

• Kein Ersatz für den Platzhalter: Eine Regel für alle Crawler (User-Agent: *) gilt ausdrücklich nicht als Präferenz gegen Training.

GPTBot, ClaudeBot und Google-Extended bleiben weiter nötig

OpenAI schreibt, das neue Signal ersetze die bisherigen Regeln nicht. Auch Anthropic sieht es als Ergänzung. Die anbieterspezifischen Einträge wirken außerdem schon heute, für das gemeinsame Signal nennt nur Microsoft ein Datum.

• GPTBot ist der Trainings-Crawler von OpenAI. Eine Sperre bedeutet laut OpenAI, dass Inhalte nicht für das Training von Basismodellen genutzt werden sollen. Die ChatGPT-SucheWerden Sie in ChatGPT, Perplexity und Google AI gefunden. mit ihrem Crawler OAI-SearchBot steuern Sie davon getrennt.

• ClaudeBot sammelt Trainingsdaten für Anthropic. Eine Sperre schließt laut Anthropic künftige Inhalte vom Training aus. Die Regel muss für jede Subdomain gesetzt werden, also jede Unteradresse wie shop. oder blog..

• Google-ExtendedEine Kennung für die robots.txt, mit der Websites regeln, ob Google ihre Inhalte für das Training von Gemini und für Grounding in Gemini Apps nutzt. Es ist kein eigener Crawler. ist kein eigener Crawler, sondern eine Kennung in der robots.txt, mit der Website-Betreiber nur die Nutzung durch Google steuern. Sie regelt Training für Gemini und zusätzlich Grounding in Gemini Apps. Auf die Google-Suche wirkt sie nicht.

Bei Google gibt es einen Zielkonflikt. Setzt eine Website das neue Signal auf «Disallow» und nennt Google-Extended nicht, will Google das wie eine Sperre von Google-Extended behandeln. Unsere Folgerung daraus: Die Website verliert dann voraussichtlich auch das Grounding in Gemini Apps. Wer dort erscheinen will, muss Google-Extended ausdrücklich erlauben, und erlaubt damit auch das Training für Gemini.

Microsoft bietet zusätzlich Einstellungen pro Seite über eine Angabe im Seitencode (Meta-Tag) oder in der Server-Antwort (HTTP-Header), etwa ai-training:disallow. Diese gehen laut Microsoft der robots.txt vor.

Dieses robots.txt-Beispiel verbindet das Signal mit den bisherigen Regeln

Das folgende Beispiel lehnt Training für die ganze Website ab, erlaubt es für den Pressebereich und lässt Suchmaschinen weiter zu:

# Gemeinsames Signal gegen KI-Training (IETF-Entwurf)
User-Agent: __usage_ai-training
Disallow: /
Allow: /presse/

# Bisherige Regeln für einzelne KI-Crawler
User-Agent: GPTBot
Disallow: /

User-Agent: ClaudeBot
Disallow: /

User-Agent: Google-Extended
Disallow: /

# Nur ergänzen, wenn Ihre Datei noch keine Gruppe für alle Crawler hat
User-Agent: *
Allow: /

Wir haben das Beispiel am 31. Oktober 2026 mit Protego geprüft, einer Python-Bibliothek, die robots.txt nach dem Standard RFC 9309 auswertet. Ergebnis: Für __usage_ai-training ist /artikel/ gesperrt und /presse/ erlaubt. GPTBot, ClaudeBot und Google-Extended sind überall gesperrt. Googlebot, Bingbot sowie OAI-SearchBot und Claude-SearchBot, die Such-Crawler von OpenAI und Anthropic, dürfen alles abrufen.

Drei Hinweise zum Beispiel. Ergänzen Sie die Gruppen in Ihrer bestehenden Datei, statt sie komplett zu ersetzen, sonst gehen vorhandene Regeln verloren, etwa Sperren für interne Bereiche oder der Hinweis auf die Sitemap. Steht dort schon eine Gruppe User-Agent: *, ergänzen Sie die letzte Gruppe des Beispiels nicht, denn ein zusätzliches Allow: / kann bestehende Sperren aufheben. Die Crawler-Regeln sperren auch /presse/. Wer dort Training zulassen will, ergänzt in diesen Gruppen Allow: /presse/. Und die Sperre von Google-Extended kostet laut Google auch die Anzeige in Antworten von Gemini Apps. Heutige Programme ignorieren die Gruppe mit dem neuen Namen wie jeden unbekannten Crawler, Sie können sie also schon jetzt eintragen.

So prüfen Sie Ihre eigene robots.txt in sechs Schritten

1. Rufen Sie https://ihre-domain.de/robots.txt im Browser auf. Wiederholen Sie das für jede Subdomain, denn jede braucht eine eigene Datei.

2. Suchen Sie nach GPTBot, ClaudeBot und Google-Extended. Fehlen sie und lässt die Gruppe User-Agent: * alle Crawler zu, lehnt Ihre robots.txt das Training bei diesen Anbietern derzeit nicht ab. Eine Sperre für alle Crawler trifft GPTBot und ClaudeBot dagegen mit.

3. Ergänzen Sie die Gruppe __usage_ai-training mit Disallow: / oder nur mit den Pfaden, die Sie schützen wollen, etwa Disallow: /kurse/.

4. Prüfen Sie, ob die Gruppe User-Agent: * Suchmaschinen weiter zulässt. Eine versehentliche Sperre dort kostet Sichtbarkeit in der Suche.

5. Testen Sie die Datei mit einem Prüfprogramm, das bei mehreren passenden Regeln die längste, also genaueste, anwendet, wie es der Standard RFC 9309 vorsieht. Der robots.txt-Bericht in der Google Search Console, einem kostenlosen Google-Werkzeug für Website-Betreiber, zeigt zusätzlich, ob Google die Datei abrufen und lesen kann. Das Python-Modul urllib.robotparser meldet /presse/ in der von uns genutzten Version 3.13.5 fälschlich als gesperrt, weil es die erste passende Regel anwendet.

6. Sichern Sie die robots.txt mit Datum, etwa als Kopie oder Screenshot, und wiederholen Sie das bei jeder Änderung. Maßgeblich ist laut Entwurf die Datei, die beim Abruf galt. Auch vor Gericht kann es darauf ankommen, welcher Vorbehalt zu welchem Zeitpunkt bestand.

NoArchive und NoCache, zwei ältere Angaben im Seitencode, gelten bei Microsoft nach dem 1. März 2027 nicht mehr als Präferenz für Training oder Grounding. Wer sie nutzt, sollte bis dahin die neuen Einstellungen setzen.

Das Signal ersetzt weder Durchsetzung noch rechtliche Prüfung

Die Teilnahme ist freiwillig. Anbieter, die nicht mitmachen, können den Eintrag ignorieren. Wer Abrufe tatsächlich verhindern will, braucht Sperren auf dem Server oder im Netzwerk, wie sie etwa Cloudflare für KI-Crawler anbietet. Lizenzverträge zwischen Verlagen und KI-Anbietern können das Signal laut Entwurf übersteuern.

Rechtlicher Hinweis, keine Rechtsberatung: In der EU dürfen rechtmäßig zugängliche Inhalte grundsätzlich automatisiert ausgewertet werden, auch zu kommerziellen Zwecken. Das nennt sich Text- und Data-MiningDie automatisierte Auswertung von Texten und Daten, etwa um Muster, Trends und Zusammenhänge zu erkennen. Rechteinhaber können sich diese Nutzung in der EU vorbehalten, online in maschinenlesbarer Form.. Rechteinhaber können sich diese Nutzung aber vorbehalten. Grundlage ist Artikel 4 der DSM-Richtlinie (Richtlinie über das Urheberrecht im digitalen Binnenmarkt). In Deutschland setzt das § 44b des Urheberrechtsgesetzes um: Bei Online-Inhalten muss der Vorbehalt maschinenlesbar sein. In Österreich regelt das § 42h Absatz 6 des Urheberrechtsgesetzes. Er verlangt ein ausdrückliches Verbot und nennt bei Online-Inhalten maschinenlesbare Mittel als Beispiel. Für die Schweiz gelten eigene Regeln.

Was als maschinenlesbar gilt, ist nicht abschließend geklärt. Das Oberlandesgericht Hamburg schreibt keine bestimmte Form vor. Entscheidend ist, ob der Vorbehalt zum Zeitpunkt der Nutzung automatisiert ausgewertet werden konnte. Das muss der Rechteinhaber darlegen (Urteil vom 10. Dezember 2025, 5 U 104/24, nicht rechtskräftig). Der Bundesgerichtshof will am 17. Dezember 2026 entscheiden (I ZR 281/25). Wie die österreichische Regel auszulegen ist, hat der Oberste Gerichtshof nach unserem Kenntnisstand noch nicht entschieden.

Einschätzung der Redaktion: Ob der neue Eintrag __usage_ai-training als Vorbehalt genügt, ist offen. Er beruht auf einem Entwurf, drückt laut Entwurf eine Präferenz aus und erfasst nur das Training generativer KI-Modelle. Auch deshalb sollten die seit Jahren eingeführten Sperren für GPTBot oder ClaudeBot stehen bleiben. Google sieht den Vorschlag nach eigener Aussage im Einklang mit dem EU-Verhaltenskodex für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck. Der Kodex verpflichtet die Unterzeichner unter anderem, Anweisungen in der robots.txt zu befolgen. Ob ein Eintrag rechtlich als Vorbehalt wirkt, entscheiden aber Gerichte, nicht der Kodex. Mehr zum Rahmen steht in unserem Beitrag zum EU-Rahmen für Web-Scraping.

Wir aktualisieren diesen Ratgeber, sobald OpenAI Einzelheiten nennt, Google und Microsoft starten, eine neue Fassung des Entwurfs erscheint oder der Bundesgerichtshof am 17. Dezember 2026 entschieden hat.

Weiterlesen

• Cloudflare KI-Crawler: Was die Sperre für Content bedeutet

• Web-Scraping und generative KI: der EU-Rahmen im Check

• Google-KI-Training deaktivieren: So gelingt der Opt-out

Wie dieser Artikel entstand: Recherche in den Primärquellen und Faktencheck mit Unterstützung von KI, Test des robots.txt-Beispiels mit Protego, Auswahl, Prüfung und Freigabe durch die Redaktion. Rechtliche Hinweise sind keine Rechtsberatung.