Cloudflare KI-Bots blockieren: Neue Regeln ab 15.9.2026

Wer künftig mit Cloudflare KI-Bots blockieren will, muss nicht mehr pauschal alles sperren. Der Netzwerkanbieter unterscheidet seine Bot-Kontrolle jetzt nach dem Zweck des Zugriffs: Search, Training und Agent^?KI-Software, die in Echtzeit im Namen einer Person handelt und dabei live Webseiten abruft, etwa um eine Buchung oder Recherche auszuführen. lassen sich getrennt erlauben oder verbieten. Laut Cloudflare-Dokumentation gilt ab dem 15. September 2026 für neue Domains eine neue Standardregel: Training- und Agent-Bots werden auf werbefinanzierten Seiten blockiert, Suchcrawler dürfen weiter durch (Cloudflare Docs, Block AI Bots).

Das klingt technisch, folgt aber einer klaren wirtschaftlichen Logik. Bisher standen Website-Betreiber vor einer Alles-oder-nichts-Entscheidung: KI-Crawler^?Automatisiertes Programm, das Webseiten abruft und deren Inhalte einsammelt, etwa zum Indexieren oder für das Training von KI-Modellen. zulassen und damit Inhalte kostenlos ins Modelltraining schaufeln, oder alle blockieren und riskieren, in der KI-Suche gar nicht mehr aufzutauchen. Die neue Einteilung löst diesen Widerspruch.

Wie kann man mit Cloudflare KI-Bots blockieren, ohne unsichtbar zu werden?

Indem man nach Zweck trennt. Cloudflare teilt automatisierte KI-Zugriffe in drei Kategorien und lässt jede einzeln schalten. So lassen Sie Suchcrawler weiter durch, damit Ihre Seiten in Antworten von KI-Suchdiensten erscheinen, und sperren zugleich das reine Absaugen von Trainingsdaten.

Die drei Typen definiert Cloudflare so:

• Search: Crawler, die Inhalte sammeln oder indexieren, um später Fragen dazu zu beantworten. Sie bleiben nach der neuen Standardkonfiguration erlaubt (Cloudflare Docs: „Search will remain allowed“).
• Training: Crawler, die Inhalte einsammeln, um ein Modell zu trainieren oder per Fine-Tuning^?Nachtraining eines bestehenden KI-Modells mit zusätzlichen, meist spezifischen Daten, um es an eine Aufgabe anzupassen. nachzuschärfen.
• Agent: automatisierte Zugriffe in Echtzeit, die im Namen einer Person ablaufen, etwa wenn ein KI-Assistent während eines Chats live eine Seite abruft.

Der Haken liegt bei den Mischformen. Bedient ein Crawler zugleich Search und Training, blockiert Cloudflare ihn bei jeder Konfiguration, die KI-Training verbietet. Das ist die entscheidende Zeile im Kleingedruckten: Ein solcher Doppel-Crawler landet auf der Sperrliste, sobald Sie Training aussperren – selbst wenn Sie die Suchfunktion eigentlich behalten wollten.

Was ändert sich konkret am 15. September 2026?

An diesem Stichtag setzt Cloudflare für neue Domains geänderte Voreinstellungen. Die Dokumentation formuliert es direkt: „On September 15, 2026, Cloudflare will set updated defaults for new domains“ (Cloudflare Docs). Auf Seiten, die Werbung anzeigen, werden Training- und Agent-Bots dann standardmäßig blockiert.

Wichtig für Bestandskunden: Die neuen Defaults gelten laut Cloudflare für neue Domains. Vor dem 15. September können Kunden die geänderten Standardregeln abwählen, wenn sie den bisherigen Zustand behalten wollen. Wer nichts tut, bekommt bei neuen Domains die strengere Grundeinstellung.

Das Signal dahinter ist eindeutig. Cloudflare hatte bereits im Juli 2025 damit begonnen, KI-Crawler auf ein genehmigungsbasiertes Modell umzustellen (Cloudflare-Pressemitteilung, 1. Juli 2025). Die neue Zweck-Trennung ist der nächste Schritt: Menschliche Besucher sollen Vorrang vor Trainingsdaten-Sammlern haben, ohne dass Seiten aus der KI-Suche verschwinden.

Was sollten Website-Betreiber und Marketing-Teams jetzt tun?

Prüfen, wie die eigenen Domains bei Cloudflare konfiguriert sind, und über die drei Bot-Typen bewusst entscheiden. Für werbefinanzierte Seiten ist die Standardsperre für Training und Agent oft sinnvoll. Wer aber auf agentische Zugriffe angewiesen ist, weil etwa KI-Assistenten live buchen oder abfragen sollen, muss Agent gezielt freigeben.

Mein Eindruck aus Beratungsprojekten: Viele Unternehmen wissen gar nicht, welche Bots ihre Inhalte wofür abrufen. Bevor Sie Regeln setzen, lohnt ein nüchterner Blick in die Logs. Konkret hilft diese Reihenfolge:

1. Klären, ob Ihre Seiten Werbung ausspielen, denn davon hängt die künftige Standardeinstellung ab.
2. Entscheiden, ob Sie in KI-Suchdiensten wie ChatGPT, Perplexity oder Google AI auffindbar bleiben wollen. Wenn ja, muss Search offen bleiben.
3. Vor dem 15. September 2026 die neuen Defaults aktiv prüfen und bei Bedarf abwählen.
4. Mischcrawler beachten: Eine Trainingssperre kann auch die Suchindexierung treffen.

Genau hier trennt sich die technische von der strategischen Frage. Ob eine Seite in der KI-Suche zitiert wird, hängt nicht nur davon ab, ob der Crawler durchkommt, sondern auch davon, wie die Inhalte aufbereitet sind. Wenn Sie systematisch daran arbeiten wollen, in KI-Antworten aufzutauchen, ist ein praxisnaher Workshop zu Sichtbarkeit in der KI-Suche über GEO und SEO einen Blick wert – vor allem für Marketing- und Content-Teams, die den Zusammenhang aus Bot-Zugriff und Auffindbarkeit steuern müssen. Für reine Infrastruktur-Fragen brauchen Sie das nicht, dafür reicht die Cloudflare-Dokumentation.

Warum ist die Unterscheidung wirtschaftlich relevant?

Weil sie den Zielkonflikt zwischen Reichweite und Schutz der eigenen Inhalte entschärft. Werbefinanzierte Medien verlieren Klicks, wenn KI-Systeme ihre Texte im Training verarbeiten und Antworten direkt ausspielen. Zugleich wollen sie in KI-Suchergebnissen präsent bleiben. Die Zweck-Trennung erlaubt beides.

Bei der Bewertung gilt trotzdem Vorsicht. Die neue Bot-Klassifizierung ist in Cloudflares Primärquelle klar dokumentiert. Rund um die Ankündigung tauchen in mehreren Sekundärquellen Begriffe wie „Pay Per Crawl“ oder „Pay Per Use“ auf, etwa bei blogspan.net. In der hier zitierten Cloudflare-Dokumentation ist ein solches Bezahlmodell für den 15. September 2026 nicht im gleichen Detail belegt. Behandeln Sie diesen Teil als noch nicht bestätigt.

Die Debatte reiht sich in eine größere Auseinandersetzung ein. Cloudflare-Gründer vertreten die Ansicht, die Menschheit brauche weiter von Menschen gemachte Inhalte, und deren Erstellung müsse sich lohnen (heise online). Wer verstehen will, warum die Kontrolle über die eigenen Daten strategisch zählt, findet einen verwandten Blick in unserer Analyse dazu, warum Mistral vor Datenverlust bei proprietären Modellen warnt.

Zurück zur Ausgangsfrage: Wie blockiert man KI-Bots, ohne unsichtbar zu werden? Die Antwort ist kein Schalter mehr, sondern eine Zuordnung nach Zweck. Wer bis zum 15. September 2026 klärt, welche Bots welche Inhalte wofür sehen dürfen, behält die Kontrolle. Wer den Stichtag verstreichen lässt, bekommt bei neuen Domains die Standardregel – ob sie zur eigenen Strategie passt oder nicht.