Zuletzt aktualisiert im September 2026. Diese Checkliste spiegelt Cloudflares veröffentlichte Richtlinie zum Stand 15. September 2026 wider, dem Tag, an dem die neuen Standardeinstellungen für AI Crawl Control in Kraft treten.
Die meisten Website-Betreiber glauben, eine einzige Zeile in robots.txt kläre die Frage des KI-Crawler-Zugriffs. Das stimmt nicht. Dein CDN setzt eigene Bot-Regeln durch, die über dieser Datei stehen, und Cloudflares Regeln haben sich gerade so geändert, dass sie Crawler, auf die du dich verlassen hast, still und leise aussperren können.
Am 15. September 2026 hat Cloudflare seinen alten, einzelnen KI-Bot-Schalter in drei benannte Kategorien aufgeteilt: Search, Agent und Training. Neue Kunden, neue Websites auf bestehenden Konten und jedes Free-Tier-Konto blockieren jetzt standardmäßig Agent- und Training-Crawler auf jeder Seite mit einer Werbeeinbindung. Bots, die mehr als eine Kategorie vereinen, darunter Googlebot, Applebot und Bingbot, übernehmen jeweils die strengste Regel, die du gesetzt hast. Das heißt: Blockierst du Training, kann das einen Crawler ausschalten, den du eigentlich erlaubt hattest.
Das ist keine Theorie. Otterly.AIs Analyse von mehr als einer Million KI-Citations ergab, dass 73 % aller Websites bereits eine technische Barriere haben, eine robots.txt-Sperre, eine CDN-Regel oder eine Lücke im JavaScript-Rendering, die KI-Crawler aussperrt, bevor eine Seite überhaupt um Citation Share konkurrieren kann. Die folgenden 14 Prüfungen machen aus diesem Risiko etwas, das du in Minuten überprüfen kannst, statt es zu erraten.
Was sich am 15. September 2026 ändert
Cloudflare klassifiziert jeden KI-Crawler jetzt danach, was er auf deiner Website tut, nicht nur nach seinem Namen:
- Search: crawlt und indexiert Inhalte, um später Fragen dazu zu beantworten.
- Agent: ruft eine Seite in Echtzeit ab, weil eine Person ihren KI-Assistenten darum gebeten hat.
- Training: sammelt Inhalte, um ein Modell zu trainieren oder feinabzustimmen.
Ein Crawler, der mehr als eines davon tut, Cloudflare nennt ihn einen gemischt genutzten Crawler, übernimmt deine strengste Regel über jede Kategorie hinweg, zu der er gehört. Blockierst du Training irgendwo auf der Website, wird ein gemischt genutzter Bot wie Googlebot überall blockiert, einschließlich des Search-Verhaltens, das du eigentlich behalten wolltest.
| Einstellung | Vor dem 15. September 2026 | Nach dem 15. September 2026 |
|---|---|---|
| Search-Crawler auf werbefinanzierten Seiten | Erlaubt | Weiterhin erlaubt |
| Agent-Crawler auf werbefinanzierten Seiten | Standardmäßig erlaubt | Standardmäßig blockiert |
| Training-Crawler auf werbefinanzierten Seiten | Erlaubt, sofern nicht manuell blockiert | Standardmäßig blockiert |
| Gemischt genutzte Crawler (Googlebot, Applebot, Bingbot) | Nur als Search behandelt | Vollständig blockiert, wenn du Training blockierst |
| Automatisch betroffene Konten | Keine | Neue Kunden, neue Websites, bestehende Free-Tier-Konten |
| Bestehende Bezahlkonten | Nicht zutreffend | Behalten aktuelle Einstellungen, sofern du nicht aktiv zustimmst |
Wenn jede Website in deinem Cloudflare-Konto vor dem 15. September existierte und du einen Bezahltarif nutzt, ändert sich ohne dein Zutun nichts. Aber eine neue Website im selben Konto oder jeder Kunde auf dem Free-Tier übernimmt die neuen Sperren, sobald sie live geht. Prüfe jede Property, die du verwaltest, nicht nur die Flaggschiff-Domain.
Die 14-Punkte-Checkliste für den Zugriff
Jede Prüfung unten verbindet eine Aussage darüber, wie der KI-Crawler-Zugriff tatsächlich ausfällt, mit einem Befehl, den du sofort gegen deine eigene Domain ausführen kannst. Ersetze yoursite.com durch deine echte Domain und, wo eine Prüfung bestimmte Bots nennt, durch die Bots, die für deinen Engine-Mix relevant sind.
1. Die AI-Crawl-Control-Einstellungen prüfen
Behauptung: Die Schalter für Search, Agent und Training in deinem Konto entscheiden das Ergebnis, bevor überhaupt ein Bot deinen Server erreicht. Eine Einstellung, die du nie angefasst hast, kann trotzdem Traffic blockieren.
Prüfen: Öffne im Cloudflare-Dashboard Security > Bots > AI Crawl Control für jede Zone und lies den Status neben Search, Agent und Training ab. Die Einstellung gilt pro Website, nicht pro Konto. Wiederhole das für jede Property.
2. Deine Live-robots.txt nach KI-Bot-Regeln abrufen
Behauptung: robots.txt hält nur Crawler auf, die sich freiwillig daran halten, aber eine Disallow-Zeile für GPTBot, ClaudeBot oder PerplexityBot ist trotzdem das Erste, was die meisten Engines prüfen.
Prüfen:
curl -s https://yoursite.com/robots.txt | grep -iE "gptbot|claudebot|perplexitybot|google-extended|ccbot|bytespider"Jeder Treffer zeigt dir genau, welche Training-Bots irgendwo auf der Website per Disallow gesperrt sind.
3. Jeden Training-Bot direkt per curl testen
Behauptung: Training-Crawler (GPTBot, ClaudeBot, Google-Extended, CCBot, Bytespider) füttern das Modelltraining, nicht Live-Antworten. Finde heraus, ob Cloudflares neuer Standard sie still blockiert hat, bevor du das einfach annimmst.
Prüfen:
for ua in GPTBot ClaudeBot Google-Extended CCBot Bytespider; do
echo "$ua:"; curl -s -A "$ua" -o /dev/null -w "%{http_code}\n" https://yoursite.com/
doneEin 403 oder 429 bedeutet, dass dieser Bot am Edge blockiert wird, unabhängig davon, was deine robots.txt sagt.
4. Jeden Agent-Bot direkt per curl testen
Behauptung: Agent-Bots (ChatGPT-User, Perplexity-User, Claude-User) rufen eine Seite ab, weil eine Person ihrem Assistenten gerade jetzt eine Live-Frage gestellt hat. Verlierst du diese Stufe, kostet dich das die Antwort selbst, nicht nur künftige Trainingsdaten.
Prüfen:
for ua in "ChatGPT-User" "Perplexity-User" "Claude-User"; do
echo "$ua:"; curl -s -A "$ua" -o /dev/null -w "%{http_code}\n" https://yoursite.com/
done5. Die gemischt genutzten Search-Bots per curl testen
Behauptung: Googlebot, Applebot und Bingbot tragen unter Cloudflares neuen Regeln sowohl Search- als auch Training-Verhalten. Blockierst du Training irgendwo, übernehmen diese drei die Sperre überall.
Prüfen:
for ua in Googlebot Applebot Bingbot; do
echo "$ua:"; curl -s -A "$ua" -o /dev/null -w "%{http_code}\n" https://yoursite.com/
doneEin 403 an dieser Stelle ist der teuerste Fehler auf dieser Checkliste: Er kostet dich die organische Suche, nicht nur KI-Citations.
6. Prüfen, ob eine Seite das Werbesignal trägt, das den neuen Standard auslöst
Behauptung: Die Agent- und Training-Sperre greift standardmäßig nur auf Seiten, die Cloudflare als werbefinanziert einstuft. Eine Seite ohne Werbe-Skript behält das alte, großzügigere Verhalten.
Prüfen:
curl -s https://yoursite.com/ | grep -iE "adsbygoogle|doubleclick|googlesyndication|ad-slot"Ein Treffer bedeutet: Behandle diese Seite als vom neuen Standard betroffen und bestätige, dass die Einstellungen aus Prüfung 1 für sie gelten.
7. Ausschließen, dass der alte Bot Fight Mode die neuen Einstellungen überschreibt
Behauptung: Bot Fight Mode und Super Bot Fight Mode gab es schon vor AI Crawl Control. Sie können einen Crawler weiterhin herausfordern oder blockieren, selbst wenn dein KI-spezifischer Schalter auf “Erlauben” steht.
Prüfen: Bestätige unter Security > Bots, dass Bot Fight Mode ausgeschaltet ist oder dass die User-Agents von KI-Crawlern auf der Allow-Liste stehen. Einen zuverlässigen curl-Test gibt es hier nicht: Ein herausgeforderter Bot bekommt einen 200er-Status mit einer JavaScript-Challenge-Seite statt eines sauberen 403, sodass sich die Sperre gut versteckt.
8. Benutzerdefinierte WAF-Regeln auf versehentliche Crawler-Sperren prüfen
Behauptung: Eine Firewall-Regel, die Scraper stoppen soll, etwa “Anfragen ohne Referer-Header blockieren” oder “Traffic von ASN X blockieren,” erwischt oft auch KI-Crawler, da diese selten einen Referer senden und über eine Handvoll Rechenzentrums-ASNs laufen.
Prüfen: Lies unter Security > WAF > Custom rules die Match-Bedingungen jeder Regel gegen die User-Agents aus den Prüfungen 3 bis 5. Jede Regel, die auf einen fehlenden Header, eine ASN oder ein Land greift, verdient einen zweiten Blick.
9. Prüfen, ob Rate Limiting Crawler fast auf null drosselt
Behauptung: Ein Rate Limit, das auf menschlichen Traffic abgestimmt ist, kann einen Crawler auf eine Anfrage alle paar Minuten begrenzen. Dein Dashboard zeigt weiterhin “erlaubt,” aber der Crawler erlebt die Website als unerreichbar.
Prüfen:
for i in 1 2 3 4 5; do
curl -s -A "GPTBot" -o /dev/null -w "%{http_code} " https://yoursite.com/
done; echoWenn spätere Anfragen 429 zurückgeben, während die erste 200 liefert, ist ein Rate Limit die eigentliche Sperre, nicht dein AI-Crawl-Control-Schalter.
10. Bestätigen, dass wichtige Seiten Inhalte nicht hinter Client-Side-Rendering verstecken
Behauptung: Die meisten KI-Crawler holen sich rohes HTML und führen JavaScript nicht so aus wie ein Browser. Eine Seite, die ihre Antwort erst nach dem Ausführen eines Skripts rendert, bleibt für sie unsichtbar, egal welche Bot-Einstellung gilt.
Prüfen:
curl -s https://yoursite.com/your-key-page | grep -c "<p"Vergleiche diese Zahl mit dem, was du in der gerenderten Seite eines Browsers siehst. Eine große Lücke bedeutet, dass der Inhalt client-seitig lädt und Crawler nur eine leere Hülle sehen.
11. Deine Server-Logs nach dem tatsächlichen Ergebnis durchsuchen
Behauptung: Dashboard-Schalter beschreiben eine Absicht. Deine Logs beschreiben Ergebnisse, einschließlich Bots, die über eine Proxy-Schicht ausgeliefert werden, die gar nicht Cloudflare ist.
Prüfen:
grep -E "GPTBot|ClaudeBot|PerplexityBot|Google-Extended|ChatGPT-User|Perplexity-User" access.log | awk '{print $9}' | sort | uniq -cDas zählt die Statuscodes, die jeder Bot tatsächlich erhalten hat. Eine Häufung von 403ern oder 429ern bestätigt eine Sperre, die deine Einstellungsprüfung übersehen hat.
12. Managed-Challenge- und CAPTCHA-Regeln für KI-User-Agents prüfen
Behauptung: Eine Managed Challenge liefert HTTP 200 mit einer Seite, durch die sich ein Mensch klicken kann. Ein Crawler kann das nicht. Sie taucht nie als Sperre auf und ist deshalb der Fehler auf dieser Liste, den du am leichtesten übersiehst.
Prüfen: Filtere unter Security > WAF dein Firewall-Ereignisprotokoll nach den User-Agents aus den Prüfungen 3 bis 5 und lies die Spalte Action. “Managed Challenge” oder “JS Challenge” gegen einen KI-Crawler ist eine stille Sperre, auch wenn der HTTP-Status sauber aussieht.
13. llms.txt mit robots.txt auf Widersprüche vergleichen
Behauptung: Eine veröffentlichte llms.txt-Datei sollte auf dieselben Seiten verweisen, die robots.txt erlaubt. Eine kuratierte llms.txt, die Seiten auflistet, die robots.txt per Disallow sperrt, schickt KI-Crawler zu einer URL, die sie gleichzeitig meiden sollen.
Prüfen:
curl -s https://yoursite.com/llms.txt
curl -s https://yoursite.com/robots.txtLies beide nebeneinander. Jede URL in llms.txt sollte auflösen, ohne dass eine passende Disallow-Regel in robots.txt greift.
14. Diese Checkliste auf einen wiederkehrenden Zeitplan setzen
Behauptung: Cloudflares Standardeinstellungen, Bot-Namen und Kategorieregeln werden sich auch nach dem 15. September weiter ändern. Eine Prüfung, die du einmal durchgeführt hast, sagt nichts über den nächsten Monat aus.
Prüfen: Speichere die Prüfungen 2 bis 11 als Skript und führe es monatlich aus, oder nach jeder Änderung an CDN, WAF oder Hosting. Ein dediziertes Tool für Crawler-Zugriff kann das automatisch übernehmen und dich sofort alarmieren, wenn sich ein Statuscode ändert.
Tools, die diese Prüfungen automatisieren
Alle 14 Prüfungen einmal von Hand durchzuführen, ist vertretbar. Sie jeden Monat über jede Property hinweg, die du verwaltest, von Hand zu wiederholen, ist es nicht.
Profound verbindet Agent-Tier-Zugriff mit Citation-Tracking und passt damit direkt zu den Prüfungen 4 und 5: Es zeigt dir nicht nur, ob ChatGPT-User oder Perplexity-User eine Seite erreichen können, sondern auch, ob dieser Zugriff tatsächlich zu einer Erwähnung wird.
Knowatoa führt Crawler-Zugriffsprüfungen als fertigen Workflow aus: robots.txt-Parsing, Erreichbarkeitstests pro Bot und Alarme bei Änderungen des Statuscodes. Das deckt die meisten Prüfungen von 2 bis 11 ab, ohne dass du ein eigenes Skript brauchst.
Otterly.AI, die Quelle der 73-%-Zahl zu technischen Barrieren oben, integriert ein Crawlbarkeits-Audit in sein umfassenderes GEO-Monitoring, zusammen mit Citation-Tracking über ChatGPT, Perplexity und Google AI Overviews.
Willst du ein einziges Abonnement, das Crawler-Zugriffs-Monitoring zusammen mit Citation-Tracking und Content-Umsetzung abdeckt, ist Temso die einfachste All-in-one-Option, ab 89 €/Monat, mit unbegrenzten Projekten, Nutzern und Empfehlungen in jedem Plan.
Den vollständigen Vergleich aller GEO-Plattformen findest du unter /rankings/geo-tools. Wie wir Crawler-Zugriffssignale bei jeder von uns getesteten Plattform prüfen, erfährst du unter /methodology.