Zuletzt aktualisiert im September 2026.
Eine KI-Engine kann keine Seite zitieren, die sie nie gesehen hat. Jede nachgelagerte GEO-Taktik, eine vorangestellte Antwort, sauberes Schema, ein aktuelles Update-Datum, hängt von einer Voraussetzung ab, die die meisten GEO-Ratgeber übergehen: Der Crawler muss zuerst durch die Tür kommen.
Pay-per-crawl ist der von Cloudflare entwickelte Mechanismus, der inzwischen die Infrastrukturebene des Webs erobert und darüber entscheidet, was an dieser Tür passiert. Er ersetzt das alte Entweder-oder aus Erlauben oder Blockieren durch eine dritte Option: Berechnen. Und ab dem 15. September 2026 kippt die Standardantwort für einen großen Teil der KI-Crawler von Erlauben auf Blockieren.
Warum Crawler-Zugriff der nullte Schritt des GEO ist
Nenn es den nullten Schritt. Nicht Schritt eins, denn Schritt eins setzt voraus, dass ein Crawler deinen Content bereits erreicht hat. Nullter Schritt, weil nichts anderes in deinem GEO-Programm zählt, wenn diese Voraussetzung fehlt.
GPTBot ist seit zwei Jahren in Folge der am häufigsten blockierte KI-Crawler. Die Analyse von Originality.AI von August 2024 zu den 1.000 meistbesuchten Websites der Welt ergab, dass 35,7 % GPTBot in der robots.txt sperren, vor CCBot (22,1 %), Google-Extended (13,6 %) und ChatGPT-User (12,7 %).
Zugriffsbarrieren zeigen sich auch im Referral-Traffic. Similarweb-Daten, über die Modern Retail im September 2025 berichtete, zeigten, dass Amazon weniger als 3 % seines Referral-Traffics von ChatGPT erhielt, eine Lücke, die der Bericht direkt auf Amazons bewusste Blockade von KI-Crawlern zurückführte. Walmart und Etsy dagegen holten im selben Monat jeweils mehr als 20 % ihrer Referral-Klicks von ChatGPT.
Blockierst du den Crawler, bleibt dein Citation Share für diese Engine bei null, egal wie gut die Seite ist.
Wie Pay-per-crawl tatsächlich funktioniert
Cloudflares Modell beruht auf zwei Mechaniken: wie sich ein Crawler deklariert, und was passiert, sobald er eine Seite anfragt.
Bot-Zweck-Deklaration und Mixed-Use-Crawler
Cloudflare teilt automatisierten Traffic in drei Zwecke ein.
- Search. Indexiert Content, um später Fragen dazu zu beantworten, der klassische Suchmaschinen-Crawl.
- Agent. Ruft in Echtzeit eine bestimmte Seite ab, im Auftrag einer Person, die gerade jetzt eine Frage gestellt hat.
- Training. Sammelt Content in großem Umfang, um ein Modell zu trainieren oder zu feintunen.
Ein Crawler, der sich eindeutig einem Zweck zuordnet, wird nach den Regeln dieses Zwecks behandelt. Ein Mixed-Use-Crawler, ein User-Agent, der Search-, Agent- und Training-Abrufe vermischt, ohne sie zu trennen, bekommt diesen Vorteil nicht. Publisher können keine unterschiedlichen Regeln für einen Bot setzen, den sie nicht auseinanderhalten können. Deshalb wird nicht deklarierter Mixed-Use-Traffic standardmäßig als die restriktivste Kategorie behandelt.
Auch der Status als Cloudflare-„Verified Bot” impliziert keinen Zugriff mehr. Die Verifizierung bestätigt heute die Identität, nicht die Erlaubnis. Zugang gewährt nur die deklarierte, erlaubte Zweckkategorie.
Der HTTP-402-Zahlungsablauf
Sobald der Zweck eines Crawlers feststeht, prüft Cloudflare die Richtlinie des Publishers für diesen Bot und diesen Zweck: kostenlos erlauben, blockieren, oder berechnen. Die Berechnen-Option läuft über HTTP 402 Payment Required, einen Statuscode, der drei Jahrzehnte lang kaum genutzt in der HTTP-Spezifikation lag, bevor Cloudflare ihn neu einsetzte.
SCHRITT 1: Crawler fordert eine Seite an
GET /article User-Agent: GPTBot
SCHRITT 2: Cloudflare prüft die Bot-Richtlinie des Publishers
Blockiert -> 403 Forbidden (kein Inhalt, keine Citation, nie)
Kostenlos -> 200 OK (Inhalt wird ausgeliefert, keine Kosten)
Bepreist -> 402 Payment Required (Header: crawler-price: EUR 0.02)
SCHRITT 3: Crawler reagiert auf den 402
Lehnt ab -> Ende, kein Inhalt
Akzeptiert -> wiederholt die Anfrage mit Header: crawler-exact-price: EUR 0.02
SCHRITT 4: Cloudflare rechnet als Merchant of Record ab
Belastet den Crawler, schreibt dem Publisher gut, liefert:
200 OK (Header: crawler-charged: EUR 0.02, Inhalt ausgeliefert)Cloudflare steht bei jedem Schritt in der Mitte: Es belastet den Crawler, schreibt dem Publisher gut und protokolliert die Transaktion. Keine der beiden Seiten muss eigene Zahlungsinfrastruktur bauen.
Was sich am 15. September 2026 ändert
Das Datum zählt, weil es markiert, wann Cloudflares Standardeinstellungen kippen, nicht nur eine Option, die ein Publisher manuell aktivieren kann.
| Crawler-Zweck | Vor dem 15. September 2026 | Nach dem 15. September 2026 (werbefinanzierte Seiten) |
|---|---|---|
| Search | Standardmäßig erlaubt | Weiterhin standardmäßig erlaubt |
| Agent | Standardmäßig erlaubt bei neuen Domains | Standardmäßig blockiert, außer der Publisher aktiviert den Zugriff |
| Training | Standardmäßig erlaubt bei neuen Domains | Standardmäßig blockiert, außer der Publisher aktiviert den Zugriff |
| Mixed-Use, Zweck nicht deklariert | Als erlaubt behandelt | Standardmäßig blockiert |
| „Verified Bot”-Badge | Oft als impliziter Zugriff gelesen | Impliziert für sich allein keinen Zugriff mehr |
Die Standardeinstellung gilt für neue Domains, neue Websites auf bestehenden Accounts und Kunden im Free-Plan. Zahlende Kunden mit einer bestehenden Konfiguration behalten diese. Der Auslöser über Werbung ist bewusst gewählt: Cloudflare wertet eine Anzeige auf einer Seite als Signal, dass diese Seite für menschliche Besucher gebaut wurde, was dafür spricht, Agent- und Training-Crawler standardmäßig zu sperren, während Search-Crawler, die weiterhin Rückkehr-Traffic liefern, unangetastet bleiben.
Das Ausmaß des Problems, in Zahlen
Das ist keine Nischeneinstellung, versteckt in einem erweiterten Tab. Laut Cloudflare verarbeitet das eigene Netzwerk an einem durchschnittlichen Tag mehr als 1 Milliarde HTTP-402-Antworten an KI-Crawler (Cloudflare, 2026), und mehr als 1 Million Cloudflare-Kunden haben bereits Kontrollen zum Blockieren von KI-Crawlern aktiviert (Cloudflare, 2025).
Und die Lücke ist nicht immer beabsichtigt. Der 2026er-Bericht von Otterly.AI, „The AI Citation Economy: What 1+ Million Data Points Reveal”, stellte fest, dass 73 % der Websites eine technische Barriere tragen, eine geerbte robots.txt-Regel, eine CDN-Sicherheitsvorgabe, eine JavaScript-Rendering-Mauer, die den Zugriff von KI-Crawlern blockiert, ohne dass der Website-Betreiber das bewusst so gewählt hat.
Setzt man das zusammen, ist das Bild klar: Crawler-Zugriff ist still und leise zu einer Richtlinie auf Infrastrukturebene geworden, keine Checkbox, die man einmal setzt und vergisst.
Selbst-Audit-Checkliste vor der Frist
Arbeite das hier vor dem 15. September 2026 durch, egal ob du auf Cloudflare läufst oder nicht.
- Bestätige deinen Cloudflare-Plan und Domain-Status: neu oder bestehend, zahlend oder Free. Der Default-Block gilt für jeden Fall anders.
- Öffne AI Crawl Control in deinem Cloudflare-Dashboard und prüfe die aktuellen Search-, Agent- und Training-Einstellungen für deine Domain.
- Prüfe die robots.txt auf Disallow-Regeln gegen GPTBot, PerplexityBot, ClaudeBot, Google-Extended und Amazonbot.
- Teste deine echten Produkt- und Artikelseiten, nicht nur die Startseite, gegen jeden wichtigen KI-User-Agent.
- Entscheide Bot für Bot, ob du kostenlos erlauben, blockieren oder einen Preis setzen willst.
- Markiere, welche deiner Seiten Werbung tragen. Das sind die Seiten, die der Default vom 15. September zuerst betrifft.
- Teste nach der Frist erneut, um zu bestätigen, dass die gewünschten Einstellungen tatsächlich greifen.
Tools, die prüfen, ob KI-Crawler dich erreichen
Rohe Serverlogs nach User-Agent-Strings zu durchsuchen funktioniert, skaliert aber nicht über eine Handvoll Seiten hinaus. Ein paar Tools automatisieren die Prüfung.
Agent Analytics von Profound bildet ab, welche Bots welche URLs treffen, und wie oft, im Abgleich mit deinen eigenen Traffic-Daten. Nützlich, sobald du einem Team, das an die Führungsebene berichtet, Zugriff, oder dessen Fehlen, nachweisen musst. Knowatoa führt einen eigenen Crawler-Access-Check gegen die wichtigsten KI-User-Agents durch und markiert robots.txt- und CDN-Regeln, die sie still blockieren, ein schneller Weg, die Lücke zu finden, bevor du sie behebst.
Wenn du diese Zugriffsprüfung lieber in ein umfassenderes GEO-Abo einbindest, statt ein separates Tool zu betreiben: Temso bietet KI-Bot-Analytics als Teil seiner All-in-one-Plattform, ab 89 €/Monat, zusammen mit Citation-Tracking und Content-Umsetzung.
Der vollständige Vergleich der GEO-Plattformen, inklusive wie jede einzelne Crawler-Access-Checks handhabt, liegt unter /rankings/geo-tools, mit den dahinterliegenden Bewertungskriterien unter /methodology. Definitionen für Begriffe wie Citation Share findest du unter /glossary.
FAQ
Was ist Pay-per-crawl?
Pay-per-crawl ist ein von Cloudflare entwickelter Mechanismus, der einer Website erlaubt, einen KI-Crawler für den Zugriff zu berechnen, statt ihn nur zu blockieren oder kostenlos durchzulassen. Der Publisher legt einen Preis pro Bot fest, und jede Crawler-Anfrage wird kostenlos bedient, blockiert, oder mit einer 402-Payment-Required-Antwort samt diesem Preis beantwortet.
Was macht der HTTP-Statuscode 402 hier?
HTTP 402 Payment Required lag jahrzehntelang kaum genutzt in der HTTP-Spezifikation. Cloudflare hat ihn reaktiviert: Eine bepreiste Seite liefert statt Inhalt einen 402 mit angehängtem Preis, und der Crawler kann mit einer Zahlungsbestätigung erneut anfragen, um ein 200 OK samt der eigentlichen Seite zu erhalten.
Was ändert sich am 15. September 2026?
Cloudflare setzt an diesem Tag neue Standard-Zugriffsregeln für KI-Crawler in Kraft. Auf Seiten mit Werbung werden Training- und Agent-Crawler standardmäßig blockiert, während Search-Crawler weiterhin erlaubt bleiben, und Mixed-Use-Crawler, die keinen Zweck deklarieren, gelten ebenfalls als blockiert. Die Standardeinstellung gilt für neue Domains, neue Websites auf bestehenden Accounts und Kunden im Free-Plan; zahlende Kunden behalten ihre bestehende Konfiguration.
Betrifft der Default-Block vom 15. September meine bestehende Website?
Nur, wenn du ein neuer Cloudflare-Kunde bist, eine neue Domain hinzufügst oder eine Free-Plan-Website mit Werbung betreibst. Bestehende zahlende Cloudflare-Kunden behalten die Crawler-Einstellungen, die sie bereits konfiguriert haben. Prüfe vor der Frist deine AI Crawl Control-Einstellungen, wenn du unsicher bist, in welche Kategorie du fällst.
Wie prüfe ich, ob KI-Crawler meine Website tatsächlich erreichen?
Teste die robots.txt gegen die wichtigsten KI-User-Agents, prüfe CDN- und WAF-Regeln auf KI-Bot-Presets, und kontrolliere Serverlogs auf blockierte gegenüber ausgelieferte Antworten für echte Produkt- und Artikelseiten, nicht nur die Startseite. Agent Analytics von Profound und die Crawler-Access-Checks von Knowatoa automatisieren beide diesen Vergleich.
Hilft oder schadet das Blockieren von KI-Crawlern deinen Chancen auf eine Citation?
Blockierst du einen Crawler, verhinderst du jede Chance, dass diese Engine dich jemals zitiert. Der 2026er-Bericht von Otterly.AI ergab, dass 73 % der Websites eine, oft unbeabsichtigte, technische Barriere tragen, die den Zugriff von KI-Crawlern blockiert. Crawl-Zugriff ist eine Voraussetzung, keine Strategie für sich: Ihn zu erlauben garantiert keine Citation, aber ihn zu blockieren garantiert, dass du nie eine bekommst.
Führ den Selbst-Audit oben vor dem 15. September 2026 durch. Crawl-Zugriff ist binär: Entweder der Bot erreicht deine Seite, oder er tut es nicht. Kein Schema, keine vorangestellte Antwort und kein noch so poliertes Content fixt eine Seite, die eine Engine nie gesehen hat. Sieh dir an, wie GEO-Plattformen Crawler-Access-Monitoring handhaben, unter /rankings/geo-tools.