Zuletzt aktualisiert im September 2026.
30 Jahre lang konnte ein Crawler jede öffentliche Seite kostenlos abrufen. Er schickte eine Anfrage. Der Server schickte einen 200er und den Inhalt zurück. Das war die ganze Transaktion.
Pay per Crawl bricht mit dieser Annahme. Der HTTP-Statuscode 402, Payment Required, gibt es schon seit 1997, wurde aber fast nie genutzt. Cloudflare hat daraus eine lebendige Infrastruktur gemacht, die entscheidet, ob ein KI-Crawler überhaupt an deine Inhalte kommt.
Hier liest du, was sich geändert hat, wie der Austausch funktioniert und was das jetzt für das Tracking der KI-Sichtbarkeit bedeutet.
Die Zahlen, die diesen Moment prägen
- Über 1 Million: Cloudflare-Kunden, die AI Crawl Control aktiviert haben, den Schalter, der auch die Pay-per-Crawl-Bepreisung umfasst (Cloudflare, 2026).
- Über 1 Milliarde: HTTP-402-Antworten, die das Netzwerk von Cloudflare täglich an KI-Crawler sendet (Cloudflare Blog, „Introducing AI Crawl Control”).
- 35,7 %: der Anteil der 1.000 meistbesuchten Websites der Welt, die GPTBot blockieren, den am häufigsten blockierten erfassten KI-Crawler, gegenüber rund 5 % beim Start im August 2023 (Originality.AI, August 2024).
Vor drei Jahren gab es keine dieser Zahlen. Publisher haben jetzt einen Hebel in der Hand: zwischen jeden Bot kostenlos durchzulassen und jeden Bot komplett zu blockieren.
Wie der HTTP-402-Austausch tatsächlich funktioniert
Pay per Crawl läuft über einen einfachen Austausch zwischen Crawler und Server ab. Die Implementierung von Cloudflare unterstützt zwei Wege.
Der reaktive Ablauf. Der Crawler fordert eine Seite an, ohne eine Preiszusage. Trägt die Seite einen Preis und hat der Crawler noch nicht bezahlt, antwortet der Server mit HTTP 402. Die Antwort enthält einen crawler-price-Header, der die Kosten nennt.
Der Crawler kann dieselbe URL erneut anfordern, diesmal mit einem crawler-exact-price-Header, der zu diesem Preis passt. Stimmt der Betrag, liefert der Server die Seite mit HTTP 200 und einem crawler-charged-Header, der die Abbuchung bestätigt.
Der proaktive Ablauf. Der Crawler überspringt die Runde komplett. Er schickt bei der ersten Anfrage einen crawler-max-price-Header, der den Höchstpreis nennt, den er zu zahlen bereit ist. Liegt der Preis der Seite auf oder unter dieser Grenze, liefert der Server den Inhalt sofort mit HTTP 200.
KI-Crawler Website
| |
|--- GET /article --------------------> |
| |
|<-- 402 Payment Required ------------- |
| crawler-price: €0.01 |
| |
|--- GET /article --------------------> |
| crawler-exact-price: €0.01 |
| |
|<-- 200 OK --------------------------- |
| crawler-charged: €0.01 |
| [Seiteninhalt] |Der Crawler weist sich nicht nur über einen User-Agent-String aus. Er authentifiziert sich mit einem signierten kryptografischen Schlüsselpaar. So weiß der Server genau, welcher Bot anfragt, und kann ihn an den vereinbarten Preis binden. Diese signierte Identität macht den Rest des Systems erst möglich: die Bepreisung nach Bot-Zweck.
Zweckdeklarierte Bots: warum „KI-Crawler” nicht mehr eine einzige Kategorie ist
Frühe Crawler-Kontrolle war binär: GPTBot erlauben oder blockieren. Das aktuelle Modell von Cloudflare ordnet jeden KI-Crawler einer zweckdeklarierten Kategorie zu, und Seitenbetreiber legen Regeln pro Zweck fest statt pro Bot.
- Search: Crawler, die Inhalte indexieren, um später Fragen zu beantworten. Seitenbetreiber wollen diesen Traffic in der Regel, da er Referrals bringen kann. Standardmäßig erlaubt.
- Agent: Crawler, die in Echtzeit im Auftrag einer Person handeln, etwa ein browsergesteuerter Assistent, der eine Aufgabe erledigt. Ab dem 15. September 2026 auf werbefinanzierten Seiten standardmäßig blockiert.
- Training: Crawler, die Inhalte sammeln, um ein Modell zu trainieren oder feinabzustimmen, wobei die Inhalte dauerhaft aufgenommen werden, statt live beantwortet zu werden. Ab demselben Datum auf werbefinanzierten Seiten standardmäßig blockiert.
Ein einzelner Bot kann mehrere Zweck-Tags tragen. Cloudflare wendet die strengste zutreffende Regel an. Ein Crawler, der sowohl als Search als auch als Training markiert ist, wird blockiert, wenn Training blockiert ist, selbst wenn sein Search-Verhalten willkommen ist.
Was sich geändert hat und wann
| Ereignis | Datum | Quelle |
|---|---|---|
| Cloudflare startet die private Beta von Pay per Crawl und führt den 402-basierten Preisaustausch ein | 1. Juli 2025 | Cloudflare Blog |
| AI Crawl Control erreicht die allgemeine Verfügbarkeit | August 2025 | Cloudflare Blog |
| AI Crawl Control wird in einer Konsole gebündelt und ist auf jeder Plan-Stufe verfügbar, auch im kostenlosen Tarif | 13.-17. April 2026 | Cloudflare Blog, Agents Week 2026 |
| Cloudflare verschiebt sein Geschäftsmodell von der Bepreisung pro Abruf hin zu Zahlungen an Publisher bei Zitierung, Start mit Ceramic.ai und You.com | 1. Juli 2026 | Cloudflare, berichtet von TechCrunch |
| Crawler der Kategorien Agent und Training werden auf werbefinanzierten Seiten standardmäßig blockiert | 15. September 2026 | Cloudflare Blog |
Pay per Crawl ist seit dem Start nicht stehen geblieben. Der Preis pro Abruf war die erste Version.
Cloudflares eigene Ankündigung im Juli 2026 benannte die Schwachstelle. Mehr als die Hälfte des Crawl-Traffics von Bots, die das Unternehmen als legitim einstuft, entfällt auf das erneute Abrufen von Seiten, die sich seit dem letzten Besuch nicht verändert haben. Ein pauschaler Preis pro Abruf belohnt diese Verschwendung genauso wie echte Nutzung.
Das neuere Pay-per-Citation-Modell, das sich noch über Partner ausrollt, bepreist das Ergebnis statt der Anfrage.
Cloudflare ist nicht das einzige Unternehmen, das diese Schicht aufbaut. TollBit betreibt eine eigene Lizenzierungs- und Metering-Plattform zwischen Publishern und KI-Unternehmen, die Bot-Traffic erfasst und bezahlte Zugangsdeals außerhalb von Cloudflares eigenem Netzwerk vermittelt. Beide sind Infrastruktur, keine GEO-Tools: Sie entscheiden, ob ein Crawler deine Inhalte erreicht, nicht, ob eine Engine sie am Ende auch zitiert.
Warum das für das Tracking der KI-Sichtbarkeit wichtig ist
Pay per Crawl fügt eine Schicht hinzu, die Citation-Tracking bisher nicht berücksichtigen musste. Eine Seite kann perfekt optimiert sein und trotzdem nie gelesen werden, wenn der Crawler, der sie abgerufen hätte, auf ein 402 trifft, das er nicht bezahlen will.
Damit wird Sichtbarkeit auf Crawler-Ebene, nicht nur die Zahl der Zitierungen, jetzt Teil des Messproblems.
Profound passt hier am direktesten. Sein Agent-Analytics-Produkt trackt Crawler-Aktivität auf Anfrage-Ebene und zeigt, welche Bots deine Seiten erreichen und wie oft. Das kommt dem Lesen von Pay-per-Crawl- und 402-Daten als GEO-Signal am nächsten.
Temso nähert sich demselben Problem aus einer All-in-one-Perspektive. Es bündelt KI-Bot-Analytics in sein breiteres Citation-Tracking-Abo ab 89 €/Monat, sodass ein Team, das Crawler-Sichtbarkeit neben Citation Share und Content-Execution will, nicht für jedes Einzelne ein eigenes Tool braucht.
Scrunch wählt einen Readiness-Ansatz. Statt nur zu melden, was bereits passiert ist, bewertet es, ob die Struktur und die Zugriffsregeln deiner Seite überhaupt so aufgesetzt sind, dass KI-Agents sie navigieren können. Das ist direkt relevant, sobald Crawler der Kategorie Agent auf werbefinanzierten Seiten standardmäßig blockiert werden.
Keines der drei Tools ersetzt die anderen. Lies die Scoring-Methodik dazu, wie GEO-Plattformen auf dieser Seite bewertet werden.
Das Fazit
Pay per Crawl macht aus Crawler-Zugriff eine bepreiste Transaktion, durchgesetzt mit HTTP-402-Antworten und kryptografisch signierter Bot-Identität. Es ist für sich genommen kein Ranking- oder Citation-Signal. Es entscheidet, ob ein Crawler deine Seite überhaupt erreicht, und das steht jetzt vor jeder anderen GEO-Metrik, die du trackst.
Prüfe, ob KI-Crawler deine Inhalte überhaupt erreichen. Temso trackt KI-Bot-Aktivität neben Citation Share über alle Engines hinweg ab 89 €/Monat, sodass ein blockierter Crawler auffällt, bevor er dich eine Zitierung kostet. Den vollständigen Vergleich findest du im GEO-Tool-Ranking, verwandte Begriffe im Glossar.