Was ist der Unterschied zwischen GPTBot, OAI-SearchBot und ChatGPT-User?

GPTBot ist OpenAIs Trainings-Crawler: Er sammelt Seiten, um künftige GPT-Modelle zu verbessern. OAI-SearchBot ist der Indexierungs-Crawler hinter der ChatGPT-Suche und den Zitaten, die daraus entstehen. ChatGPT-User ist im klassischen Sinn gar kein Crawler: Er ruft eine einzelne Seite in Echtzeit ab, wenn eine Person oder ein Custom GPT ChatGPT bittet, einen bestimmten Link zu öffnen. Alle drei tragen den Namen OpenAI, doch jeder hat seinen eigenen User-Agent-String, sein eigenes robots.txt-Token und seine eigene Wirkung auf deine Website.

Wenn ich GPTBot sperre, hört ChatGPT dann auf, meine Seiten zu zitieren?

Nein. Das Sperren von GPTBot nimmt deine Inhalte nur vom Modelltraining bei OpenAI aus. Zitate innerhalb der ChatGPT-Suche hängen von OAI-SearchBot ab, einem eigenständigen Crawler mit eigenem robots.txt-Token. Websites, die GPTBot sperren, aber OAI-SearchBot erlauben, behalten ihre Zitierfähigkeit, während sie die Trainingszustimmung verweigern. Die beiden zu verwechseln ist der häufigste robots.txt-Fehler im GEO.

Was passiert mit KI-Crawlern auf Cloudflare nach dem 15. September 2026?

Ab dem 15. September 2026 wendet Cloudflare auf werbefinanzierten Seiten für jede neue Domain, jeden neuen Kunden und jedes bestehende Free-Tier-Konto eine neue Standardregel an: Crawler mit dem Zweck Training und Crawler mit dem Zweck Agent werden gesperrt, während Crawler mit dem Zweck Search weiterhin erlaubt bleiben. Nach OpenAIs eigenen deklarierten Zwecken fällt GPTBot unter Training, ChatGPT-User unter Agent und OAI-SearchBot unter Search. Website-Betreiber können diese Standardeinstellungen jederzeit vor der Frist in den Sicherheitseinstellungen ändern.

Solltest du GPTBot auf deiner Website sperren?

Das hängt davon ab, ob du willst, dass deine Inhalte OpenAIs Modelle trainieren. Das ist eine andere Frage als die, ob du in ChatGPTs Antworten erscheinen willst. Das Sperren von GPTBot hat keinen Einfluss auf die Zitierfähigkeit, denn OAI-SearchBot übernimmt diese Aufgabe über sein eigenes Token. Viele Publisher sperren GPTBot und lassen OAI-SearchBot und ChatGPT-User unangetastet, wodurch der Zitatzugang offen bleibt, ohne dass eine Trainingszustimmung erteilt wird.

Stoppt eine robots.txt-Sperre ChatGPT-User wirklich davon, meine Seite abzurufen?

Nicht zuverlässig. OpenAIs eigene Dokumentation weist darauf hin, dass ChatGPT-User auf die direkte Anweisung einer Person handelt und robots.txt-Regeln bei dieser Art von Anfrage möglicherweise nicht so greifen wie beim automatischen Crawling. Behandle eine Disallow-Regel für ChatGPT-User als starkes Signal, nicht als Garantie, und kombiniere sie bei Bedarf mit einer Sperre auf Server- oder CDN-Ebene für einen härteren Stopp.

Welche Tools zeigen Bot-Traffic auf Crawler-Ebene, nicht nur Zitatzahlen?

Profound hat Agent Analytics gezielt dafür gebaut, KI-Bot-Traffic auf Ebene der Server-Logs auszulesen, und trennt Anfragen von GPTBot, OAI-SearchBot und ChatGPT-User, statt sie in einer einzigen Zeile „KI-Traffic" zusammenzufassen. Temso, die All-in-one-GEO-Plattform ab 89 €/Monat, liefert Bot-Analytics zusammen mit Citation-Tracking im selben Abo. Den vollständigen Vergleich der GEO-Plattformen findest du unter /rankings/geo-tools.

GPTBot vs OAI-SearchBot vs ChatGPT-User: Welcher Crawler wirklich deine KI-Zitate speist (und was Cloudflares Sperre ab dem 15. September für dich bedeutet)

Zuletzt aktualisiert im August 2026.

Die meisten robots.txt-Dateien behandeln „OpenAI” noch immer als einen einzigen Eintrag. Diese eine Entscheidung sperrt entweder einen Crawler, den du für Zitate gebraucht hättest, oder lässt die Tür offen für einen, den du eigentlich aussperren wolltest.

Die drei OpenAI-Crawler erledigen drei unterschiedliche Aufgaben und reagieren auf drei unterschiedliche robots.txt-Tokens. Bringst du die Zuordnung durcheinander, verlierst du entweder aus Versehen deine Zitierfähigkeit oder erteilst eine Trainingszustimmung, die du nie geben wolltest.

Das ist kein hypothetisches Problem. Cloudflare ändert in Kürze die Standardbehandlung aller drei Crawler auf einem großen Teil des Webs, und die Frist läuft schon in wenigen Wochen ab. Website-Betreiber, die ihre robots.txt-Datei noch nie geöffnet haben, bekommen gleich eine Standardeinstellung vorgesetzt.

Drei Bots, drei völlig unterschiedliche Aufgaben

Jedes KI-Labor betreibt heute mehr als einen Crawler, und OpenAI führt gleich drei unter eigenem Namen. Sie als eine einzige Traffic-Quelle zu behandeln, ist der schnellste Weg, deine Website falsch zu konfigurieren.

Es steht wirklich etwas auf dem Spiel. Nach Cloudflares eigenen Netzwerkdaten stieg der Anteil von GPTBot am KI-Crawler-Traffic von 5 % im Mai 2024 auf 30 % ein Jahr später und machte ihn damit bis Mai 2025 zum drittgrößten Crawler überhaupt in Cloudflares Netzwerk (Cloudflare, 2025). Derselbe Bericht stellte zudem fest, dass GPTBot der meistgesperrte KI-Crawler im Netzwerk war: Stand Juni 2025 nannten mehr robots.txt-Disallow-Regeln GPTBot als jeden anderen Bot.

Diese Kombination aus hohem Traffic und hoher Sperrrate sagt etwas aus. Viele Website-Betreiber sperren GPTBot ganz bewusst. Deutlich weniger tun das mit einem klaren Verständnis davon, was jedes der drei Tokens tatsächlich steuert.

Die Verwirrung ist verständlich. Alle drei Crawler tragen den Namen OpenAI, und die meisten CDN-Dashboards fassen sie unter einem einzigen Schalter „OpenAI” zusammen. Doch eine Regel, die GPTBot aus Trainingsgründen sperrt, und eine Regel, die OAI-SearchBot aus Zitationsgründen sperrt, lösen zwei völlig unterschiedliche Probleme. Legst du den falschen Schalter um, kannst du deine Zitierfähigkeit verlieren, während du glaubst, nur das Training abbestellt zu haben.

Die Taxonomie: GPTBot vs OAI-SearchBot vs ChatGPT-User

Diese Tabelle lohnt sich zum Merken. Jede Zeile stammt direkt aus OpenAIs eigener Crawler-Dokumentation: der exakte User-Agent-String, der deklarierte Zweck, was der Crawl tatsächlich speist, und das robots.txt-Token, das ihn steuert.

OpenAI hat nicht alle drei gleichzeitig eingeführt. GPTBot kam zuerst, im August 2023, rein fürs Training gebaut. OAI-SearchBot und ChatGPT-User kamen später hinzu, als ChatGPT die Live-Websuche und das Browsen bekam. Die drei Tokens existieren, weil das Produkt neue Fähigkeiten dazugewann, nicht weil OpenAI von Anfang an eine Taxonomie entwerfen wollte. Genau diese Geschichte ist der Grund, warum so viele robots.txt-Dateien bis heute nur den ältesten der drei erwähnen.

Crawler	User-Agent-String	Zweck	Was er speist	robots.txt-Token
GPTBot	`Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot`	Modelltraining	Trainingsdaten für künftige GPT-Modellgenerationen	`User-agent: GPTBot`
OAI-SearchBot	`Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot`	Suchindexierung	Den Suchindex, aus dem ChatGPT seine Zitate zieht	`User-agent: OAI-SearchBot`
ChatGPT-User	`Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot`	Live-Abruf für Nutzer	Eine Seite, abgerufen in dem Moment, in dem eine Person oder ein Custom GPT ChatGPT bittet, sie zu öffnen	`User-agent: ChatGPT-User`

Jedes Token funktioniert unabhängig. Du kannst GPTBot per Disallow sperren und gleichzeitig OAI-SearchBot erlauben, und OpenAI hält sich an beide Regeln, jede nach ihren eigenen Bedingungen. Genau darum geht es beim Aufteilen des Traffics eines Unternehmens auf drei benannte Agenten: Du kannst einer Nutzung deiner Inhalte zustimmen und eine andere ablehnen, statt OpenAI nur als einen einzigen, undifferenzierten Akteur zu akzeptieren oder zu sperren.

Was das Sperren oder Erlauben jedes Einzelnen wirklich verändert

GPTBot: der Trainings-Crawler

GPTBot existiert, um Inhalte für OpenAIs Trainings-Pipeline zu sammeln. Eine Disallow-Regel hier bedeutet, dass deine Seiten nicht für das Training künftiger GPT-Generationen genutzt werden. Sie hat keinen Einfluss darauf, ob ChatGPT deine Inhalte heute finden, abrufen oder zitieren kann. Publisher, die KI-Training grundsätzlich ablehnen, ohne KI-Sichtbarkeit abzulehnen, sperren genau diesen Crawler und lassen die anderen beiden unangetastet.

OAI-SearchBot: der Zitations-Crawler

OAI-SearchBot baut den Index auf, aus dem die ChatGPT-Suche ihre Antworten und Zitate zieht. Sperrst du diesen per Disallow, tauchen deine Seiten nicht mehr in den suchgestützten Antworten von ChatGPT auf, auch wenn sie in manchen Kontexten noch als reine Navigationslinks erscheinen können. Wenn Citation Share dein Ziel ist, ist das Token, das offen bleiben sollte. Ihn zu sperren, ist der schnellste Weg, aus ChatGPTs zitierten Quellen zu verschwinden, ohne zu merken, warum.

ChatGPT-User: der Live-Abruf-Crawler

ChatGPT-User ist eigentlich gar kein richtiger Crawler. Er feuert einmalig, auf Anfrage, wenn eine echte Person (oder ein Custom GPT in ihrem Auftrag) ChatGPT bittet, eine bestimmte URL zu öffnen. OpenAIs eigene Dokumentation ist bei den Grenzen hier ganz direkt: Dieser Agent wird „nicht zum automatischen Crawlen des Webs eingesetzt”, und robots.txt-Regeln greifen möglicherweise nicht vollständig, weil die Anfrage von einem Nutzer ausgelöst wird und nicht automatisch erfolgt. Behandle eine Disallow-Regel für dieses Token als starkes Signal, nicht als Garantie. Brauchst du einen harten Stopp, kombiniere sie mit einer Sperre auf Server- oder CDN-Ebene, statt dich allein auf robots.txt zu verlassen.

Cloudflares Frist zum 15. September 2026 und was sie für deine Regeln bedeutet

Cloudflare ordnet das Verhalten von KI-Bots drei deklarierten Zwecken zu, und die Definitionen lassen sich sauber auf die Taxonomie oben übertragen. Search ist „jedes Verhalten, das deine Inhalte sammelt oder indexiert, um später Fragen dazu zu beantworten”. Agent ist „automatisiertes Verhalten, das meist in Echtzeit im Auftrag einer Person handelt, um gerade jetzt etwas zu erledigen”. Training ist ein Crawler, der „deine Inhalte nutzt, um ein Modell zu trainieren oder feinabzustimmen”, wobei die Daten dauerhaft in das Modell selbst einfließen (Cloudflare, 2026).

Gleichst du diese Definitionen mit OpenAIs eigenen deklarierten Zwecken ab, ergibt sich die Zuordnung von selbst. OAI-SearchBot ist ein Crawler mit dem Zweck Search. ChatGPT-User ist ein Crawler mit dem Zweck Agent, und Cloudflare nennt ChatGPT-User direkt als Beispiel für diese Kategorie. GPTBot ist ein Crawler mit dem Zweck Training.

Nach Cloudflares neuer Standardregel bleibt Search auf jeder Seite mit Werbung erlaubt, während Agent und Training beide gesperrt werden. Das heißt: GPTBot und ChatGPT-User werden ab dem 15. September 2026 standardmäßig auf deinen monetarisierten Seiten gesperrt, während OAI-SearchBot weiterläuft. Willst du eine andere Aufteilung, stellst du sie selbst in Cloudflares Dashboard unter Security, Bots, AI Scrapers and Crawlers ein, bevor die Frist erreicht ist.

Das ist kein neues Problem, eher ein formalisiertes. Nach Otterly.AIs Analyse von 2026 mit mehr als einer Million Datenpunkten tragen 73 % der Websites bereits eine technische Barriere, eine unbeabsichtigte robots.txt-Regel oder eine CDN-Sicherheitseinstellung, die einen KI-Crawler komplett aussperrt (Otterly.AI, 2026). Cloudflares neue Standardregel schafft diese Lücke nicht. Sie trifft nur die Standardentscheidung für alle, die noch keine eigene getroffen haben.

So prüfst du, wo du gerade stehst

Öffne yoursite.com/robots.txt und suche gezielt nach GPTBot, OAI-SearchBot und ChatGPT-User. Eine pauschale Regel User-agent: * mit Disallow: / erwischt alle drei, ob gewollt oder nicht, genau wie eine einzelne Zeile User-agent: OpenAI, die aus einer veralteten Anleitung kopiert wurde.
Nutzt du Cloudflare, prüfe Security > Bots > AI Scrapers and Crawlers. Cloudflares Dashboard-Einstellung kann deine robots.txt-Regeln überschreiben oder duplizieren, und beide können still und leise in Konflikt geraten: Eine robots.txt, die einen Crawler erlaubt, bedeutet nichts, wenn das CDN ihn schon am Netzwerkrand blockiert.
Zieh dir die rohen Server- oder CDN-Logs und filtere nach den drei User-Agent-Strings aus der Tabelle oben. Analytics-Tools, die auf einem JavaScript-Tag basieren, zeigen dir diesen Traffic nicht: Crawler führen kein JavaScript aus und lösen keine Tracking-Pixel aus, weshalb ein Standard-Analytics-Dashboard null Besuche meldet, obwohl die Anfragen tatsächlich stattgefunden haben.
Entscheide über jedes Token bewusst, nicht per Standardeinstellung. Erlaube OAI-SearchBot, wenn dir Citation Share wichtig ist. Entscheide bei GPTBot separat, je nach deiner Haltung zu KI-Training. Behandle ChatGPT-User als weiches Signal statt als harte Sperre, und untermauere es bei Bedarf mit einer Regel auf Server-Ebene.
Setz dir eine Erinnerung vor dem 15. September 2026. Hast du diese Einstellungen bisher nicht angefasst, trifft Cloudflares neue Standardregel die Training- und Agent-Entscheidung auf jeder werbefinanzierten Seite für dich.

Tools, die dir den Crawler zeigen, nicht nur das Zitat

Citation-Tracking-Tools sagen dir, wann du zitiert wurdest. Sie sagen dir selten, welcher Crawler deinen Server erreicht hat, wann, oder wie oft er abgewiesen wurde. Das ist ein eigenes Messproblem, und es braucht eine eigene Fähigkeit.

Profound hat sein Feature Agent Analytics gezielt für diese Lücke gebaut. Es liest Bot-Traffic auf Ebene der Server-Logs aus und trennt Anfragen von GPTBot, OAI-SearchBot und ChatGPT-User in eigene Zeilen, zusammen mit Prompt-Volumen-Daten, statt OpenAIs Traffic in einen Topf zu werfen. Für Teams, die genau nachweisen müssen, welcher Crawler eine Seite erreicht oder nicht erreicht, ist diese Server-Log-Ansicht das Spezialwerkzeug für den Job. Es ist genau für diese Art technischer, Engine-für-Engine-Diagnose gebaut, weshalb es auch im GEO-Reporting auf Führungsebene auftaucht.

Otterly.AI nähert sich derselben Zugangsfrage von der Datenseite. Seine Analyse von Crawler-Zugangsbarrieren über mehr als eine Million Datenpunkte ist die Quelle hinter dem Wert von 73 % oben, und sie ist ein nützlicher Referenzpunkt, wenn du wissen willst, wie verbreitet solche Sperren im offenen Web sind, nicht nur auf deiner eigenen Domain.

Für Teams, die Crawler-Transparenz und Citation-Tracking im selben Abo wollen statt in zwei getrennten Logins, gibt es den vollständigen Vergleich der GEO-Plattformen unter /rankings/geo-tools, bewertet nach der veröffentlichten Methodik.

Prüfe deine robots.txt vor dem 15. September gegen die Tabelle oben. Temso, die All-in-one-KI-SEO-Plattform ab 89 €/Monat, liefert Bot-Analytics zusammen mit Citation-Tracking im selben Dashboard, sodass du siehst, welcher OpenAI-Crawler deine Website erreicht hat und ob daraus ein Zitat wurde, ohne selbst Server-Logs und ein separates Monitoring-Tool zusammenzustricken.