最終更新:2026年8月。
多くのrobots.txtファイルは、いまだに「OpenAI」を1つの項目として扱っています。その1つの判断が、引用に必要だったクローラーをブロックしてしまうか、逆に締め出したかったはずのクローラーへの扉を開けたままにしてしまうかを決めます。
3つのOpenAIクローラーは3つの異なる仕事をしており、応答するrobots.txtトークンもそれぞれ異なります。この対応関係を間違えると、意図せず引用適格性を失うか、与えるつもりのなかったトレーニングへの同意を与えてしまうことになります。
これは仮定の話ではありません。Cloudflareは、ウェブの広い範囲で3つのクローラーすべてのデフォルトの扱いを変えようとしており、その期限はあと数週間に迫っています。robots.txtファイルを一度も開いたことのないサイト運営者にも、まもなくデフォルトの設定が代わりに決められてしまいます。
3つのボット、3つのまったく異なる仕事
今やどのAIラボも複数のクローラーを運用しており、OpenAIは自社名義で3つを走らせています。これらを1つのトラフィックソースとして扱うことが、サイトの設定を誤る一番の近道です。
この差は実害を伴います。Cloudflare自身のネットワークデータによると、GPTBotがAIクローラートラフィックに占める割合は、2024年5月の5%から1年後には30%へと急増し、2025年5月時点でCloudflareのネットワーク上のあらゆる種類のクローラーの中で3番目に大きい存在になりました(Cloudflare、2025年)。同じレポートは、GPTBotがネットワーク上で最もブロックされているAIクローラーでもあり、2025年6月時点でどのボットよりも多くのrobots.txt Disallowルールに名指しされていることも明らかにしています。
高いトラフィックと高いブロック率、この組み合わせは何かを物語っています。多くのサイト運営者は意図的にGPTBotをブロックしています。ですが、3つのトークンそれぞれが実際に何を制御しているのかを明確に理解した上でそうしている人は、はるかに少数です。
この混乱は無理もありません。3つのクローラーはすべて「OpenAI」という名前を共有しており、たいていのCDNダッシュボードはそれらを1つの「OpenAI」トグルにまとめています。しかし、トレーニングを理由にGPTBotをブロックするルールと、引用を理由にOAI-SearchBotをブロックするルールは、まったく別の問題を解決するものです。スイッチを間違えると、トレーニングをオプトアウトしたつもりが、引用適格性まで失うことになりかねません。
GPTBot vs OAI-SearchBot vs ChatGPT-Userの分類表
ブックマークしておく価値のある表です。各行はOpenAI自身のクローラードキュメントから引用したもので、正確なユーザーエージェント文字列、宣言された目的、そのクロールが実際に何の元になるか、そしてそれを制御するrobots.txtトークンを示しています。
OpenAIは3つを同時に始めたわけではありません。最初に登場したのは2023年8月のGPTBotで、純粋にトレーニング用として作られました。OAI-SearchBotとChatGPT-Userは、ChatGPTがリアルタイムのウェブ検索とブラウジング機能を獲得した後に登場しました。3つのトークンが存在するのは、OpenAIが分類法を設計しようとしたからではなく、プロダクトに新しい機能が加わっていったからです。この経緯こそが、今でも多くのrobots.txtファイルが3つのうち最も古いものしか記載していない理由です。
| クローラー | ユーザーエージェント文字列 | 目的 | 何の元になるか | robots.txtトークン |
|---|---|---|---|---|
| GPTBot | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot | モデルのトレーニング | 将来のGPTモデル世代のためのトレーニングデータ | User-agent: GPTBot |
| OAI-SearchBot | Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36; compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot | 検索インデックス作成 | ChatGPTが引用の元にする検索インデックス | User-agent: OAI-SearchBot |
| ChatGPT-User | Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot | リアルタイムのユーザー取得 | 人やCustom GPTがChatGPTにページを開くよう頼んだ瞬間に取得される1ページ | User-agent: ChatGPT-User |
各トークンは独立して機能します。OAI-SearchBotをAllowしたままGPTBotをDisallowすることができ、OpenAIはそれぞれのルールをそのとおりに尊重します。これこそが、1社のトラフィックを3つの名前付きエージェントに分割している理由そのものです。OpenAIを単一の、区別のないアクターとして丸ごと受け入れるかブロックするかではなく、コンテンツのある使われ方には同意し、別の使われ方は断ることができるのです。
それぞれをブロックまたは許可すると、実際に何が変わるのか
GPTBot:トレーニング用クローラー
GPTBotは、OpenAIのモデルトレーニングパイプライン用にコンテンツを収集するために存在します。ここでDisallowルールを設定すると、あなたのページは将来のGPT世代の学習には使われなくなります。ですが、ChatGPTが今日あなたのコンテンツを見つけ、取得し、引用できるかどうかには関係しません。AIによる可視性そのものには反対しないが、原則としてAIトレーニングには反対するというパブリッシャーは、これだけをブロックして残る2つには手を付けません。
OAI-SearchBot:引用用クローラー
OAI-SearchBotは、ChatGPTの検索機能が回答と引用の元にするインデックスを構築します。これをDisallowすると、あなたのページは検索に基づくChatGPTの回答内に表示されなくなります。文脈によっては単なるナビゲーションリンクとして残ることはありますが。引用シェアを目標にするなら、これは開けておくべきトークンです。ブロックすることは、理由に気づかないままChatGPTの引用元から姿を消してしまう、最も手っ取り早い方法です。
ChatGPT-User:ライブ取得用クローラー
ChatGPT-Userは、実のところクローラーとは言えません。実際の人(またはその人に代わって動くCustom GPT)が特定のURLを開くようChatGPTに頼んだときだけ、オンデマンドで一度だけ動きます。OpenAI自身のドキュメントもこの点の限界をはっきり述べています。このエージェントは「自動的な方法でウェブをクロールするためのものではない」とされており、リクエストが自動ではなくユーザー起点であるため、robots.txtのルールが完全には適用されない場合があります。このトークンのDisallowルールは、保証ではなく強いシグナルとして扱ってください。確実に止めたいなら、robots.txtだけに頼らず、サーバー側やCDNレベルのブロックと組み合わせましょう。
Cloudflareの2026年9月15日の期限と、あなたのルールへの意味
Cloudflareは、AIボットの挙動を3つの宣言された目的に分類しており、その定義は上の分類表にきれいに対応します。**検索(Search)**は「後で質問に答えられるように、コンテンツを収集またはインデックス化するあらゆる挙動」です。**エージェント(Agent)**は「通常はリアルタイムで、人に代わって何かを今すぐ実行する自動化された挙動」です。**トレーニング(Training)**は「モデルをトレーニングまたはファインチューニングするためにコンテンツを取得する」クローラーであり、そのデータはモデル自体に永続的に取り込まれます(Cloudflare、2026年)。
この定義をOpenAI自身が宣言している目的と照らし合わせれば、対応関係はおのずと決まります。OAI-SearchBotは検索目的のクローラーです。ChatGPT-Userはエージェント目的のクローラーであり、Cloudflareはこのカテゴリーの例としてChatGPT-Userの名前を直接挙げています。GPTBotはトレーニング目的のクローラーです。
Cloudflareの新しいデフォルトでは、広告が掲載されているページであれば、検索は許可されたままで、エージェントとトレーニングは両方ともブロックされます。つまり、2026年9月15日を迎えると、収益化されたページ上でGPTBotとChatGPT-Userはデフォルトでブロックされる一方、OAI-SearchBotは動き続けます。別の設定にしたいなら、期限が来る前に、Cloudflareのダッシュボードの「Security」「Bots」「AI Scrapers and Crawlers」から自分で設定してください。
これは新しい問題というより、正式なものになったというべきでしょう。Otterly.AIが2026年に100万件を超えるデータポイントを分析した結果によると、意図しないrobots.txtのルールやCDNのセキュリティ設定といった技術的な障壁を持つサイトはすでに73%に上り、一部のAIクローラーを完全に締め出しています(Otterly.AI、2026年)。Cloudflareの新しいデフォルトはこのギャップを生み出しているわけではありません。まだ何も選んでいない人のために、デフォルトの選択肢を決めているだけです。
今、自分の状況を確認する方法
yoursite.com/robots.txtを開き、GPTBot、OAI-SearchBot、ChatGPT-Userという名前を探してください。User-agent: *にDisallow: /を組み合わせた包括的なルールは、意図するとしないとにかかわらず3つとも巻き込みますし、古いガイドからコピーしたUser-agent: OpenAIという1行も同様です。- Cloudflareを使っているなら、Security > Bots > AI Scrapers and Crawlersを確認してください。Cloudflareのダッシュボード設定はrobots.txtのルールを上書きしたり重複させたりすることがあり、この2つは気づかないうちに矛盾することがあります。CDNがネットワークのエッジで先にクローラーをブロックしてしまえば、robots.txtがそのクローラーを許可していても意味がありません。
- 生のサーバーログまたはCDNログを取得し、上の表にある3つのユーザーエージェント文字列で絞り込んでください。JavaScriptタグに依存するアナリティクスツールでは、このトラフィックは見えません。クローラーはJavaScriptを実行せず、トラッキングピクセルも発火させないため、標準的なアナリティクスダッシュボードは実際に起きたリクエストに対してもゼロ訪問と報告します。
- デフォルト任せにせず、それぞれのトークンを意図的に決めてください。引用シェアが重要なら
OAI-SearchBotはAllowしましょう。GPTBotについては、AIトレーニングに対する自分の立場に基づいて、別に判断してください。ChatGPT-Userは完全なブロックではなく緩やかなシグナルとして扱い、確実性が必要ならサーバーレベルのルールで補強してください。 - 2026年9月15日より前にリマインダーを設定してください。これらの設定に一度も触れていなければ、Cloudflareの新しいデフォルトが、すべての広告収益化ページでトレーニングとエージェントの判断をあなたの代わりに下します。
引用だけでなく、クローラーそのものを見せてくれるツール
引用トラッキングツールは、いつ引用されたかを教えてくれます。しかし、どのクローラーがいつサーバーに到達したか、何回追い返されたかまでは、ほとんど教えてくれません。これは別の計測課題であり、別の機能が必要です。
**Profound**は、まさにこのギャップのためにAgent Analytics機能を開発しました。サーバーログレベルでボットトラフィックを読み取り、OpenAIのトラフィックを1つのまとまりにせず、GPTBot、OAI-SearchBot、ChatGPT-Userのリクエストをプロンプト量のデータとともに個別の行に分けて表示します。どのクローラーがページに到達しているか、していないかを正確に証明する必要があるチームにとって、そのサーバーログビューはこの仕事に特化したツールです。まさにこの種の技術的で、エンジンごとの診断のために作られているからこそ、経営層向けのGEOレポートにも登場するのです。
**Otterly.AI**は、同じアクセスの問題をデータ側から捉えています。100万件を超えるデータポイントにわたるクローラーアクセスの障壁分析が、上で紹介した73%という数字の出典であり、こうしたブロックが自分のドメインだけでなくオープンウェブ全体でどれくらい一般的かを知りたいなら、有用な参照ポイントになります。
2つの別々のログインではなく、1つのサブスクリプションでクローラーの可視性と引用トラッキングの両方を求めるチームは、公開されている評価方法に基づいてスコアリングされたGEOプラットフォームの全比較を/rankings/geo-toolsで確認してください。
9月15日を迎える前に、上の表と自分のrobots.txtを照らし合わせて監査してください。 月額$89からのオールインワンAI SEOプラットフォームであるTemsoは、同じダッシュボード内でボット分析と引用トラッキングの両方をカバーします。サーバーログと別のモニタリングツールを自分でつなぎ合わせなくても、どのOpenAIクローラーがサイトに到達し、それが引用につながったかどうかを確認できます。