2026年9月更新。
AIエンジンは、一度も見たことのないページを引用できません。冒頭に直接的な回答を置く、スキーマを整える、更新日を新しく保つといった、あらゆる下流のGEO施策は、ほとんどのGEOのアドバイスが見落としているたった一つの前提条件に依存しています。それは、クローラーがまず入り口を通過できることです。
Pay-per-crawlは、Cloudflareが構築し、いまやWebのインフラ層全体に広がりつつある仕組みで、その入り口で何が起こるかを決めます。許可かブロックかという従来の二択に、課金という第三の選択肢を加えるものです。そして2026年9月15日以降、AIクローラーの大部分にとって、デフォルトの答えは許可からブロックへと切り替わります。
クローラーアクセスがGEOの「ゼロ番目のステップ」である理由
これはゼロ番目のステップと呼ぶべきものです。ステップ1ではありません。ステップ1は、クローラーがすでにコンテンツへ到達していることを前提にしているからです。ゼロ番目と呼ぶのは、この前提が崩れたら、GEOの取り組みの他の部分は何の意味もなさなくなるからです。
GPTBotは、2年連続で最もブロックされることの多いAIクローラーです。Originality.AIが2024年8月に世界のトップ1,000サイトを分析したところ、35.7%がrobots.txtでGPTBotを拒否しており、CCBot（22.1%）、Google-Extended（13.6%）、ChatGPT-User（12.7%）がそれに続きました。
アクセス障壁は、リファラルトラフィックにも現れます。Modern Retailが2025年9月に報じたSimilarwebのデータによると、Amazonがリファラルトラフィックのうち3%未満しかChatGPTから受け取っておらず、レポートはこのギャップをAmazonの意図的なAIクローラーブロックに直接結びつけています。一方でWalmartとEtsyは、同じ月にそれぞれリファラルクリックの20%以上をChatGPTから獲得していました。
クローラーをブロックすれば、そのエンジンにおけるあなたの引用シェアは、ページの出来がどれだけよくてもゼロのままです。
Pay-per-crawlの仕組み
Cloudflareのモデルは、2つの仕組みの上に成り立っています。クローラーが自分自身をどう宣言するか、そしてページをリクエストした後に何が起こるか、です。
ボットの目的宣言と混在型クローラー
Cloudflareは、自動化されたトラフィックを3つの用途に分類します。
- Search. コンテンツをインデックスし、後で質問に答えるために使います。従来の検索エンジンによるクロールです。
- Agent. いままさに質問をしたユーザーに代わって、特定の1ページをリアルタイムで取得します。
- Training. モデルの学習やファインチューニングのために、コンテンツを大量に収集します。
1つの用途のもとで自分自身を明確に宣言するクローラーは、その用途のルールに従って扱われます。一方、混在型クローラー、つまり検索、エージェント、学習の取得を1つのユーザーエージェントの中で区別せずに混ぜているクローラーには、その恩恵がありません。公開者は見分けのつかないボットに対して異なるルールを設定できないため、宣言のない混在型のトラフィックは、デフォルトで最も制限の厳しいカテゴリーとして扱われます。
Cloudflareの「Verified Bot」であることも、もはやアクセスを意味しません。認証が確認するのは身元だけであり、権限ではありません。アクセスを許可するのは、宣言され、かつ許可された用途カテゴリーだけです。
HTTP 402による支払いフロー
クローラーの用途が判明すると、Cloudflareはそのボットとその用途に対する公開者のポリシーを確認します。無料で許可する、ブロックする、あるいは課金する、のいずれかです。課金オプションは、HTTP 402 Payment Requiredという、HTTPの仕様上30年近くほとんど使われてこなかったステータスコードを、Cloudflareが転用する形で動いています。
STEP 1: クローラーがページをリクエストする
GET /article User-Agent: GPTBot
STEP 2: Cloudflareが公開者のボットごとのポリシーを確認する
ブロック -> 403 Forbidden（コンテンツなし、引用も永久になし）
無料 -> 200 OK（コンテンツを提供、課金なし）
課金 -> 402 Payment Required（ヘッダー: crawler-price: USD 0.02）
STEP 3: クローラーが402に応答する
拒否する -> ここで終了、コンテンツなし
同意する -> ヘッダー crawler-exact-price: USD 0.02 を付けて再送する
STEP 4: Cloudflareが決済代行者として決済する
クローラーに課金し、公開者に入金し、以下を返す:
200 OK （ヘッダー: crawler-charged: USD 0.02、コンテンツを提供）Cloudflareはすべてのステップで間に立ち、クローラーへの請求、公開者への入金、取引の記録を行います。どちらの側も、独自の決済インフラを構築する必要はありません。
2026年9月15日に何が変わるのか
この日付が重要なのは、公開者が手動で有効にできるオプションというだけでなく、Cloudflareのデフォルト設定そのものが切り替わる日だからです。
| クローラーの用途 | 2026年9月15日より前 | 2026年9月15日以降（広告収益化ページ） |
|---|---|---|
| Search | デフォルトで許可 | 引き続きデフォルトで許可 |
| Agent | 新規ドメインではデフォルトで許可 | 公開者が許可しない限りデフォルトでブロック |
| Training | 新規ドメインではデフォルトで許可 | 公開者が許可しない限りデフォルトでブロック |
| 混在型（用途未宣言） | 許可として扱われる | デフォルトでブロック |
| 「Verified Bot」バッジ | アクセスの証明として読まれることが多い | 単独ではもはやアクセスを意味しない |
このデフォルトは、新規ドメイン、既存アカウント上の新規サイト、そして無料プランの顧客に適用されます。すでに設定済みの有料顧客は、その設定を維持します。広告ページをトリガーにしているのは意図的です。Cloudflareは、ページ上の広告を、そのページが人間の訪問者向けに作られたことを示すシグナルとして扱っており、これがAgentとTrainingのクローラーをデフォルトでゲートする根拠になっています。一方で、いまだにリターントラフィックを送ってくるSearchのクローラーには手を付けません。
数字で見る問題の規模
これは、上級者向けタブの奥に隠れたニッチな設定ではありません。Cloudflareによれば、同社のネットワークは平均的な1日で、AIクローラーに対して10億件以上のHTTP 402レスポンスを処理しており（Cloudflare、2026年）、すでに100万を超えるCloudflare顧客がAIクローラーのブロック制御を有効にしています（Cloudflare、2025年）。
そして、このギャップは常に意図的なものとは限りません。Otterly.AIの2026年のレポート『The AI Citation Economy: What 1+ Million Data Points Reveal』によると、サイトの73%が、引き継いだrobots.txtのルール、CDNのセキュリティのデフォルト設定、JavaScriptレンダリングの壁といった技術的な障壁を抱えており、サイト所有者が意図して選んだわけではないままAIクローラーのアクセスを妨げています。
これらを合わせると、全体像がはっきりします。クローラーアクセスは、いつの間にか、一度設定して忘れていいチェックボックスではなく、インフラレベルのポリシーになっているのです。
期限前セルフ監査チェックリスト
Cloudflareを使っているかどうかにかかわらず、2026年9月15日より前に、この作業に取り組んでください。
- 自社のCloudflareプランとドメインの状態を確認する。新規か既存か、有料か無料か。デフォルトのブロックは、それぞれで適用のされ方が異なります。
- CloudflareダッシュボードでAI Crawl Controlを開き、自社ドメインの現在のSearch、Agent、Trainingの設定を確認する。
- robots.txtで、GPTBot、PerplexityBot、ClaudeBot、Google-Extended、Amazonbotに対する拒否ルールがないか確認する。
- トップページだけでなく、実際の製品ページや記事ページを、主要なAIユーザーエージェントごとにテストする。
- ボットごとに、無料で許可するか、ブロックするか、価格を設定するかを決める。
- どのページに広告が掲載されているかを洗い出す。それらのページこそ、9月15日のデフォルトが最初に影響するページです。
- 期限を過ぎたら再テストし、意図した設定が実際に反映されているかを確認する。
AIクローラーが到達しているか確認できるツール
生のサーバーログをユーザーエージェント文字列で読む方法は機能しますが、数ページを超えると現実的ではなくなります。この確認作業を自動化してくれるツールがいくつかあります。
ProfoundのAgent Analyticsは、どのボットがどのURLに、どのくらいの頻度でアクセスしているかを、自社のトラフィックデータと突き合わせてマッピングします。アクセスの有無を経営層に報告する必要が出てきたときに役立ちます。Knowatoaは、主要なAIユーザーエージェントに対する専用のクローラーアクセスチェックを実行し、静かにアクセスを妨げているrobots.txtやCDNのルールを洗い出します。問題を直す前に、まずギャップを見つけるための近道です。
別のツールを個別に運用するのではなく、この確認作業をより広いGEOのサブスクリプションに組み込みたいなら、Temsoは引用トラッキングやコンテンツ実行と並んで、AIボット分析をオールインワンのプラットフォームの一部として含んでおり、$89/月から利用できます。
クローラーアクセスチェックの扱い方を含む、GEOプラットフォームの全比較は/rankings/geo-toolsにあり、その評価基準は/methodologyにあります。引用シェアのような用語の定義は/glossaryで確認できます。
FAQ
Pay-per-crawlとは何ですか？
Pay-per-crawlは、Cloudflareが構築した仕組みで、Webサイトがブロックするか無料で通すかだけでなく、AIクローラーにアクセスの対価を課金できるようにします。公開者はボットごとに価格を設定し、クローラーからの各リクエストは、無料で提供される、ブロックされる、あるいはその価格を示す402 Payment Requiredで応答される、のいずれかになります。
ここでのHTTP 402ステータスコードの役割は何ですか？
HTTP 402 Payment Requiredは、HTTPの仕様上、数十年にわたってほとんど使われてこなかったステータスコードです。Cloudflareはこれを転用しました。価格が設定されたページは、コンテンツの代わりに価格情報を添えた402を返し、クローラーは支払い確認を添えて再送すれば、200 OKと実際のページを受け取れます。
2026年9月15日に何が変わりますか？
Cloudflareはこの日、AIクローラーに対する新しいデフォルトのアクセスルールを設定します。広告が掲載されているページでは、TrainingとAgentのクローラーがデフォルトでブロックされる一方、Searchのクローラーは引き続き許可され、用途を宣言しない混在型クローラーもブロック扱いになります。このデフォルトは、新規ドメイン、既存アカウント上の新規サイト、無料プランの顧客に適用されます。有料顧客は、既存の設定をそのまま維持します。
9月15日のデフォルトブロックは、既存のサイトに影響しますか？
影響するのは、Cloudflareの新規顧客である場合、新しいドメインを追加する場合、または広告を掲載している無料プランのサイトを運営している場合だけです。既存の有料Cloudflare顧客は、すでに設定済みのクローラー設定をそのまま維持します。自分がどちらに当てはまるか分からない場合は、期限が来る前にAI Crawl Controlの設定を確認してください。
AIクローラーが実際に自社サイトへアクセスできているか、どう確認すればよいですか？
主要なAIユーザーエージェントに対してrobots.txtをテストし、CDNやWAFのルールにAIボット向けのプリセットが含まれていないか確認します。そして、トップページだけでなく、実際の製品ページや記事ページで、ブロックされたリクエストと処理されたリクエストをサーバーログで確認します。ProfoundのAgent AnalyticsとKnowatoaのクローラーアクセスチェックは、いずれもこの比較作業を自動化してくれます。
AIクローラーをブロックすることは、引用される可能性にとってプラスですか、マイナスですか？
クローラーをブロックすれば、そのエンジンに引用される可能性は完全になくなります。Otterly.AIの2026年のレポートによると、サイトの73%が、多くの場合意図しない形で、AIクローラーのアクセスを妨げる技術的な障壁を抱えています。クロールアクセスはそれ自体が戦略なのではなく、前提条件です。クローラーを許可しても引用が保証されるわけではありませんが、ブロックすれば引用されないことは確実になります。
2026年9月15日より前に、上記のセルフ監査を実行してください。 クロールアクセスは二択です。ボットがページに到達するか、しないかのどちらかです。どれだけスキーマを整えても、冒頭に直接的な回答を置いても、コンテンツを磨き上げても、エンジンが一度も見ていないページは救えません。GEOプラットフォームがクローラーアクセスの監視をどう扱っているかは/rankings/geo-toolsで確認できます。