GEO Rankings
← ブログ
公開日

Pay Per Crawl（ペイ・パー・クロール）とは？ AIエンジンによるサイト閲覧の可否を決めるHTTP 402の仕組み

Pay Per CrawlはHTTP 402レスポンスを使い、AIクローラーにフェッチごとの料金を課す仕組みです。その仕組みと目的宣言型ボットのカテゴリー、2026年の導入スケジュールを解説します。

結論

Pay Per Crawlは、Cloudflareが先駆けて導入したフェッチ単位の課金システムです。サイト運営者はAIクローラーがページを取得するたびに料金を請求できます。支払いを行わないボットにはページの代わりにHTTP 402 Payment Requiredレスポンスが返され、検索、エージェント、学習といった目的宣言型ボットのカテゴリーごとに個別の価格を設定することもできます。

2026年9月更新。

30年間、クローラーは公開ページを無料で自由に取得できました。リクエストを送る。サーバーが200番とコンテンツを返す。取引はそれで完結していました。

Pay Per Crawlはその前提を覆します。HTTPステータスコード402（Payment Required）は1997年から存在していましたが、実際にはほとんど使われてきませんでした。Cloudflareはこれを、AIクローラーがコンテンツを取得できるかどうかを決める現役のインフラへと変えたのです。

ここでは、何が変わったのか、この取引がどう機能するのか、そしてAIにおける可視性を追跡するうえで何を意味するのかを解説します。

この変化を物語る数字

  • 100万以上：Pay Per Crawlの価格設定を含むトグル機能、AI Crawl Controlを有効にしているCloudflareの顧客数（Cloudflare、2026年）。
  • 10億以上：Cloudflareのネットワークが1日にAIクローラーへ送信するHTTP 402レスポンスの件数（Cloudflare Blog、「Introducing AI Crawl Control」）。
  • 35.7%：世界の上位1,000サイトのうち、最もブロックされているAIクローラーであるGPTBotをブロックしているサイトの割合。2023年8月の登場時点の約5%から上昇（Originality.AI、2024年8月）。

3年前には、これらの数字はどれも存在していませんでした。パブリッシャーは今、すべてのボットを無料で通すことと、すべてを完全にブロックすることの間で選べるレバーを手にしています。

HTTP 402の取引は実際どう機能するのか

Pay Per Crawlは、クローラーとサーバーの間で行われるシンプルな取引の上で成り立っています。Cloudflareの実装は2つの経路をサポートしています。

リアクティブ・フロー。 クローラーは価格に同意しないままページをリクエストします。そのページに価格が設定されていて、クローラーがまだ支払っていない場合、サーバーはHTTP 402で応答します。このレスポンスには、料金を示すcrawler-priceヘッダーが含まれます。

クローラーは、その価格と一致するcrawler-exact-priceヘッダーを付けて同じURLに再リクエストできます。価格が一致すれば、サーバーはHTTP 200でページを配信し、課金を確認するcrawler-chargedヘッダーを添えます。

プロアクティブ・フロー。 クローラーはこの往復自体を省きます。最初のリクエストに、支払える上限額を示すcrawler-max-priceヘッダーを付けて送信します。ページの価格がその上限以下であれば、サーバーはHTTP 200で即座にコンテンツを配信します。

AIクローラー                                ウェブサイト
    |                                        |
    |--- GET /article -------------------->  |
    |                                        |
    |<-- 402 Payment Required -------------  |
    |    crawler-price: $0.01                |
    |                                        |
    |--- GET /article -------------------->  |
    |    crawler-exact-price: $0.01          |
    |                                        |
    |<-- 200 OK ---------------------------  |
    |    crawler-charged: $0.01              |
    |    [ページのコンテンツ]                  |

クローラーは、ユーザーエージェント文字列だけで身元を示すわけではありません。署名付きの暗号鍵ペアを使って認証を行います。これにより、サーバーはどのボットがリクエストしているのかを正確に把握でき、合意した価格を守らせることができます。この署名付きの身元こそが、ボットの目的ごとに価格を設定するという、このシステムの残りの部分を可能にしています。

目的宣言型ボット：「AIクローラー」がひとくくりでなくなった理由

以前のクローラー制御は二択でした。GPTBotを許可するか、ブロックするかです。Cloudflareの現在のモデルは、すべてのAIクローラーを目的宣言型のカテゴリーに分類し、サイト運営者はボットごとではなく目的ごとにルールを設定します。

  • Search（検索）：後で質問に答えるためにコンテンツをインデックスするクローラー。参照トラフィックにつながるため、サイト運営者は一般的にこのトラフィックを歓迎します。デフォルトで許可されています。
  • Agent（エージェント）：タスクを完了するブラウザ操作型アシスタントのように、人に代わってリアルタイムで行動するクローラー。2026年9月15日時点で、広告収益化されたページではデフォルトでブロックされます。
  • Training（学習）：モデルの学習やファインチューニングのためにコンテンツを収集するクローラー。コンテンツはその場で回答に使われるのではなく、恒久的に取り込まれます。同日時点で、広告収益化されたページではデフォルトでブロックされます。

1つのボットが複数の目的タグを持つこともあります。Cloudflareは、該当するルールのうち最も厳しいものを適用します。SearchとTrainingの両方にフラグが立っているクローラーは、Search側の挙動が歓迎されていたとしても、Trainingがブロックされていればブロックされます。

何が変わったのか、いつ変わったのか

できごと日付出典
CloudflareがPay Per Crawlのプライベートベータを開始し、402ベースの価格取引を導入2025年7月1日Cloudflare Blog
AI Crawl Controlが一般提供（GA）を開始2025年8月Cloudflare Blog
AI Crawl Controlが1つのコンソールに統合され、無料プランを含む全プラン階層で利用可能に2026年4月13日〜17日Cloudflare Blog、Agents Week 2026
Cloudflareが商用モデルをフェッチ単位の課金から、コンテンツが引用された際にパブリッシャーへ支払う方式へ転換。Ceramic.aiとYou.comとともに開始2026年7月1日Cloudflare（TechCrunchが報道）
AgentおよびTrainingカテゴリーのクローラーが、広告収益化されたページでデフォルトでブロックされるように2026年9月15日Cloudflare Blog

Pay Per Crawlは、ローンチ後も変化を止めていません。フェッチ単位の価格設定は、あくまで最初のバージョンにすぎませんでした。

Cloudflare自身が2026年7月の発表で、この仕組みの弱点を指摘しました。同社が正規と分類するボットからのクロールトラフィックのうち、半分以上は前回訪問時から変化していないページの再取得に費やされています。フェッチごとに一律の価格を課す方式では、こうした無駄も実際の利用と同じように報われてしまいます。

新しく登場した、パートナー経由での展開が続いているpay-per-citation（引用課金）モデルは、リクエストではなく成果に対して価格をつけます。

この領域を構築しているのはCloudflareだけではありません。TollBitは、パブリッシャーとAI企業の間に立つ別のライセンス供与・計測プラットフォームを運営しており、Cloudflareのネットワークの外でボットトラフィックを追跡し、有料アクセス契約を仲介しています。どちらもGEOツールではなくインフラです。決めるのは、クローラーがコンテンツに到達できるかどうかであって、到達した後にエンジンがそれを引用するかどうかではありません。

AIにおける可視性の追跡にとって、これが重要な理由

Pay Per Crawlは、これまで引用トラッキングが考慮する必要のなかった層を新たに加えます。ページを完璧に最適化していても、そのページを取得するはずだったクローラーが、支払う気のない402に突き当たれば、一度も読まれないまま終わることがあります。

そのため、引用数だけでなく、クローラー単位の可視性も、今や測定すべき課題の一部になっています。

**Profound**は、この点に最も直接的に対応しています。同社のAgent Analyticsという製品は、リクエスト単位でクローラーの活動を追跡し、どのボットがどれくらいの頻度でページに到達しているかを示します。Pay Per Crawlと402のデータをGEOシグナルとして読み解くという点では、最も近いアプローチです。

**Temso**は、同じ課題にオールインワンの視点からアプローチします。AIボット分析を、$89/月から利用できる引用トラッキングの契約に組み込んでおり、クローラーの可視性を引用シェアやコンテンツ実行と併せて把握したいチームは、そのためだけに別のツールを運用する必要がありません。

**Scrunch**は、レディネス（準備状況）の観点を取ります。すでに起きたことを報告するだけでなく、そもそもAIエージェントがサイトをナビゲートできるよう、サイトの構造とアクセスルールが整っているかどうかを評価します。これは、Agentカテゴリーのクローラーが広告収益化ページでデフォルトブロックされる今、直接的に重要な意味を持ちます。

この3つは互いを代替するものではありません。このサイトでGEOプラットフォームをどう評価しているか、そのスコアリング方法論をご覧ください。

結論

Pay Per Crawlは、クローラーのアクセスを、HTTP 402レスポンスと暗号署名付きのボット認証によって強制される、価格のついた取引に変えます。それ自体はランキングや引用のシグナルではありません。クローラーがそもそもページに到達できるかどうかを決めるものであり、それは今、あなたが追跡している他のあらゆるGEO指標より上流に位置しています。

AIクローラーが実際にコンテンツへ到達できているか、確認しましょう。 Temsoは、$89/月から、複数のエンジンにまたがる引用シェアと並行してAIボットの活動を追跡するため、ブロックされたクローラーは引用の機会を失う前に見つかります。詳しい比較はGEOツールランキングで、関連用語は用語集でご確認ください。

FAQ

Pay Per Crawlとは何ですか？

Pay Per Crawlとは、Cloudflareが2025年7月に導入した課金システムです。ウェブサイト運営者は、AIクローラーがページを取得するたびに料金を請求できます。支払いを拒否したクローラーには、コンテンツの代わりにHTTP 402 Payment Requiredレスポンスが返されます。提示された料金を支払ったクローラーには、ページを含むHTTP 200レスポンスが返されます。

Pay Per CrawlにおいてHTTP 402レスポンスは実際どう機能しますか？

クローラーがページをリクエストします。そのページに価格が設定されていて、クローラーがまだ支払いに同意していない場合、サーバーは料金を示すcrawler-priceヘッダーとともにHTTP 402 Payment Requiredを返します。クローラーはその価格と一致するcrawler-exact-priceヘッダーを付けて同じリクエストを再送でき、サーバーはコンテンツとcrawler-chargedヘッダーを添えてHTTP 200を返します。クローラーは最初のリクエストにcrawler-max-priceヘッダーを付けて上限額をあらかじめ提示し、402の往復自体を省くこともできます。

目的宣言型ボットとは何ですか？

目的宣言型ボットとは、名前だけでなく、各リクエストの背後にある意図まで明示するクローラーのことです。CloudflareはAIクローラーのトラフィックを、Search（後で質問に答えるためにコンテンツをインデックスする）、Agent（人に代わってリアルタイムで行動する）、Training（モデルの学習やファインチューニングのためにコンテンツを収集する）といったカテゴリーに分類します。サイト運営者は、すべてのAIトラフィックを一律に扱う代わりに、カテゴリーごとに許可、ブロック、価格設定を個別に選べます。

最もブロックされているAIクローラーはどれですか？

OpenAIのクローラーであるGPTBotは、robots.txtの調査で最もブロックされているAIクローラーです。Originality.AIが2024年8月に実施した世界の上位1,000サイトの分析によると、GPTBotを拒否しているサイトの割合は35.7%に達し、ボットが登場した2023年8月時点の約5%から大きく上昇しました。これは同じ調査におけるCCBot、Google-Extended、ChatGPT-Userのブロック率をいずれも上回ります。

Pay Per Crawlはrobots.txtやllms.txtと同じですか？

いいえ、異なります。robots.txtは、許可または拒否のディレクティブを使ってクローラーがそもそもページにアクセスしてよいかどうかを伝える仕組みですが、多くのボットはこれを単純に無視します。llms.txtは、サイトがAIシステムにとって正規と見なすURLを整理するものですが、強制力はありません。Pay Per Crawlはその両方より下の層に位置します。サーバー自体がHTTP 402ステータスコードを使って強制する課金レイヤーであり、robots.txtやllms.txtが何を定めていても、ボットは支払わなければページを取得できません。

Pay Per Crawlを利用しているサイトはどれくらいありますか？

Cloudflareの報告によると、Pay Per Crawlの価格設定機能を含む無料トグルであるAI Crawl Controlを有効にしている顧客は100万を超え、Cloudflareのネットワークは現在、1日あたり10億件を超えるHTTP 402レスポンスをAIクローラーに送信しています。現時点での導入はCloudflareの顧客に集中しており、この仕組みが業界全体で標準になっているわけではありません。