Última atualização em setembro de 2026.
Por 30 anos, um crawler podia buscar qualquer página pública de graça. Ele enviava uma requisição. O servidor respondia com um 200 e o conteúdo. Essa era toda a transação.
O pay per crawl quebra essa premissa. O código de status HTTP 402, Payment Required, existe desde 1997 e quase nunca foi usado. A Cloudflare o transformou em infraestrutura ativa que decide se um crawler de IA chega ou não ao seu conteúdo.
Veja o que mudou, como funciona essa troca e o que isso significa para o rastreamento de visibilidade em IA agora.
Os números que definem o momento
- Mais de 1 milhão: clientes da Cloudflare que ativaram o AI Crawl Control, a opção que inclui os preços de pay per crawl (Cloudflare, 2026).
- Mais de 1 bilhão: respostas HTTP 402 que a rede da Cloudflare envia a crawlers de IA todos os dias (Cloudflare Blog, “Introducing AI Crawl Control”).
- 35,7%: a parcela dos 1.000 maiores sites do mundo que bloqueiam o GPTBot, o crawler de IA mais bloqueado rastreado, ante cerca de 5% no seu lançamento em agosto de 2023 (Originality.AI, agosto de 2024).
Há três anos, nenhum desses números existia. Hoje os publishers têm uma alavanca entre deixar todo bot entrar de graça e bloquear todo bot por completo.
Como a troca via HTTP 402 funciona na prática
O pay per crawl funciona com uma troca simples entre um crawler e um servidor. A implementação da Cloudflare oferece dois caminhos.
O fluxo reativo. O crawler solicita uma página sem nenhum acordo de preço. Se a página tem um preço e o crawler ainda não pagou, o servidor responde com HTTP 402. A resposta traz um header crawler-price informando o custo.
O crawler pode tentar de novo a mesma URL com um header crawler-exact-price que corresponda a esse preço. Se o valor bater, o servidor entrega a página com HTTP 200 e um header crawler-charged confirmando a cobrança.
O fluxo proativo. O crawler pula essa ida e volta por completo. Ele envia um header crawler-max-price já na primeira requisição, informando o valor máximo que está disposto a pagar. Se o preço da página fica nesse teto ou abaixo dele, o servidor entrega o conteúdo na hora, com HTTP 200.
Crawler de IA Site
| |
|--- GET /article --------------------> |
| |
|<-- 402 Payment Required ------------- |
| crawler-price: $0.01 |
| |
|--- GET /article --------------------> |
| crawler-exact-price: $0.01 |
| |
|<-- 200 OK --------------------------- |
| crawler-charged: $0.01 |
| [conteúdo da página] |O crawler não se identifica apenas com uma string de user-agent. Ele se autentica com um par de chaves criptográficas assinado. Assim, o servidor sabe exatamente qual bot está fazendo a requisição e pode cobrar dele o preço que ele aceitou pagar. Essa identidade assinada é o que torna possível o resto do sistema: a precificação por propósito do bot.
Bots de propósito declarado: por que “crawler de IA” já não é uma categoria só
No começo, o controle de crawlers era binário: permitir o GPTBot ou bloqueá-lo. O modelo atual da Cloudflare classifica cada crawler de IA em uma categoria de propósito declarado, e os donos de site definem regras por propósito, não por bot.
- Search: crawlers que indexam conteúdo para responder perguntas depois. Os donos de site geralmente querem esse tráfego, porque ele pode gerar referências. Permitido por padrão.
- Agent: crawlers que agem em tempo real em nome de uma pessoa, como um assistente que controla o navegador para concluir uma tarefa. Bloqueado por padrão em páginas monetizadas por anúncios a partir de 15 de setembro de 2026.
- Training: crawlers que coletam conteúdo para treinar ou fazer fine-tuning de um modelo, onde o conteúdo é absorvido de forma permanente em vez de ser usado para responder em tempo real. Bloqueado por padrão em páginas monetizadas por anúncios a partir da mesma data.
Um único bot pode carregar mais de uma tag de propósito. A Cloudflare aplica a regra mais restritiva entre as que se aplicam. Um crawler marcado como Search e Training ao mesmo tempo é bloqueado se Training estiver bloqueado, mesmo que o comportamento de Search dele seja bem-vindo.
O que mudou, e quando
| Evento | Data | Fonte |
|---|---|---|
| A Cloudflare lança o Pay Per Crawl em beta privado, introduzindo a troca de preços baseada no 402 | 1º de julho de 2025 | Cloudflare Blog |
| O AI Crawl Control chega à disponibilidade geral | Agosto de 2025 | Cloudflare Blog |
| O AI Crawl Control é consolidado em um único console, disponível em todos os planos, incluindo o gratuito | 13 a 17 de abril de 2026 | Cloudflare Blog, Agents Week 2026 |
| A Cloudflare muda o modelo comercial de preço por busca para pagar publishers quando o conteúdo é citado, com lançamento junto a Ceramic.ai e You.com | 1º de julho de 2026 | Cloudflare, segundo a TechCrunch |
| Crawlers das categorias Agent e Training passam a ser bloqueados por padrão em páginas monetizadas por anúncios | 15 de setembro de 2026 | Cloudflare Blog |
O pay per crawl não ficou parado desde o lançamento. O preço por busca foi a primeira versão.
O próprio anúncio da Cloudflare em julho de 2026 apontou o ponto fraco. Mais da metade do tráfego de rastreamento de bots que ela classifica como legítimos vai para buscar de novo páginas que não mudaram desde a última visita. Um preço fixo por busca recompensa esse desperdício tanto quanto recompensa o uso real.
O modelo mais recente de pay-per-citation, ainda em fase de lançamento com parceiros, precifica o resultado em vez da requisição.
A Cloudflare não é a única empresa construindo essa camada. A TollBit opera uma plataforma separada de licenciamento e medição que fica entre publishers e empresas de IA, rastreando o tráfego de bots e intermediando acordos de acesso pago fora da rede da própria Cloudflare. As duas são infraestrutura, não ferramentas de GEO: elas decidem se um crawler chega ao seu conteúdo, não se um motor escolhe citá-lo depois que chega.
Por que isso importa para o rastreamento de visibilidade em IA
O pay per crawl acrescenta uma camada que o rastreamento de citações não precisava considerar antes. Uma página pode estar perfeitamente otimizada e, mesmo assim, nunca ser lida, se o crawler que a buscaria esbarrar em um 402 que não está disposto a pagar.
Isso torna a visibilidade no nível de crawler, e não só a contagem de citações, parte do problema de medição agora.
Profound se encaixa aqui de forma mais direta. O produto Agent Analytics dele rastreia a atividade de crawlers no nível da requisição, mostrando quais bots chegam às suas páginas e com que frequência. É a leitura mais próxima dos dados de pay-per-crawl e 402 como sinal de GEO.
Temso aborda o mesmo problema por um ângulo tudo-em-um. Ele inclui analytics de bots de IA dentro da assinatura mais ampla de rastreamento de citações, a partir de $89/mês, então um time que quer visibilidade de crawlers junto com share de citações e execução de conteúdo não precisa rodar uma ferramenta separada para cada coisa.
Scrunch adota um ângulo de prontidão. Em vez de só reportar o que já aconteceu, ele avalia se a estrutura e as regras de acesso do seu site estão prontas para agentes de IA navegarem por ele antes de mais nada, o que importa diretamente agora que os crawlers da categoria Agent enfrentam bloqueios por padrão em páginas monetizadas por anúncios.
Nenhuma das três substitui as outras. Leia a metodologia de pontuação por trás de como as plataformas de GEO são avaliadas neste site.
A conclusão
O pay per crawl transforma o acesso de crawlers em uma transação precificada, aplicada com respostas HTTP 402 e identidade de bot assinada criptograficamente. Não é, por si só, um sinal de ranking ou de citação. Ele decide se um crawler sequer chega à sua página, e isso agora vem antes de qualquer outra métrica de GEO que você acompanha.
Verifique se os crawlers de IA conseguem realmente chegar ao seu conteúdo. O Temso rastreia a atividade de bots de IA junto com o share de citações entre motores a partir de $89/mês, então um crawler bloqueado aparece antes de custar uma citação. Veja a comparação completa no ranking de ferramentas de GEO, ou consulte termos relacionados no glossário.