Última actualización: septiembre de 2026.
Durante 30 años, un crawler podía rastrear cualquier página pública de forma gratuita. Enviaba una solicitud. El servidor devolvía un 200 y el contenido. Esa era toda la transacción.
Pay per crawl rompe esa suposición. El código de estado HTTP 402, Payment Required, existe desde 1997 y casi nunca se usaba. Cloudflare lo convirtió en infraestructura activa que decide si un crawler de IA llega o no a tu contenido.
Esto es lo que cambió, cómo funciona el intercambio y qué significa ahora para medir la visibilidad en IA.
Las cifras que definen el momento
- Más de 1 millón: clientes de Cloudflare que han activado AI Crawl Control, el interruptor que incluye la tarificación pay per crawl (Cloudflare, 2026).
- Más de 1.000 millones: respuestas HTTP 402 que la red de Cloudflare envía a crawlers de IA cada día (blog de Cloudflare, “Introducing AI Crawl Control”).
- 35,7%: la proporción de los 1.000 sitios web más importantes del mundo que bloquea GPTBot, el crawler de IA más bloqueado registrado, frente a cerca del 5% en su lanzamiento de agosto de 2023 (Originality.AI, agosto de 2024).
Hace tres años, ninguna de estas cifras existía. Ahora los editores tienen una palanca entre dejar entrar a todos los bots gratis y bloquearlos a todos sin más.
Cómo funciona en la práctica el intercambio HTTP 402
Pay per crawl funciona mediante un intercambio simple entre un crawler y un servidor. La implementación de Cloudflare admite dos vías.
El flujo reactivo. El crawler solicita una página sin ningún acuerdo de precio previo. Si la página tiene un precio y el crawler todavía no ha pagado, el servidor responde con HTTP 402. La respuesta incluye una cabecera crawler-price que indica el coste.
El crawler puede repetir la misma URL con una cabecera crawler-exact-price que coincida con ese precio. Si coincide, el servidor sirve la página con HTTP 200 y una cabecera crawler-charged que confirma el cobro.
El flujo proactivo. El crawler se salta por completo el ida y vuelta. Envía una cabecera crawler-max-price en la primera solicitud, indicando el máximo que está dispuesto a pagar. Si el precio de la página está en ese límite o por debajo, el servidor sirve el contenido de inmediato con HTTP 200.
Crawler de IA Sitio web
| |
|--- GET /article --------------------> |
| |
|<-- 402 Payment Required ------------- |
| crawler-price: €0.01 |
| |
|--- GET /article --------------------> |
| crawler-exact-price: €0.01 |
| |
|<-- 200 OK --------------------------- |
| crawler-charged: €0.01 |
| [contenido de la página] |El crawler no se identifica solo con una cadena user-agent. Se autentica con un par de claves criptográficas firmadas. Así, el servidor sabe exactamente qué bot está preguntando y puede exigirle el precio que aceptó. Esa identidad firmada es lo que hace posible el resto del sistema: tarificar según el propósito del bot.
Bots con propósito declarado: por qué “crawler de IA” ya no es una sola categoría
El control de crawlers, al principio, era binario: permitir GPTBot o bloquearlo. El modelo actual de Cloudflare clasifica cada crawler de IA en una categoría con propósito declarado, y los sitios definen reglas por propósito en lugar de por bot.
- Search: crawlers que indexan contenido para responder preguntas más adelante. Los sitios suelen querer este tráfico, porque puede generar referencias. Permitido por defecto.
- Agent: crawlers que actúan en tiempo real en nombre de una persona, como un asistente que maneja el navegador para completar una tarea. Bloqueado por defecto en páginas monetizadas con publicidad a partir del 15 de septiembre de 2026.
- Training: crawlers que recopilan contenido para entrenar o afinar un modelo, donde el contenido queda absorbido de forma permanente en lugar de responderse en vivo. Bloqueado por defecto en páginas monetizadas con publicidad a partir de la misma fecha.
Un mismo bot puede llevar más de una etiqueta de propósito. Cloudflare aplica la regla más estricta que coincida. Un crawler marcado como Search y Training a la vez queda bloqueado si Training está bloqueado, aunque su comportamiento de Search sea bienvenido.
Qué cambió, y cuándo
| Evento | Fecha | Fuente |
|---|---|---|
| Cloudflare lanza la beta privada de Pay Per Crawl e introduce el intercambio de precios basado en el 402 | 1 de julio de 2025 | Blog de Cloudflare |
| AI Crawl Control llega a disponibilidad general | agosto de 2025 | Blog de Cloudflare |
| AI Crawl Control se consolida en una sola consola, disponible en todos los planes, incluido el gratuito | 13-17 de abril de 2026 | Blog de Cloudflare, Agents Week 2026 |
| Cloudflare cambia su modelo comercial: pasa del precio por fetch a pagar a los editores cuando se cita su contenido, con el lanzamiento junto a Ceramic.ai y You.com | 1 de julio de 2026 | Cloudflare, según TechCrunch |
| Los crawlers de las categorías Agent y Training quedan bloqueados por defecto en páginas monetizadas con publicidad | 15 de septiembre de 2026 | Blog de Cloudflare |
Pay per crawl no se ha quedado quieto desde su lanzamiento. El precio por fetch fue la primera versión.
El propio anuncio de Cloudflare de julio de 2026 señaló el punto débil. Más de la mitad del tráfico de crawlers que clasifica como legítimo se dedica a volver a rastrear páginas que no han cambiado desde la última visita. Un precio fijo por fetch premia ese desperdicio igual que premia el uso real.
El modelo más reciente, pay-per-citation, todavía en despliegue a través de socios, tarifica el resultado en lugar de la solicitud.
Cloudflare no es la única empresa que construye esta capa. TollBit gestiona una plataforma independiente de licencias y medición que se sitúa entre los editores y las empresas de IA, con seguimiento del tráfico de bots y negociación de acuerdos de acceso de pago fuera de la propia red de Cloudflare. Ambas son infraestructura, no herramientas de GEO: deciden si un crawler llega a tu contenido, no si un motor decide citarlo una vez que llega.
Por qué esto importa para medir la visibilidad en IA
Pay per crawl añade una capa que antes el seguimiento de citas no tenía que tener en cuenta. Una página puede estar perfectamente optimizada y aun así no llegar a leerse nunca, si el crawler que iba a rastrearla se topa con un 402 que no está dispuesto a pagar.
Eso convierte la visibilidad a nivel de crawler, y no solo el recuento de citas, en parte del problema de medición.
Profound encaja aquí de forma más directa. Su producto Agent Analytics rastrea la actividad de crawlers a nivel de solicitud individual, mostrando qué bots llegan a tus páginas y con qué frecuencia. Es lo más parecido a leer los datos de pay per crawl y de 402 como una señal de GEO.
Temso aborda el mismo problema desde un ángulo todo en uno. Integra la analítica de bots de IA en su suscripción más amplia de seguimiento de citas, desde 89 €/mes, de modo que un equipo que quiera visibilidad de crawlers junto con citation share y ejecución de contenido no necesita usar una herramienta distinta para cada cosa.
Scrunch adopta un enfoque de preparación. En lugar de limitarse a informar sobre lo que ya pasó, evalúa si la estructura de tu sitio y sus reglas de acceso están listas para que los agentes de IA puedan navegarlo, algo que importa directamente en cuanto los crawlers de la categoría Agent empiecen a enfrentarse a bloqueos por defecto en páginas monetizadas con publicidad.
Ninguna de las tres sustituye a las otras. Lee la metodología de puntuación que hay detrás de cómo se evalúan las plataformas de GEO en este sitio.
La conclusión
Pay per crawl convierte el acceso de los crawlers en una transacción con precio, reforzada con respuestas HTTP 402 e identidad de bot firmada criptográficamente. No es, por sí sola, una señal de ranking ni de citas. Decide si un crawler llega o no a tu página, y eso ahora se sitúa antes que cualquier otra métrica de GEO que midas.
Comprueba si los crawlers de IA pueden llegar de verdad a tu contenido. Temso rastrea la actividad de bots de IA junto con el citation share en todos los motores desde 89 €/mes, así que un crawler bloqueado se detecta antes de que te cueste una cita. Consulta la comparativa completa en el ranking de herramientas de GEO, o busca términos relacionados en el glosario.