El escenario es el más restrictivo posible. Robots.txt con Disallow: /, bloqueo específico de cada bot de IA conocido, gestión de bots activada en el CDN, paywall. Y el contenido sigue apareciendo en las respuestas de ChatGPT, Claude y Perplexity.
No es un fallo de configuración. Es el sistema funcionando como fue diseñado.
01El robots.txt nunca fue una barrera#
Se estandarizó en la RFC 9309 en 2022 como protocolo voluntario. En Ziff Davis contra OpenAI, el juez lo describió como algo más parecido a un cartel que a una valla, y la metáfora es exacta: comunica una preferencia, no impide el paso.
Los números acompañan. El 12,9% de los bots lo ignoran por completo, frente al 3,3% de mediciones anteriores. El trabajo de Kim y Bock presentado en ACM IMC 2025 añade un matiz incómodo: los scrapers cumplen menos cuanto más restrictivas son las directivas. Y solo el 14% de las webs del top 10.000 tiene siquiera reglas específicas para bots de IA.
02Ocho vías por las que entra igual#
| Vía | Cómo funciona |
|---|---|
| Crawl histórico | Common Crawl: 9,5+ petabytes, 300.000 millones de documentos, dos tercios de los LLMs entrenados con ella |
| Bypass de paywall | Los crawlers no ejecutan JavaScript, así que capturan el contenido antes de que la protección se active |
| User-agent genérico | Cloudflare documentó en 2024 accesos que simulaban un navegador corriente |
| Sindicación | Cuando el contenido sale por RSS, newsletters o cross-posting, tu robots.txt deja de aplicar |
| Archivos web | Wayback Machine y los WARC, ingeribles directamente en pipelines de recuperación |
| Fetch en vivo | ChatGPT-User, PerplexityBot y Meta-ExternalFetcher piden la página en el momento de responder |
| Republicación | Granjas de contenido que reescriben tus artículos en dominios sin restricciones |
| Incumplimiento directo | El 12,9% que sencillamente no lo mira |
La sexta es la que más ha cambiado el panorama. El fetch en vivo no entrena nada: recupera tu página en los segundos entre la pregunta de un usuario y la respuesta. PerplexityBot creció un 157.490% en tráfico y ChatGPT-User un 2.825%. Ahí no hay corpus ni entrenamiento, hay una petición HTTP en tiempo real, y es la vía por la que tu contenido entra hoy en la mayoría de respuestas con fuentes.
Detalle técnico · por qué el paywall client-side no protege
Un paywall implementado en JavaScript oculta el contenido después de que la página haya llegado al navegador. El crawler recibe el HTML completo y se va antes de que ese JavaScript se ejecute, porque no lo ejecuta nunca. El contenido protegido viaja entero en la primera respuesta del servidor. La única protección real es no servirlo: decidirlo en el servidor, según sesión, y devolver un fragmento en lugar del artículo.
03Qué hacer en lugar de bloquear#
Una marca que se blinda del todo no desaparece de las respuestas: desaparece de las respuestas como fuente, y el hueco lo llena otro. Los modelos siguen hablando de tu categoría con lo que encuentran, que serán comparativas de terceros, foros y reseñas.
La alternativa tiene tres piezas, y se corresponden con tres preguntas distintas:
- ¿Pueden acceder, y a qué? Es el trabajo técnico: bloqueos de CDN, robots.txt, llms.txt, indexabilidad y comportamiento real de GPTBot, ClaudeBot y PerplexityBot sobre tu dominio. Lo audita GEOdoctor en el stack de productos. Aquí conviene una decisión explícita, no una heredada: qué dejas leer, a quién y en qué formato.
- ¿Encuentran lo que quieres que encuentren? Contenido rico en entidades, afirmaciones verificables y presencia en las fuentes que los modelos ponderan más. Ese alineamiento entre lo que dices y lo que te preguntan es S.A.M., en el mismo stack, y trabaja también sobre webs de terceros y comunidades.
- ¿Qué acaban diciendo? Eso se mide. En GEORadar, sobre siete superficies y con los KPIs de tu vertical, que es la única forma de saber si el trabajo anterior ha servido.
Un apunte final sobre nuestra propia casa: el robots.txt de 498advance.com declara acceso explícito a GPTBot, ClaudeBot y PerplexityBot. Auditamos la Agent Experience de webs ajenas, así que la nuestra tiene que poder leerse.
Una versión anterior de este texto se publicó en zoopa.es.
- Calvano, P. Análisis de cumplimiento de robots.txt, agosto de 2025. https://paulcalvano.com/
- Kim, D. y Bock, K. Measuring web crawler compliance. ACM IMC 2025. https://dl.acm.org/
- Common Crawl. Estadísticas del archivo público. https://commoncrawl.org/
- Cloudflare. Radar: crecimiento del tráfico de bots de IA, 2025. https://radar.cloudflare.com/
Dirige 498A, el laboratorio de IA aplicada del grupo Zoopa, y GEORadar. Profesor invitado en la UAB, donde dirige trabajos de máster en IA con el IIIA-CSIC.