Saltar al contenido principal
ES CAT EN IT FR DE 中文
Método

Bloqueaste todos los bots. Y tu contenido sigue en las respuestas.

El robots.txt es un cartel, no una valla. Lo dijo un juez con esas palabras, y los números de tráfico le dan la razón.

Lo que encontramos

  • El 12,9% de los bots ignoran el robots.txt por completo, cuando en mediciones anteriores era el 3,3% (Paul Calvano, agosto de 2025).
  • Common Crawl acumula más de 9,5 petabytes y más de 300.000 millones de documentos, y dos tercios de los LLMs publicados entre 2019 y 2023 la usan como fuente de entrenamiento.
  • El tráfico de los fetchers en vivo se ha disparado: PerplexityBot creció un 157.490% y ChatGPT-User un 2.825% según Cloudflare (2025). Solo el 14% de las webs del top 10.000 tiene reglas específicas para bots de IA.

El escenario es el más restrictivo posible. Robots.txt con Disallow: /, bloqueo específico de cada bot de IA conocido, gestión de bots activada en el CDN, paywall. Y el contenido sigue apareciendo en las respuestas de ChatGPT, Claude y Perplexity.

No es un fallo de configuración. Es el sistema funcionando como fue diseñado.

01El robots.txt nunca fue una barrera#

Se estandarizó en la RFC 9309 en 2022 como protocolo voluntario. En Ziff Davis contra OpenAI, el juez lo describió como algo más parecido a un cartel que a una valla, y la metáfora es exacta: comunica una preferencia, no impide el paso.

Los números acompañan. El 12,9% de los bots lo ignoran por completo, frente al 3,3% de mediciones anteriores. El trabajo de Kim y Bock presentado en ACM IMC 2025 añade un matiz incómodo: los scrapers cumplen menos cuanto más restrictivas son las directivas. Y solo el 14% de las webs del top 10.000 tiene siquiera reglas específicas para bots de IA.

02Ocho vías por las que entra igual#

Las ocho vías documentadas, y ninguna necesita saltarse una contraseña
VíaCómo funciona
Crawl históricoCommon Crawl: 9,5+ petabytes, 300.000 millones de documentos, dos tercios de los LLMs entrenados con ella
Bypass de paywallLos crawlers no ejecutan JavaScript, así que capturan el contenido antes de que la protección se active
User-agent genéricoCloudflare documentó en 2024 accesos que simulaban un navegador corriente
SindicaciónCuando el contenido sale por RSS, newsletters o cross-posting, tu robots.txt deja de aplicar
Archivos webWayback Machine y los WARC, ingeribles directamente en pipelines de recuperación
Fetch en vivoChatGPT-User, PerplexityBot y Meta-ExternalFetcher piden la página en el momento de responder
RepublicaciónGranjas de contenido que reescriben tus artículos en dominios sin restricciones
Incumplimiento directoEl 12,9% que sencillamente no lo mira

La sexta es la que más ha cambiado el panorama. El fetch en vivo no entrena nada: recupera tu página en los segundos entre la pregunta de un usuario y la respuesta. PerplexityBot creció un 157.490% en tráfico y ChatGPT-User un 2.825%. Ahí no hay corpus ni entrenamiento, hay una petición HTTP en tiempo real, y es la vía por la que tu contenido entra hoy en la mayoría de respuestas con fuentes.

Detalle técnico · por qué el paywall client-side no protege

Un paywall implementado en JavaScript oculta el contenido después de que la página haya llegado al navegador. El crawler recibe el HTML completo y se va antes de que ese JavaScript se ejecute, porque no lo ejecuta nunca. El contenido protegido viaja entero en la primera respuesta del servidor. La única protección real es no servirlo: decidirlo en el servidor, según sesión, y devolver un fragmento en lugar del artículo.

03Qué hacer en lugar de bloquear#

Una marca que se blinda del todo no desaparece de las respuestas: desaparece de las respuestas como fuente, y el hueco lo llena otro. Los modelos siguen hablando de tu categoría con lo que encuentran, que serán comparativas de terceros, foros y reseñas.

La alternativa tiene tres piezas, y se corresponden con tres preguntas distintas:

  • ¿Pueden acceder, y a qué? Es el trabajo técnico: bloqueos de CDN, robots.txt, llms.txt, indexabilidad y comportamiento real de GPTBot, ClaudeBot y PerplexityBot sobre tu dominio. Lo audita GEOdoctor en el stack de productos. Aquí conviene una decisión explícita, no una heredada: qué dejas leer, a quién y en qué formato.
  • ¿Encuentran lo que quieres que encuentren? Contenido rico en entidades, afirmaciones verificables y presencia en las fuentes que los modelos ponderan más. Ese alineamiento entre lo que dices y lo que te preguntan es S.A.M., en el mismo stack, y trabaja también sobre webs de terceros y comunidades.
  • ¿Qué acaban diciendo? Eso se mide. En GEORadar, sobre siete superficies y con los KPIs de tu vertical, que es la única forma de saber si el trabajo anterior ha servido.

Un apunte final sobre nuestra propia casa: el robots.txt de 498advance.com declara acceso explícito a GPTBot, ClaudeBot y PerplexityBot. Auditamos la Agent Experience de webs ajenas, así que la nuestra tiene que poder leerse.

Una versión anterior de este texto se publicó en zoopa.es.

Fuentes
  1. Calvano, P. Análisis de cumplimiento de robots.txt, agosto de 2025. https://paulcalvano.com/
  2. Kim, D. y Bock, K. Measuring web crawler compliance. ACM IMC 2025. https://dl.acm.org/
  3. Common Crawl. Estadísticas del archivo público. https://commoncrawl.org/
  4. Cloudflare. Radar: crecimiento del tráfico de bots de IA, 2025. https://radar.cloudflare.com/
Carlos Ortet
Carlos Ortet
Cofundador y CEO de 498 Advance

Dirige 498A, el laboratorio de IA aplicada del grupo Zoopa, y GEORadar. Profesor invitado en la UAB, donde dirige trabajos de máster en IA con el IIIA-CSIC.