Saltar al contenido principal
ES CAT EN IT FR DE 中文
Investigación

Cómo saber si una IA se entrenó con tu contenido. Y poder probarlo.

La marca de agua en texto funciona mejor de lo que parece y peor de lo que venden. Las dos cosas importan si publicas contenido.

Lo que encontramos

  • Con acceso abierto a los pesos y sin supervisión, el rastro se detecta con una probabilidad de error menor que 10⁻⁵ cuando solo el 5% de los datos de entrenamiento va marcado. En el caso supervisado baja a menos de 10⁻³⁰ con apenas un 1%.
  • Un método de ICML 2025 detecta contenido que aparece una sola vez y que supone menos del 0,001% de los tokens vistos, sin depender de que el modelo lo haya memorizado.
  • El mismo mecanismo se borra: cinco reescrituras encadenadas en inferencia tumban la detección a alrededor del 4,9%, y hay ataques que hacen caer el acierto del 99,8% al 9,7% con poca pérdida de calidad.

Puedes esconder una marca en tu texto que un modelo se lleva dentro cuando se entrena con él. No hace falta criptografía: basta una fecha que no existe, colocada en una frase normal. El mecanismo es sólido, y los ataques que lo tumban también. Conviene conocer las dos mitades.

01Marcar, y contar#

La marca de agua en texto no esconde un mensaje: sesga una elección. Al generar o al reescribir, se divide el vocabulario en dos listas y se empuja suavemente hacia una de ellas. El texto sigue siendo natural y la desviación es invisible al ojo, pero se detecta contando: si la proporción de palabras de la lista favorecida se aleja de lo esperable por azar, hay marca.

Lo interesante llegó cuando se comprobó que el sesgo sobrevive al entrenamiento. Un modelo entrenado con texto marcado queda contaminado, y esa contaminación se mide. Con los pesos accesibles y sin supervisión, el rastro aparece con una probabilidad de error menor que 10⁻⁵ marcando solo el 5% del corpus. En el caso supervisado, con un 1% basta para bajar de 10⁻³⁰. El precedente venía de imágenes: en 2020 ya bastaba un 1% de datos marcados para bajar de 10⁻⁴.

02La trampa que no necesita memorización#

El enfoque alternativo son las copyright traps: frases improbables sembradas en el contenido. Funcionan, pero chocan con el muro de la memorización, porque un modelo grande entrenado una sola vez sobre un corpus enorme no retiene un fragmento concreto.

Ahí está el avance de ICML 2025: detectar contaminación en contenido que aparece una única vez y supone menos del 0,001% de los tokens vistos, sin exigir memorización. La variante con tokens raros aprovecha que los modelos sí retienen lo infrecuente, y sube el AUROC de la prueba de pertenencia del 79% al rango del 90 al 97%.

Detalle técnico · qué portador elegir

Hay tres sitios donde esconder la señal. El léxico (elección de sinónimos) es el más simple y el más frágil. El sintáctico (estructura de la frase) resiste algo más. El semántico, que codifica en el orden de las ideas y en qué se afirma, es el que mejor aguanta la reescritura, porque para borrarlo hay que cambiar lo que el texto dice. A cambio es el más caro de insertar y el que más cuidado exige para no degradar la lectura.

03El techo, que nadie te cuenta#

Ninguna marca fuerte es imborrable, y los números del lado atacante son igual de serios que los del defensor. Cinco reescrituras encadenadas en inferencia dejan la detección en torno al 4,9%. Hay ataques que estiman la marca a partir de las salidas del modelo y luego la falsifican o la borran con más del 80% de éxito. Y una técnica reciente hace caer la tasa de acierto con un 1% de falsos positivos del 99,8% al 9,7%, sin apenas pérdida de calidad del texto.

Dos matices más que cambian el cálculo. El idioma importa: una lengua con menos corpus deja una señal más nítida, lo que hace del catalán un caso curioso, con más trazabilidad y menos volumen a la vez. Y los tribunales ya han visto esto: en Estados Unidos ha prosperado la defensa de fair use para el entrenamiento, incluso con contenido de origen dudoso.

04Por qué esto acaba en una auditoría GEO#

Parece un asunto legal y acaba siendo operativo. Saber si un modelo vio tu contenido es la otra cara de saber si tu contenido llega a los modelos, que es exactamente el trabajo que hacemos.

  • Si tu contenido no llega, no hay marca que valga. Los bloqueos de CDN, el robots.txt, el llms.txt y el comportamiento real de los crawlers los audita GEOdoctor dentro del stack de productos.
  • Si llega pero nadie te cita, el problema es de alineamiento: qué afirmas, con qué claridad y en qué fuentes apareces. Eso es S.A.M., en el mismo stack.
  • Y si quieres saber qué dicen de ti hoy los modelos, con qué frecuencia y con qué sentimiento, eso se mide en GEORadar sobre siete superficies.

Hay una línea más, en desarrollo con la UAB: HUMANMADE, que certifica que un contenido lo han escrito personas. Esa parte, y el resto del trabajo académico, está en investigación.

Marcar tu contenido tiene sentido, pero no como seguro. Sirve para saber, no para blindar. Y saber ya cambia bastantes decisiones.

Publicado originalmente en carlosortet.com

Una versión anterior de este texto se publicó en carlosortet.com.

Fuentes
  1. Sander, T. et al. Watermarking Makes Language Models Radioactive. arXiv 2402.14904. https://arxiv.org/abs/2402.14904
  2. Meeus, M. et al. Copyright Traps for Large Language Models. ICML 2024, arXiv 2402.09363. https://arxiv.org/abs/2402.09363
  3. Sablayrolles, A. et al. Radioactive Data: Tracing Through Training. ICML 2020, arXiv 2002.00937. https://arxiv.org/abs/2002.00937
  4. Kirchenbauer, J. et al. A Watermark for Large Language Models. ICML 2023, arXiv 2301.10226. https://arxiv.org/abs/2301.10226
Carlos Ortet
Carlos Ortet
Cofundador y CEO de 498 Advance

Dirige 498A, el laboratorio de IA aplicada del grupo Zoopa, y GEORadar. Profesor invitado en la UAB, donde dirige trabajos de máster en IA con el IIIA-CSIC.