Puedes esconder una marca en tu texto que un modelo se lleva dentro cuando se entrena con él. No hace falta criptografía: basta una fecha que no existe, colocada en una frase normal. El mecanismo es sólido, y los ataques que lo tumban también. Conviene conocer las dos mitades.
01Marcar, y contar#
La marca de agua en texto no esconde un mensaje: sesga una elección. Al generar o al reescribir, se divide el vocabulario en dos listas y se empuja suavemente hacia una de ellas. El texto sigue siendo natural y la desviación es invisible al ojo, pero se detecta contando: si la proporción de palabras de la lista favorecida se aleja de lo esperable por azar, hay marca.
Lo interesante llegó cuando se comprobó que el sesgo sobrevive al entrenamiento. Un modelo entrenado con texto marcado queda contaminado, y esa contaminación se mide. Con los pesos accesibles y sin supervisión, el rastro aparece con una probabilidad de error menor que 10⁻⁵ marcando solo el 5% del corpus. En el caso supervisado, con un 1% basta para bajar de 10⁻³⁰. El precedente venía de imágenes: en 2020 ya bastaba un 1% de datos marcados para bajar de 10⁻⁴.
02La trampa que no necesita memorización#
El enfoque alternativo son las copyright traps: frases improbables sembradas en el contenido. Funcionan, pero chocan con el muro de la memorización, porque un modelo grande entrenado una sola vez sobre un corpus enorme no retiene un fragmento concreto.
Ahí está el avance de ICML 2025: detectar contaminación en contenido que aparece una única vez y supone menos del 0,001% de los tokens vistos, sin exigir memorización. La variante con tokens raros aprovecha que los modelos sí retienen lo infrecuente, y sube el AUROC de la prueba de pertenencia del 79% al rango del 90 al 97%.
Detalle técnico · qué portador elegir
Hay tres sitios donde esconder la señal. El léxico (elección de sinónimos) es el más simple y el más frágil. El sintáctico (estructura de la frase) resiste algo más. El semántico, que codifica en el orden de las ideas y en qué se afirma, es el que mejor aguanta la reescritura, porque para borrarlo hay que cambiar lo que el texto dice. A cambio es el más caro de insertar y el que más cuidado exige para no degradar la lectura.
03El techo, que nadie te cuenta#
Ninguna marca fuerte es imborrable, y los números del lado atacante son igual de serios que los del defensor. Cinco reescrituras encadenadas en inferencia dejan la detección en torno al 4,9%. Hay ataques que estiman la marca a partir de las salidas del modelo y luego la falsifican o la borran con más del 80% de éxito. Y una técnica reciente hace caer la tasa de acierto con un 1% de falsos positivos del 99,8% al 9,7%, sin apenas pérdida de calidad del texto.
Dos matices más que cambian el cálculo. El idioma importa: una lengua con menos corpus deja una señal más nítida, lo que hace del catalán un caso curioso, con más trazabilidad y menos volumen a la vez. Y los tribunales ya han visto esto: en Estados Unidos ha prosperado la defensa de fair use para el entrenamiento, incluso con contenido de origen dudoso.
04Por qué esto acaba en una auditoría GEO#
Parece un asunto legal y acaba siendo operativo. Saber si un modelo vio tu contenido es la otra cara de saber si tu contenido llega a los modelos, que es exactamente el trabajo que hacemos.
- Si tu contenido no llega, no hay marca que valga. Los bloqueos de CDN, el robots.txt, el llms.txt y el comportamiento real de los crawlers los audita GEOdoctor dentro del stack de productos.
- Si llega pero nadie te cita, el problema es de alineamiento: qué afirmas, con qué claridad y en qué fuentes apareces. Eso es S.A.M., en el mismo stack.
- Y si quieres saber qué dicen de ti hoy los modelos, con qué frecuencia y con qué sentimiento, eso se mide en GEORadar sobre siete superficies.
Hay una línea más, en desarrollo con la UAB: HUMANMADE, que certifica que un contenido lo han escrito personas. Esa parte, y el resto del trabajo académico, está en investigación.
Marcar tu contenido tiene sentido, pero no como seguro. Sirve para saber, no para blindar. Y saber ya cambia bastantes decisiones.
Publicado originalmente en carlosortet.com
Una versión anterior de este texto se publicó en carlosortet.com.
- Sander, T. et al. Watermarking Makes Language Models Radioactive. arXiv 2402.14904. https://arxiv.org/abs/2402.14904
- Meeus, M. et al. Copyright Traps for Large Language Models. ICML 2024, arXiv 2402.09363. https://arxiv.org/abs/2402.09363
- Sablayrolles, A. et al. Radioactive Data: Tracing Through Training. ICML 2020, arXiv 2002.00937. https://arxiv.org/abs/2002.00937
- Kirchenbauer, J. et al. A Watermark for Large Language Models. ICML 2023, arXiv 2301.10226. https://arxiv.org/abs/2301.10226
Dirige 498A, el laboratorio de IA aplicada del grupo Zoopa, y GEORadar. Profesor invitado en la UAB, donde dirige trabajos de máster en IA con el IIIA-CSIC.