Salta al contingut principal
ES CAT EN IT FR DE 中文
Recerca

Com saber si una IA s'ha entrenat amb el teu contingut. I poder-ho provar.

La marca d'aigua en text funciona millor del que sembla i pitjor del que venen. Les dues coses importen si publiques contingut.

El que hem trobat

  • Amb accés obert als pesos i sense supervisió, el rastre es detecta amb una probabilitat d'error menor que 10⁻⁵ quan només el 5% de les dades d'entrenament va marcat. En el cas supervisat baixa a menys de 10⁻³⁰ amb tot just un 1%.
  • Un mètode d'ICML 2025 detecta contingut que apareix una sola vegada i que suposa menys del 0,001% dels tokens vistos, sense dependre que el model l'hagi memoritzat.
  • El mateix mecanisme s'esborra: cinc reescriptures encadenades en inferència tomben la detecció a prop del 4,9%, i hi ha atacs que fan caure l'encert del 99,8% al 9,7% amb poca pèrdua de qualitat.

Pots amagar una marca al teu text que un model s'emporta a dins quan s'entrena amb ell. No cal criptografia: n'hi ha prou amb una data que no existeix, col·locada en una frase normal. El mecanisme és sòlid, i els atacs que el tomben també. Convé conèixer les dues meitats.

01Marcar, i comptar#

La marca d'aigua en text no amaga un missatge: esbiaixa una tria. En generar o en reescriure, es divideix el vocabulari en dues llistes i s'empeny suaument cap a una d'elles. El text continua sent natural i la desviació és invisible a l'ull, però es detecta comptant: si la proporció de paraules de la llista afavorida s'allunya del que seria esperable per atzar, hi ha marca.

L'interessant va arribar quan es va comprovar que el biaix sobreviu a l'entrenament. Un model entrenat amb text marcat queda contaminat, i aquesta contaminació es mesura. Amb els pesos accessibles i sense supervisió, el rastre apareix amb una probabilitat d'error menor que 10⁻⁵ marcant només el 5% del corpus. En el cas supervisat, amb un 1% n'hi ha prou per baixar de 10⁻³⁰. El precedent venia de les imatges: el 2020 ja n'hi havia prou amb un 1% de dades marcades per baixar de 10⁻⁴.

02La trampa que no necessita memorització#

L'enfocament alternatiu són les copyright traps: frases improbables sembrades al contingut. Funcionen, però xoquen amb el mur de la memorització, perquè un model gran entrenat una sola vegada sobre un corpus enorme no reté un fragment concret.

Aquí hi ha l'avenç d'ICML 2025: detectar contaminació en contingut que apareix una única vegada i suposa menys del 0,001% dels tokens vistos, sense exigir memorització. La variant amb tokens rars aprofita que els models sí que retenen allò infreqüent, i puja l'AUROC de la prova de pertinença del 79% al rang del 90 al 97%.

Detall tècnic · quin portador triar

Hi ha tres llocs on amagar el senyal. El lèxic (tria de sinònims) és el més simple i el més fràgil. El sintàctic (estructura de la frase) resisteix una mica més. El semàntic, que codifica en l'ordre de les idees i en què s'afirma, és el que millor aguanta la reescriptura, perquè per esborrar-lo cal canviar el que el text diu. A canvi és el més car d'inserir i el que més cura exigeix per no degradar la lectura.

03El sostre, que ningú no t'explica#

Cap marca forta no és inesborrable, i els números del costat atacant són tan seriosos com els del defensor. Cinc reescriptures encadenades en inferència deixen la detecció al voltant del 4,9%. Hi ha atacs que estimen la marca a partir de les sortides del model i després la falsifiquen o l'esborren amb més del 80% d'èxit. I una tècnica recent fa caure la taxa d'encert amb un 1% de falsos positius del 99,8% al 9,7%, gairebé sense pèrdua de qualitat del text.

Dos matisos més que canvien el càlcul. L'idioma importa: una llengua amb menys corpus deixa un senyal més nítid, cosa que fa del català un cas curiós, amb més traçabilitat i menys volum alhora. I els tribunals ja ho han vist: als Estats Units ha prosperat la defensa de fair use per a l'entrenament, fins i tot amb contingut d'origen dubtós.

04Per què això acaba en una auditoria GEO#

Sembla un afer legal i acaba sent operatiu. Saber si un model ha vist el teu contingut és l'altra cara de saber si el teu contingut arriba als models, que és exactament la feina que fem.

  • Si el teu contingut no arriba, no hi ha marca que valgui. Els bloquejos de CDN, el robots.txt, el llms.txt i el comportament real dels crawlers els audita GEOdoctor dins del stack de productes.
  • Si arriba però ningú no et cita, el problema és d'alineament: què afirmes, amb quina claredat i en quines fonts apareixes. Això és S.A.M., al mateix stack.
  • I si vols saber què diuen de tu avui els models, amb quina freqüència i amb quin sentiment, això es mesura a GEORadar sobre set superfícies.

Hi ha una línia més, en desenvolupament amb la UAB: HUMANMADE, que certifica que un contingut l'han escrit persones. Aquesta part, i la resta de la feina acadèmica, és a recerca.

Marcar el teu contingut té sentit, però no com a assegurança. Serveix per saber, no per blindar. I saber ja canvia força decisions.

Publicat originalment a carlosortet.com

Una versió anterior d'aquest text es va publicar a carlosortet.com.

Fonts
  1. Sander, T. et al. Watermarking Makes Language Models Radioactive. arXiv 2402.14904. https://arxiv.org/abs/2402.14904
  2. Meeus, M. et al. Copyright Traps for Large Language Models. ICML 2024, arXiv 2402.09363. https://arxiv.org/abs/2402.09363
  3. Sablayrolles, A. et al. Radioactive Data: Tracing Through Training. ICML 2020, arXiv 2002.00937. https://arxiv.org/abs/2002.00937
  4. Kirchenbauer, J. et al. A Watermark for Large Language Models. ICML 2023, arXiv 2301.10226. https://arxiv.org/abs/2301.10226
Carlos Ortet
Carlos Ortet
Cofundador i CEO de 498 Advance

Dirigeix 498A, el laboratori d'IA aplicada del grup Zoopa, i GEORadar. Professor convidat a la UAB, on dirigeix treballs de màster en IA amb l'IIIA-CSIC.