En 2025, hablar de factorización o de destilación de modelos sonaba a arqueología de la informática. En 2026 salen en nuestras reuniones de producto. La razón es práctica: cuando las tareas migran a modelos locales, alguien tiene que decidir lo que antes decidía el proveedor. La temperatura. El embedding. El reranker. Cuánta ventana de contexto hace falta y cómo se consigue.
Para mí son buenas noticias. Estamos recuperando las riendas de nuestras herramientas.
En el módulo de analítica de GEORadar hemos tenido que redefinir la ventana de contexto, y este artículo cuenta el razonamiento. Tomamos como hilo un planteamiento clásico de clase: un modelo preentrenado con 4.096 tokens que debe leer documentos de 32.000. Los ejemplos con GEORadar son ilustrativos: usan nuestras cifras de escala y suposiciones que declaramos en cada caso, no un registro de producción. Cuando un dato es real y ya está publicado, lo enlazamos.
01Las piezas que vuelven a ser nuestras#
Entrenar y ajustar un modelo son procesos importantes, pero no los únicos. Un sistema local se afina también con piezas que no tocan los pesos, y que con un modelo en la nube venían decididas de fábrica.
| Pieza | Qué decide | Ejemplo ilustrativo en una analítica de GEORadar |
|---|---|---|
| Temperatura | Cuánto varía la salida entre dos ejecuciones | 0 al extraer marcas y sentimiento de una respuesta; más alta solo al proponer redacciones |
| Ventana de contexto | Cuánto ve el modelo de una vez | Una respuesta, una conversación o una comparación entre superficies |
| Embedding | Qué se considera parecido | Detectar prompts casi duplicados en un corpus de 30.000 |
| Reranker | Qué pasa a la ventana y en qué orden | Elegir las interacciones relevantes de una conversación antes de leerlas |
| Destilación | Cuánto pesa el modelo que lee | Un modelo pequeño que clasifica a escala con las etiquetas de uno grande |
| Factorización de bajo rango (LoRA) | Cuánto cuesta adaptarlo | Adaptar un modelo a una vertical entrenando matrices pequeñas |
Casi todas tienen un parámetro que se fija para cada tarea. La ventana es la que más se da por supuesta, porque viene impresa en la ficha del modelo. Y es la que más se puede mover si sabes cómo.
02Qué pasa cuando un modelo de 4.096 tokens se encuentra ante un documento de 32.000#
Este es el planteamiento. Un modelo se preentrenó con secuencias de 4.096 tokens (un token es un fragmento de palabra) y usa embeddings rotatorios, RoPE. Le damos un documento de 32.000. La perplejidad, que mide cuánto le sorprende cada token siguiente, sale normal durante los primeros 4.000 tokens y se dispara a partir de ahí. Hay presupuesto para unos 1.000 pasos de ajuste con documentos largos.
¿Qué le pasa a un modelo cuando se encuentra con posiciones que nunca ha visto? Para entenderlo hay que mirar qué hace RoPE. A cada par de dimensiones de la consulta y de la clave le aplica una rotación cuyo ángulo es proporcional a la posición del token. Cada par gira a su frecuencia. Unos dan vueltas enteras cada pocos tokens y otros avanzan casi sin moverse.
Con una cabeza de atención de 128 dimensiones (64 pares) y base 10.000, valores habituales, por ejemplo, en la familia LLaMA, el cálculo sale así:
- El par más rápido da una vuelta cada 6,3 tokens.
- El más lento, una cada 54.410.
- En 4.096 tokens, 46 pares completan al menos una vuelta. Los otros 18 no.
- A 32.000 tokens, ya son 60 los que completan una vuelta.
El problema está en los pares lentos. Los rápidos repiten ángulos que el modelo ya conoce, porque dan muchas vueltas. Los 18 lentos no: durante el entrenamiento, el más lento solo llegó a 27°. A 32.000 tokens llegaría a 212°. Son ángulos que el modelo nunca ha visto, y las puntuaciones de atención que salen de ellos no significan nada para él.
Detalle técnico · cómo salen esos números
La frecuencia del par i es θᵢ = 10000^(-2i/d), con d = 128 e i de 0 a 63. La longitud de onda es 2π/θᵢ. Para i = 0, θ vale 1 radián por token y la longitud de onda es de 6,3 tokens. Para i = 63, θ vale 0,000115 radianes por token y la longitud de onda es de 54.410 tokens. El ángulo que recorre ese par es 0,473 radianes (27°) a los 4.096 tokens y 3,695 radianes (212°) a los 32.000. Son cálculos propios con la definición de RoFormer (Su et al., 2021). Cambian si el modelo usa otra base o otra dimensión de cabeza.
03Cuatro opciones, una sola con mil pasos#
Con unos 1.000 pasos de ajuste, el planteamiento ofrece cuatro caminos.
| Opción | Qué hace | Veredicto con unos 1.000 pasos |
|---|---|---|
| A · Ajustar con documentos largos sin tocar las posiciones | Pide al modelo que aprenda ángulos nuevos | Insuficiente: en LLaMA 7B, más de 10.000 pasos movieron la ventana efectiva de 2.048 a 2.560 |
| B · Escalar las posiciones | Reduce los índices para que 32.000 quepan en el rango ya visto | Funciona: 200 pasos bastaron en el artículo original para llegar a 32.768 |
| C · Sustituir RoPE por ALiBi y ajustar | Cambia el modelo posicional por un sesgo lineal por distancia | Descarta lo aprendido sobre posiciones; mil pasos no lo reponen |
| D · Ventana deslizante de 4.000 | Limita la atención a los últimos 4.000 tokens | No ve lo que queda fuera: eso llega encadenado por capas, sin acceso directo |
Opción A. Es la tentación natural. En el artículo de Position Interpolation (Chen et al., Meta, junio de 2023) probaron justo eso con LLaMA 7B: ajustar para llegar a 8.192 tokens sin tocar las posiciones. Midieron la ventana efectiva con la prueba de la clave escondida (passkey retrieval) y pasó de 2.048 a 2.560 tras más de 10.000 pasos. Sin escalar, el modelo tiene que aprender desde cero qué significan los ángulos nuevos, y mil pasos no dan para eso.
Opción B. La que elegimos nosotros, conocida como interpolación de posiciones (position interpolation), y que podemos imaginar como «encoger la tela». Cada índice de posición m se multiplica por 4.096/32.000, que es 0,128. El token 32.000 se lee como si estuviera en la posición 4.096, y todos los ángulos caen dentro del rango que el modelo conoce. Chen et al. lo aplicaron a modelos LLaMA de 7B a 65B, con ventanas de hasta 32.768 tokens y un ajuste de como máximo 1.000 pasos. Con el modelo de 7B, 200 pasos bastaron para que la ventana efectiva alcanzara los 32.768. Su análisis añade un porqué: la cota superior de la interpolación es al menos unas 600 veces menor que la de la extrapolación.
Opción C. ALiBi (Press et al., 2021) es un buen método, pero se elige antes de entrenar. En un modelo que ya aprendió a leer posiciones con rotaciones, quitar RoPE tira esa parte de lo aprendido. Esta es nuestra lectura, porque ninguno de los artículos que citamos mide ese cambio concreto. La asimetría se ve igualmente: la opción B cambia una escala, la C cambia el mecanismo.
Opción D. Mantener la ventana en 4.000 tokens deja al modelo en terreno conocido, pero no responde a la pregunta, que era leer los 32.000. Mistral 7B usa una ventana deslizante de 4.096 con 32 capas, y su alcance teórico es de unos 131.000 tokens porque la información pasa de capa en capa. Es una forma legítima de ahorrar cálculo. Un dato del principio llega al final atravesando capas, sin que ninguna cabeza lo mire de frente, y esa es mala base para recuperar un dato exacto. De nuevo, es nuestra lectura.
04Qué cuesta escalar las posiciones#
Escalar no sale gratis. Al multiplicar por 0,128, dos tokens vecinos pasan de estar separados una unidad de posición a estarlo 0,128. A los pares lentos les da igual. A los rápidos, los que distinguen un token de su vecino, les cambia el mundo: lo que era un giro de un radián entre palabras contiguas pasa a ser de 0,128. El modelo tiene que reaprender a distinguirlas, y para eso sirve ese ajuste breve de 1.000 pasos. Un «paso de ajuste» es una pequeña corrección de los valores internos del modelo, calculada a partir de un lote de ejemplos: cada paso retoca un poco todos sus valores. Mil pasos son pocos frente a entrenar un modelo desde cero (el artículo de Meta considera ese coste despreciable y nosotros, evaluando las alternativas, también).
En el artículo original, la pérdida dentro de la ventana original fue de entre 0,01 y 0,05 de perplejidad en Proof-pile. Pequeña, y esperable. Hay variantes que interpolan menos las frecuencias altas: YaRN (Peng et al., 2023) pide 10 veces menos tokens y 2,5 veces menos pasos que los métodos anteriores.
Ahora bien, lo que sí se encarece es la memoria. De 4.096 a 32.000 tokens, la atención completa cuesta 61 veces más por capa, porque crece con el cuadrado de la longitud. Y la caché de claves y valores, que crece en línea recta, pasa de 2 GiB a 15,6 GiB en un modelo tipo de 7B. Los autores de Position Interpolation usaron 128 GPU A100 en los casos más largos, y aclaran que la necesidad de GPU viene de la memoria, y los pasos son pocos. En una máquina local, la memoria se acaba antes que la paciencia. Para ajustar con menos recursos existe LongLoRA (Chen et al., 2023), que combina la factorización de bajo rango de LoRA con atención dispersa durante el ajuste.
Detalle técnico · de dónde sale la caché de claves y valores
Cada token guarda, por capa, una clave y un valor por cada cabeza KV. Con 32 capas, 32 cabezas de 128 dimensiones y 2 bytes por valor (fp16), son 2 × 32 × 32 × 128 × 2 = 524.288 bytes, es decir 0,5 MB por token. Por 4.096 tokens salen 2 GiB; por 32.000, 15,6 GiB. Con atención agrupada de 8 cabezas KV (GQA), son 128 KiB por token y 3,9 GiB a 32.000. Es un cálculo propio sobre una arquitectura tipo de 7B sin GQA. Los modelos reales varían.
05Cómo se comprueba que usa todo el texto#
Pasar de 4.096 a 32.000 en la configuración no demuestra nada. Hay que probar que el modelo usa lo que queda lejos de la pregunta, más allá de los 4.096 tokens. Cinco pruebas, de menos a más exigente:
- Perplejidad por tramo, no media. El síntoma del planteamiento es un salto pasados los 4.000 tokens, y una media global lo esconde. Se mide la perplejidad por tramos de posición (0 a 4.000, 4.000 a 8.000, y así hasta 32.000) sobre documentos más largos que la ventana. Tiene que salir plana. Un escalón es una extensión que no funciona.
- Aguja en un pajar. Se esconde un dato en un documento largo y se pregunta por él, variando longitud y profundidad. Chen et al. probaron 32 posiciones repartidas de forma uniforme, 10 intentos en cada una, con una clave de 5 dígitos aleatoria. La ventana efectiva es la distancia más larga a la que acierta de forma sostenida.
- Prueba contrafactual. La misma pregunta sobre el documento completo y sobre el documento sin el tramo que contiene la respuesta. Si la respuesta correcta desaparece al quitarlo, el modelo lo estaba usando. Si sigue contestando lo mismo, estaba adivinando.
- Tareas más duras que una aguja. RULER (Hsieh et al., 2024) evaluó 17 modelos que anunciaban 32.000 tokens o más. Casi todos sacaron una nota casi perfecta en la aguja simple, y solo 10 mantuvieron un rendimiento satisfactorio a 32.000 con varias agujas y preguntas encadenadas. Y Lost in the Middle (Liu et al., 2023) mostró que el rendimiento es máximo al principio y al final del contexto y cae en medio, incluso en modelos de contexto largo. Hay que esconder datos también en el medio.
- Regresión en el rango corto. La misma batería dentro de los 4.096 tokens, antes y después. Una extensión que mejora el rango largo y rompe el corto no sirve.
Nosotros ya hacemos una versión pequeña. En el benchmark de modelos locales que publicamos el 19 de octubre de 2026, una de las 17 pruebas esconde un dato entre más de 20.000 tokens de relleno, con 32.768 tokens de contexto, temperatura 0,2 y semilla 42 en un Mac con 48 GB. Es una aguja, una sola. Para un módulo de analítica hace falta la rejilla entera.
06Ejemplos con GEORadar: la unidad de análisis fija la ventana#
Los números de esta sección son ilustrativos. Partimos de las cifras de escala de GEORadar (estudios de entre 6.000 y 30.000 prompts, siete superficies de IA, conversaciones de hasta diez interacciones) y de dos suposiciones: 40 tokens por pregunta y 500 por respuesta, es decir 540 por interacción. No aparece ningún cliente. Hablamos de verticales.
| Unidad de análisis | Cuenta | Tokens | ¿Cabe en 4.096? | ¿Cabe en 32.000? |
|---|---|---|---|---|
| Una respuesta de una superficie | 40 + 500 | 540 | Sí | Sí |
| Una conversación de diez interacciones | 10 × 540 | 5.400 | No | Sí |
| Cinco conversaciones lado a lado | 5 × 5.400 | 27.000 | No | Sí |
| La misma conversación en las siete superficies | 7 × 5.400 | 37.800 | No | No |
| Un estudio de 6.000 prompts, respuestas sueltas | 42.000 × 540 | 22.680.000 | No | No |
A cada fila hay que sumarle las instrucciones y el esquema de salida. En un análisis estructurado suponemos unos 1.000 tokens más.
Una conversación entera cabe en 8.192
GEORadar mide, entre otras cosas, si una IA acepta una premisa negativa del prompt o la corrige (lo llamamos Premise Validation). Imagina una conversación de la vertical Travel con diez interacciones en la que la segunda pregunta da por hecho algo falso sobre un destino. Para juzgar si el asistente acabó corrigiendo la premisa o la arrastró hasta la novena respuesta, el modelo que lee tiene que ver las dos cosas a la vez.
Con 4.096 tokens hay que recortar, y se pierden las tres primeras interacciones, justo donde vive la premisa. Con instrucciones y esquema, la conversación pide unos 6.400 tokens. Cabe en 8.192. Ampliar a 32.000 sería pagar unas 15 veces más de atención por capa para no usar casi nada.
Comparar superficies es lo que justifica ir más allá
Para ver si las siete superficies arrastran la misma premisa, el modelo necesita las respuestas lado a lado. Cinco conversaciones completas suman 27.000 tokens y caben en 32.000 con 5.000 de sobra. Siete suman 37.800 y no caben.
Hay dos salidas. Ampliar la ventana a 40.000 y asumir el coste. O preguntarse qué hace falta de verdad. La interacción donde aparece la premisa y la respuesta que la corrige o la arrastra son dos interacciones por superficie. Siete superficies, 14 interacciones, 7.560 tokens. Cabe en 8.192. El trabajo lo hace quien elige esas interacciones: un embedding para localizar la premisa y un reranker para ordenar los candidatos.
Un estudio entero no cabe en ninguna ventana
Un estudio de 6.000 prompts contra siete superficies son 42.000 respuestas y unos 22,7 millones de tokens con nuestros supuestos. Con 30.000 prompts, unos 113 millones. Ninguna ventana llega ahí, y tampoco tiene por qué. Las cifras de conjunto salen de consultas SQL sobre entity_metrics, y el BIS (Brand Impact Score) se lee de ahí, no se recalcula a mano. El modelo lee muestras y las clasifica, y las sumas las hace la base de datos. Esa división del trabajo es lo que permite que la ventana sea pequeña.
La prueba de la aguja, con datos de GEORadar
Si el modelo que lee fuera uno extendido de 4.096 a 32.000, la prueba se montaría así. Un dosier sintético de 32.000 tokens formado por respuestas de IA sobre una marca ficticia de Travel. Una frase plantada con una valoración negativa concreta, colocada en cinco profundidades (5, 25, 50, 75 y 95 %) y en cuatro longitudes (4.000, 8.000, 16.000 y 32.000 tokens). La pregunta: en qué superficie aparece. Sabemos la respuesta porque la plantamos, y metemos distractores, frases parecidas sobre marcas competidoras.
Con diez repeticiones por celda son 200 pruebas por configuración, y el resultado es un mapa de calor. Si el modelo funciona hasta los 4.000 y se apaga a partir de ahí, la extensión no ha funcionado. Si falla en el 50 %, es el efecto de Lost in the Middle.
La misma regla para el modelo que lee
GEORadar mide con el mismo conjunto de prompts congelado, contra el mismo motor y la misma versión de modelo. Eso permite atribuir un cambio al plan de acción. La misma regla vale para el modelo que lee las respuestas: si cambia entre dos mediciones, no sabes si se movió la marca o se movió la regla.
Con un modelo local se puede fijar todo: pesos, ventana, plantilla de instrucciones y temperatura. A 0, la variabilidad baja mucho. No desaparece del todo, porque según el hardware y el procesamiento por lotes dos ejecuciones pueden diferir en algún token. Por eso en nuestro benchmark de octubre fijamos también una semilla, la 42, y una temperatura de 0,2 para comparar dos modelos. Para una analítica repetible bajaríamos a 0.
07Cuándo ampliar la ventana suma y cuándo resta#
Los modelos anuncian ventanas cada vez más largas, y su precisión útil a esas longitudes no crece al mismo ritmo. En RULER, los 17 modelos evaluados anunciaban 32.000 tokens o más, y solo 10 rindieron de forma satisfactoria a 32.000. La ventana anunciada y la ventana efectiva son dos números distintos, y el que importa es el segundo.
Soy de los que defienden las ventanas largas cuando la tarea las pide. Ampliar suma cuando la tarea necesita relacionar piezas que están lejos entre sí y trocearlas rompería esa relación. La premisa de la interacción dos contra la respuesta de la nueve. Cinco conversaciones lado a lado. Un informe de estudio que hay que leer de un tirón para no perder el hilo.
Ampliar resta cuando sirve para no diseñar la recuperación: se mete todo porque cabe. Pagas 61 veces más de atención por capa, sumas memoria, y el modelo lee peor lo que queda en el medio. También resta cuando se confunde la ventana con una memoria. La ventana no guarda nada entre ejecuciones.
08Cómo lo planteamos en el módulo de analítica#
Un tropiezo propio nos lo recordó. En el benchmark de octubre, Qwen se gastó los 4.096 tokens de límite de generación pensando y no llegó a responder en tres pruebas. Aquel límite era el de generación, y la ventana de contexto iba aparte. La lección vale igual: un presupuesto de tokens se decide, y el valor por defecto casi nunca es el que toca.
Este es el orden en que tomamos la decisión, y vale para cualquier tarea de lectura con un modelo local:
- Definir la unidad de análisis. Una respuesta, una conversación, una comparación. La ventana sale de ahí, no de la ficha del modelo.
- Calcular los tokens de la unidad más las instrucciones, el esquema de salida y un margen. Si cabe en 8.192, no se pide más.
- Si no cabe, preguntar qué sobra antes de ampliar. Embedding para localizar, reranker para ordenar, y solo entonces la ventana.
- Si hay que ampliar, escalar las posiciones y ajustar unos 1.000 pasos con documentos largos de la propia tarea, no genéricos, con LoRA si la memoria aprieta. Esto último es recomendación nuestra.
- Probar con la rejilla de agujas (longitud por profundidad), con distractores, y repetir la batería corta para ver la regresión.
- Fijar el resto del instrumento: pesos, plantilla, temperatura y semilla. Y no cambiarlo entre dos mediciones.
Esto encaja con cómo trabajamos los modelos locales y la soberanía del dato, y con lo que mide GEORadar: qué dicen siete superficies de IA de una marca, con estudios de entre 6.000 y 30.000 prompts. Una lectura fiable de esas respuestas es parte del instrumento. Para el otro lado de la misma moneda, la recuperación, tenemos El error más caro de un despliegue vectorial.
Para nosotros, la ventana de contexto ha dejado de ser un número en la ficha del modelo y se ha convertido en una decisión justificable con una prueba sencilla. Si estáis ajustando modelos locales para tareas concretas, me interesa saber qué ventana habéis acabado eligiendo y por qué.
- RoFormer: Enhanced Transformer with Rotary Position Embedding (Su et al.). arXiv 2104.09864, abril de 2021. https://arxiv.org/abs/2104.09864
- Extending Context Window of Large Language Models via Positional Interpolation (Chen et al., Meta). arXiv 2306.15595, junio de 2023. https://arxiv.org/abs/2306.15595
- YaRN: Efficient Context Window Extension of Large Language Models (Peng et al.). arXiv 2309.00071, agosto de 2023. https://arxiv.org/abs/2309.00071
- Extending the RoPE (blog de EleutherAI sobre YaRN). EleutherAI, 2023. https://blog.eleuther.ai/yarn/
- Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation (Press et al.). arXiv 2108.12409, agosto de 2021. https://arxiv.org/abs/2108.12409
- Mistral 7B (Jiang et al.). arXiv 2310.06825, octubre de 2023. https://arxiv.org/abs/2310.06825
- Lost in the Middle: How Language Models Use Long Contexts (Liu et al.). arXiv 2307.03172, julio de 2023. https://arxiv.org/abs/2307.03172
- RULER: What's the Real Context Size of Your Long-Context Language Models? (Hsieh et al.). arXiv 2404.06654, abril de 2024. https://arxiv.org/abs/2404.06654
- Landmark Attention: Random-Access Infinite Context Length for Transformers (Mohtashami y Jaggi). arXiv 2305.16300, mayo de 2023. https://arxiv.org/abs/2305.16300
- LoRA: Low-Rank Adaptation of Large Language Models (Hu et al.). arXiv 2106.09685, junio de 2021. https://arxiv.org/abs/2106.09685
- LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models (Chen et al.). arXiv 2309.12307, septiembre de 2023. https://arxiv.org/abs/2309.12307
- Distilling the Knowledge in a Neural Network (Hinton, Vinyals y Dean). arXiv 1503.02531, marzo de 2015. https://arxiv.org/abs/1503.02531
- 498A. La mejor IA local para marketing y comunicación. 498advance.com, 19 de octubre de 2026. https://498advance.com/blog/mejor-ia-local-marketing-comunicacion.html
Dirige 498A, el laboratorio de IA aplicada del grupo Zoopa, y GEORadar. Profesor invitado en la UAB, donde dirige trabajos de máster en IA con el IIIA-CSIC.