Tokens, context window y memoria: qué pasa por dentro cuando le hablás a un modelo de IA

📺 Ver el video en Instagram

Ya sabés que la IA necesita contexto para dar buenas respuestas. Lo que no te suelen explicar es qué pasa por dentro, y por qué darle demasiado contexto puede ser tan malo como darle poco.

Todo se convierte en tokens

Todo lo que le mandás a un modelo, tu pregunta, los archivos adjuntos, el historial de la conversación, se convierte en tokens antes de ser procesado.

Un token son aproximadamente 4 caracteres. En la práctica:

Cada modelo tiene un límite de cuántos tokens puede procesar en una sola conversación. Eso se llama context window.

Suena enorme. Pero en proyectos reales, con archivos grandes, instrucciones de sistema detalladas y conversaciones largas, ese límite aparece antes de lo que pensás.

Lo que nadie te dice: el modelo no falla, se degrada

Acá está el punto que la mayoría desconoce: cuando el contexto se llena, el modelo no tira un error. No te avisa. Simplemente empieza a prestarle menos atención a lo que está en el medio.

Las instrucciones del principio se diluyen. Los detalles importantes que mencionaste hace 20 mensajes se "olvidan". La calidad de las respuestas baja, y vos pensás que el problema es tu prompt.

Contexto corto   → modelo enfocado, respuestas precisas
Contexto largo   → atención dispersa, instrucciones diluidas
Contexto saturado → el modelo "olvida" lo que está en el medio

Este fenómeno se conoce como lost in the middle: los modelos prestan más atención al inicio y al final del contexto, y menos a lo que queda enterrado en el centro.

La solución no es siempre más contexto. Es el contexto correcto.

Por eso muchas herramientas implementan compresión de contexto: una forma de resumir automáticamente conversaciones, archivos o documentación larga para dejarle al modelo solo lo que importa. Se reduce el ruido, se ahorran tokens y la IA puede enfocarse mejor en la tarea actual.

Context window ≠ memoria persistente

Esta es la confusión más común, y vale la pena dejarla bien clara.

El context window es lo que el modelo tiene disponible en esta conversación. Cuando la cerrás, desaparece. La próxima vez que abrís un chat, el modelo empieza desde cero, aunque hayas hablado con él durante horas el día anterior.

La memoria persistente es distinta: es información que se guarda fuera del modelo y se inyecta en conversaciones futuras. Productos como Claude.ai o Cursor la implementan de distintas formas, pero no es una capacidad nativa del modelo, alguien tuvo que construirla por afuera.

Entender esa diferencia cambia cómo diseñás tu flujo de trabajo con IA. Si dependés de que el modelo "recuerde" algo de una sesión anterior sin memoria persistente habilitada, vas a estar repitiendo contexto todo el tiempo, o recibiendo respuestas que ignoran información importante.

Tres reglas prácticas para manejar el contexto

Con todo esto claro, las reglas son simples:

1. Incluí solo los archivos que son relevantes para la tarea. No pegues todo el repo. Cuanto más ruido, peor el foco. Elegí los archivos que el modelo realmente necesita para la tarea puntual que le estás dando.

2. Si la conversación se pone larga, arrancá una nueva con el contexto resumido. En vez de seguir acumulando mensajes en el mismo hilo, resumí los puntos clave y empezá un chat fresco. El modelo va a tener más atención disponible desde el inicio.

3. Poné las instrucciones importantes al principio y al final, no en el medio. El fenómeno lost in the middle es real. Lo que va enterrado entre muchos mensajes se diluye. Lo que está al inicio y al final del contexto recibe más peso.

Lo que viene en el próximo episodio

Sabiendo cómo funciona el contexto, el siguiente paso natural es estructurarlo de forma permanente: que el agente tenga el contexto correcto desde el primer mensaje, sin que vos tengas que pegarlo cada vez.

En el próximo video vemos exactamente cómo hacer eso.