Gestión de tokens y costos: lo primero que te golpea cuando ponés IA en producción

Hasta acá vimos cómo usar la IA como herramienta de trabajo: modelos, agentes, contexto. Ahora cambiamos de lado: cómo construir soluciones de IA, integrarla dentro de un producto real, con usuarios reales y costos reales.

Y lo primero que te va a golpear cuando ponés IA en producción es el costo. No es un detalle. Puede ser la diferencia entre un producto rentable y uno que te funde si escala.

Qué son los tokens en producción

Ya vimos que los tokens son fragmentos de texto: cada cosa que le mandás al modelo y cada cosa que el modelo te devuelve se cobra en tokens.

En producción, esto se multiplica. Si tu producto hace 10.000 llamadas por día, cada token mal gastado se convierte en plata mal gastada.

Uso personal: unos pocos tokens de más no se notan

Producción: tokens de más × miles de llamadas × cada día = costo real

La elección del modelo es una decisión de negocio

Para ver el impacto, tomemos un caso concreto: un eCommerce con un agente de asistencia de compra. Cada vez que un usuario le pregunta algo al agente (qué producto comprar, si hay stock, cómo es el envío), se hace una llamada al modelo.

Ahora corremos la misma consulta con tres modelos de Anthropic:

La cuenta que importa se hace así:

costo por consulta × 10.000 consultas/día × 30 días = costo mensual

Un ejemplo con valores ilustrativos (los precios reales por millón de tokens están en la consola y en la página de precios de Anthropic, y cambian con el tiempo):

Misma consulta. Distinto modelo. Distinto costo.

Por eso la elección del modelo no es una decisión técnica: es una decisión de negocio. Para responder “¿hay stock de este producto?” probablemente no necesites el modelo más potente. Para un caso que requiere razonamiento complejo, quizás sí.

Cómo reducir tokens sin perder calidad

Tres prácticas concretas.

1. System Prompt bien estructurado

Cuando construís una solución de IA, el System Prompt es donde va la configuración más importante: el rol del agente, las reglas de negocio, el tono.

Si está mal escrito, con información redundante, instrucciones vagas o contexto innecesario, pagás esos tokens en cada llamada. Un System Prompt limpio y preciso puede reducir el costo por llamada de forma significativa.

System Prompt largo y redundante × 10.000 llamadas/día = costo fijo evitable

System Prompt limpio y preciso   × 10.000 llamadas/día = mismo comportamiento, menos gasto

2. Context caching

Si mandás el mismo contexto en múltiples llamadas, podés cachearlo. Anthropic cobra mucho menos por los tokens cacheados.

En el eCommerce, la descripción del catálogo que se manda en cada consulta es un candidato perfecto: no cambia entre llamadas, así que no tiene sentido pagarla completa cada vez.

3. Truncado inteligente de contexto

Cuando la conversación crece, no mandes todo el historial. Mandá solo los últimos mensajes relevantes más un resumen de lo anterior.

Historial completo → más costo y más riesgo de degradación

Últimos mensajes + resumen → menos costo y mejor foco del modelo

Esto resuelve dos problemas a la vez: reduce el costo por llamada y evita la degradación del modelo con contextos largos, que vimos en el episodio sobre tokens y context window.

Monitoreo en producción: medí antes de que escale

Lo último, y lo más importante: medí todo.

La consola de Anthropic te muestra el uso por API key, por modelo y por período. Con eso podés ver tokens por día, costo acumulado y desglose por modelo. Y podés configurar alertas de gasto para enterarte antes de que el costo se dispare.

Si tu producto crece de 1.000 a 100.000 usuarios y no tenés visibilidad del consumo, te vas a enterar del problema cuando llegue la factura.

Lo mínimo que conviene tener desde el día uno:

• Uso desglosado por API key, para saber qué parte del producto consume qué.

• Uso por modelo, para detectar dónde estás usando un modelo más caro de lo necesario.

• Alertas de gasto configuradas antes del lanzamiento, no después.

Conclusión

Gestionar tokens no es optimización prematura. Es lo primero que tenés que pensar cuando la IA es parte de tu producto.

Elegir bien el modelo, escribir un System Prompt preciso, cachear lo que se repite, truncar el contexto con criterio y medir todo es lo que separa un producto que escala de uno que se vuelve inviable al crecer.

En el próximo episodio vemos cómo estructurar la arquitectura cuando la IA no es una feature más sino el centro del producto.