Equipar a un agente de inteligencia artificial con memoria parece una decisión sencilla: darle acceso a lo que aprendió en tareas anteriores y esperar mejores resultados. Pero una investigación de IBM y Hugging Face muestra que más memoria no siempre significa más rendimiento.
La cantidad adecuada depende del modelo. Algunos agentes aprovechan un conjunto completo de instrucciones aprendidas, mientras que otros funcionan mejor con una selección pequeña y relevante para cada tarea. También existen modelos que no obtienen mejoras medibles porque ya están cerca de su límite en las pruebas evaluadas.
La memoria no cambia el modelo, cambia su contexto
El sistema estudiado, llamado ALTK-Evolve, permite que un agente aprenda de sus propias experiencias sin actualizar sus parámetros ni requerir anotaciones humanas.
El proceso funciona así:
- El agente intenta resolver varias tareas y genera trayectorias de trabajo.
- El sistema extrae pautas reutilizables de los aciertos y errores.
- Esas pautas se consolidan en un conjunto de guías.
- Durante la inferencia, el agente recibe todas las guías o solo las relacionadas con la tarea actual.
En otras palabras, no se modifica el cerebro del modelo. Se mejora la información que tiene disponible cuando debe tomar una decisión. Esto hace que la técnica sea relativamente barata, portable y compatible con distintos modelos.
La memoria de un agente no consiste en repetir conversaciones completas. Consiste en convertir experiencias previas en estrategias, errores que conviene evitar y lecciones para casos específicos.
Tres formas de responder a la memoria
La evaluación incluyó ocho modelos, desde un modelo denso de 30.000 millones de parámetros hasta sistemas propietarios de frontera. Los investigadores observaron tres patrones principales.
Modelos fuertes con margen de mejora
Los modelos con buena capacidad, pero todavía con errores relevantes, suelen beneficiarse del conjunto completo de guías. Pueden procesar tanto las recomendaciones frecuentes como las lecciones para casos poco comunes.
DeepSeek-V3.2, un modelo de arquitectura Mixture of Experts con 671.000 millones de parámetros, pasó de 79,8% a 89,3% en finalización de tareas. Eso representa una mejora de 9,5 puntos porcentuales.
Claude Opus 4.6 también mejoró, aunque partía de una base más alta: pasó de 90,5% a 94,6%. GPT-5.5 subió de 92,3% a 95,2%.
Modelos que se saturan con demasiada información
Los modelos más pequeños o con menor capacidad pueden quedar sobrecargados cuando reciben una lista extensa de instrucciones. En estos casos, funciona mejor una combinación de dos elementos:
- Un núcleo compacto de guías confiables.
- Algunas recomendaciones específicas recuperadas para cada tarea.
El modelo gpt-oss-120b es un ejemplo claro. Con recuperación selectiva, aumentó su finalización de tareas de 39,9% a 56%, una mejora de 16,1 puntos porcentuales. El conjunto completo de guías obtuvo un resultado inferior y consumió alrededor de 50% más tokens que la alternativa selectiva.
Modelos cerca de su techo
Hay modelos que no presentan mejoras medibles al añadir memoria. GLM-5, con 745.000 millones de parámetros, mantuvo el mismo resultado: 87,5% de finalización de tareas tanto con memoria como sin ella.
Esto no demuestra que la memoria sea inútil para ese modelo. Puede significar que ya estaba cerca de su techo en estas tareas, que las guías no cubrían sus errores restantes o que el modelo no aplicó bien las recomendaciones.
Por eso, los investigadores usan la palabra saturado como una descripción del resultado observado, no como una explicación definitiva.
La prueba: agentes resolviendo tareas de varias aplicaciones
La evaluación se realizó en AppWorld, un entorno con 585 tareas de varios pasos distribuidas en nueve aplicaciones simuladas. Entre ellas había calendarios, mensajería y pagos.
Se utilizaron dos métricas:
- TGC, Task Goal Completion: porcentaje de tareas individuales completadas de forma correcta.
- SGC, Scenario Goal Completion: métrica más estricta. Un escenario solo cuenta como aprobado si el agente resuelve todas sus variantes.
La diferencia es importante. Un agente puede completar una tarea en la mayoría de los intentos y aun así fallar en una variante con datos, redacción o condiciones distintas. TGC mide el éxito general; SGC mide la consistencia.
Los resultados muestran que la memoria suele tener un efecto todavía mayor en SGC. DeepSeek-V3.2, por ejemplo, aumentó 9,5 puntos en TGC, pero 16,1 puntos en SGC. Las guías parecen ayudar especialmente a cubrir casos extremos y evitar fallos en variantes menos habituales.
Más memoria también puede significar más tokens
El problema práctico es que las guías deben incorporarse al contexto del agente. Si se reenvía todo el conjunto en cada paso de razonamiento, el consumo de tokens puede crecer rápidamente.
En las pruebas, DeepSeek-V3.2 pasó de un promedio de 148.000 tokens por tarea sin memoria a 263.000 con el conjunto completo. Eso equivale a un aumento de 78%.
gpt-oss-120b pasó de 110.000 a 166.000 tokens con todas las guías, un incremento de 51%. Sin embargo, con recuperación selectiva solo subió hasta 116.000 tokens, apenas 5% más que la configuración base.
Este último caso resume una de las conclusiones más útiles del estudio: la configuración que mejora más el rendimiento de algunos modelos también puede ser la más económica.
El papel del almacenamiento en caché
El aumento de costo no viene necesariamente de que el agente razone durante más tiempo. En el caso de DeepSeek, el número promedio de pasos de ReAct se mantuvo prácticamente igual, entre 18 y 19. El gasto adicional provino sobre todo de repetir las guías en cada turno.
En producción, el prompt caching puede reducir ese impacto. La parte estática del conjunto de guías se mantiene igual entre pasos y puede almacenarse en caché para no procesarla como contenido nuevo cada vez.
La recomendación de ingeniería es sencilla: mantener estable el prefijo compartido del contexto para que el sistema pueda reutilizarlo. ¿El agente necesita más memoria? Tal vez. Pero también necesita que esa memoria esté diseñada para no encarecer innecesariamente cada interacción.
No basta con contar parámetros
Sería tentador concluir que los modelos grandes necesitan toda la memoria y los pequeños solo una selección. Los datos no permiten una regla tan simple.
La respuesta parece depender de varios factores:
- El margen de mejora que todavía tenga el modelo en la tarea.
- El tamaño de su ventana de contexto.
- La arquitectura utilizada.
- La calidad de las guías extraídas.
- La distribución de las tareas evaluadas.
- La capacidad del modelo para aplicar instrucciones adicionales.
Los investigadores también plantean que los modelos con ventanas de contexto más amplias podrían absorber mejor conjuntos completos de guías. Aun así, todavía no han aislado experimentalmente el efecto del tamaño de contexto frente a la capacidad general del modelo.
Qué significa para quienes construyen agentes
La principal lección es que la memoria debe calibrarse, no activarse como una función universal.
Para modelos con menos capacidad, conviene empezar con un núcleo pequeño de recomendaciones y añadir solo las guías relacionadas con cada tarea. Esto reduce el ruido, mantiene bajo el consumo de tokens y puede mejorar la precisión.
Para modelos fuertes que todavía tienen margen de mejora, entregar el conjunto completo puede ser más útil, especialmente si se combina con almacenamiento en caché.
Para modelos que ya están cerca de su techo, añadir contexto no garantiza nada. Antes de aumentar la memoria, conviene identificar qué errores quedan y comprobar si las guías realmente los atacan.
La mejor memoria no es la que acumula más experiencia. Es la que entrega al agente la experiencia que puede aprovechar en ese momento.
ALTK-Evolve representa una alternativa práctica al ajuste fino cuando se quiere que un agente aprenda de sus propios resultados sin modificar los pesos del modelo. Sin embargo, las conclusiones todavía se basan en AppWorld, un único benchmark. Será necesario comprobar si el patrón se repite en otros entornos y en aplicaciones reales.
Los siguientes pasos incluyen entrenar un selector de guías basado en resultados, estudiar métodos de memoria para modelos muy débiles y separar con más precisión el efecto de la ventana de contexto del efecto de la capacidad del modelo. La dirección parece clara: los agentes no solo necesitan memoria, también necesitan aprender cuánta memoria usar.