Un agente de IA puede conocer las APIs correctas y aun así fallar en una tarea sencilla. Puede paginar mal una respuesta, elegir al usuario equivocado o devolver un dato que nadie solicitó. El problema no siempre es falta de conocimiento: muchas veces es falta de experiencia práctica sobre cómo usar cada herramienta.
Dos sistemas buscan resolverlo a partir del historial del propio agente: ACE, siglas de Agentic Context Engineering, y ALTK-Evolve, una propuesta de IBM Research. Ambos convierten los errores anteriores en lecciones reutilizables, sin modificar los pesos del modelo ni depender de etiquetas humanas.
La diferencia decisiva está en cómo entregan esas lecciones al agente. Y ahí aparece una consecuencia muy concreta: la cantidad de tokens consumidos durante la inferencia.
Dos formas de construir memoria para un agente
Imagina un agente encargado de reconciliar una orden entre nueve aplicaciones simuladas. Para completar la tarea debe buscar información, identificar correctamente a una persona, llamar varias APIs y verificar el resultado final. Un solo error de procedimiento puede arruinar toda la operación.
ACE y ALTK-Evolve almacenan los aprendizajes que surgen de estos recorridos. Una lección podría ser: “antes de actualizar una orden, confirma que el identificador corresponde al cliente y no al pedido”. La próxima vez, el agente puede reutilizar esa experiencia.
Los dos sistemas coinciden en algo importante: no conviene reducir todas las experiencias a un resumen breve y genérico. Una regla descubierta en cinco tareas tiene un respaldo distinto al de una regla observada una sola vez. Si se mezclan ambas en una frase compacta, se pierde información útil.
La memoria de un agente no debe convertirse en una lista demasiado corta de consejos. Debe conservar qué ocurrió, qué funcionó y cuánta evidencia respalda cada lección.
El enfoque de ACE
ACE organiza las lecciones en un único manual evolutivo o playbook. Ese manual se actualiza mediante un ciclo de tres componentes: Generator, que propone aprendizajes; Reflector, que analiza los resultados; y Curator, que organiza y depura el contenido.
El sistema también asigna contadores de resultados favorables y desfavorables a cada punto. Así, el modelo puede distinguir entre una recomendación que suele ayudar y otra que ha provocado fallos en varias ocasiones.
ACE identifica dos riesgos al resumir demasiado la memoria. El primero es el brevity bias, una tendencia a producir instrucciones cortas, genéricas y poco útiles. El segundo es el context collapse, que aparece cuando el modelo reescribe todo su contexto en cada paso y termina eliminando detalles importantes.
ALTK-Evolve separa la memoria de la entrega
ALTK-Evolve llega a una conclusión similar, pero organiza la memoria como un conjunto de guías individuales que pueden recuperarse según la tarea. Cada guía mantiene un contador de respaldo: cuántos episodios independientes ayudaron a descubrirla.
Su proceso de consolidación agrupa lecciones parecidas mediante embeddings, una forma de representar textos como vectores para comparar su significado. Cuando varias guías se fusionan, la guía superviviente conserva la suma de sus respaldos.
Además, ALTK-Evolve clasifica las lecciones en categorías como estrategia, recuperación y optimización. También mantiene la procedencia de cada aprendizaje, es decir, la trayectoria original de la que surgió. Esto puede facilitar que una solución descubierta en una aplicación se transfiera a otra con una estructura similar.
La diferencia principal aparece durante la inferencia. ACE inyecta el manual completo en cada paso del agente. ALTK-Evolve, en cambio, ajusta la entrega al modelo y a la tarea:
- Mantiene un núcleo pequeño de guías con mucho respaldo.
- Añade algunas lecciones seleccionadas por similitud con la tarea.
- Puede usar selección basada en un modelo de lenguaje o en prioridades calculadas.
- Entrega el conjunto completo solo cuando el modelo tiene capacidad suficiente para procesarlo.
La idea es sencilla: tener más memoria disponible no significa que debas mostrarla toda siempre. ¿De qué sirve una biblioteca completa si el agente no puede encontrar rápidamente el libro que necesita?
Resultados en AppWorld: menos tokens, rendimiento similar o superior
Los investigadores compararon ambos sistemas en AppWorld, un benchmark con 168 tareas simuladas que requieren interactuar con aplicaciones mediante un agente ReAct. En cada paso, el agente escribe código Python y recibe una respuesta del entorno.
Las métricas principales son TGC, que mide si se completa el objetivo de la tarea, y SGC, que exige superar todas las variantes de un escenario. Los resultados corresponden a ejecuciones únicas, conocidas como pass@1, usando datos de memoria extraídos de entrenamiento y desarrollo.
Con DeepSeek-V3.2, ALTK-Evolve obtuvo mejores resultados y utilizó menos tokens por tarea:
| Sistema | TGC | SGC | Tokens por tarea |
|---|---|---|---|
| ReAct, sin memoria | 79.8 | 64.3 | 148K |
| ReAct + ACE | 80.4 | 73.2 | 634K |
| ReAct + ALTK-Evolve | 89.3 | 80.4 | 263K |
En este modelo, ALTK-Evolve alcanzó un TGC de 89.3 frente a 80.4 de ACE y un SGC de 80.4 frente a 73.2. Al mismo tiempo, consumió cerca del 40 % de los tokens utilizados por ACE.
Con gpt-oss-120b, la diferencia de precisión fue más pequeña, pero el ahorro de tokens resultó todavía mayor:
| Sistema | TGC | SGC | Tokens por tarea |
|---|---|---|---|
| ReAct, sin memoria | 39.9 | 21.4 | 110K |
| ReAct + ACE | 54.8 | 35.7 | 777K |
| ReAct + ALTK-Evolve, selección | 56.0 | 37.5 | 116K |
Aquí, ALTK-Evolve superó ligeramente a ACE en TGC y SGC, pero utilizó aproximadamente una séptima parte de los tokens de ACE. En términos prácticos, eso puede traducirse en menor coste de inferencia y menor latencia, especialmente cuando un agente ejecuta miles de tareas.
La dificultad cambia el resultado
Los datos por nivel muestran por qué la entrega selectiva puede ser importante. En gpt-oss-120b, ACE fue mejor en tareas fáciles y medias, donde un manual completo puede aportar instrucciones generales útiles. Sin embargo, ALTK-Evolve ganó en las tareas difíciles, que suelen exigir encontrar y aplicar la lección correcta.
| Dificultad | Sin memoria | ACE | ALTK-Evolve |
|---|---|---|---|
| Fácil | 66.7 | 84.2 | 82.5 |
| Media | 35.4 | 60.4 | 56.2 |
| Difícil | 19.1 | 23.8 | 31.8 |
| Agregado | 39.9 | 54.8 | 56.0 |
En DeepSeek-V3.2 ocurre una situación distinta. El modelo más capaz puede procesar un conjunto amplio de guías sin saturarse con tanta facilidad. ALTK-Evolve lideró en las categorías fácil, difícil y general, mientras ACE obtuvo una pequeña ventaja en la categoría media.
Esto apunta a una conclusión relevante para quienes diseñan agentes: la cantidad ideal de contexto depende de la capacidad del modelo. Un modelo potente puede aprovechar un repositorio extenso. Uno más limitado puede confundirse si recibe demasiadas instrucciones al mismo tiempo.
El coste de servir memoria también importa
ACE optimiza principalmente la construcción de su contexto. Su manual puede crecer de manera organizada y conservar detalles valiosos. ALTK-Evolve concentra su ventaja en la fase de entrega: recupera solo las guías que el agente parece necesitar en cada tarea.
No se trata de afirmar que un sistema siempre sea mejor que el otro. De hecho, los resultados muestran que el manual completo puede ayudar en algunas tareas y con ciertos modelos. El punto es que enviar toda la memoria en cada paso tiene un coste que no siempre produce una mejora proporcional.
Para un producto real, esta diferencia puede ser crítica. Un agente de atención al cliente, compras o soporte técnico puede ejecutar decenas de pasos por solicitud. Si cada paso incluye cientos de miles de tokens de contexto innecesario, la factura crece rápidamente.
También hay una advertencia metodológica. La comparación fue realizada con ejecuciones internas de ACE sobre los mismos modelos base y las mismas divisiones de AppWorld utilizadas para ALTK-Evolve. El artículo señala que el trabajo original de ACE utilizó otro modelo, DeepSeek-V3.1, por lo que esta prueba busca controlar mejor las diferencias entre modelos y herramientas.
La lección de fondo no es simplemente “usa menos tokens”. Es más precisa: conserva las experiencias del agente sin resumirlas demasiado, pero entrega solo la cantidad de conocimiento que el modelo puede utilizar de verdad. La memoria debe ser rica; la ventana de contexto, estratégica.
Para quienes construyen agentes, el siguiente desafío será calibrar automáticamente esa cantidad. ¿Cuántas guías puede procesar cada modelo antes de que el contexto deje de ayudar? ALTK-Evolve sugiere que la respuesta no es fija y que elegir bien qué mostrar puede ser tan importante como aprender nuevas lecciones.