Cuando vi la nota de OpenAI sobre por qué sus modelos pasaron de puntajes muy bajos a mucho mejores en ARC-AGI-3, pensé: ¿qué tanto importa la forma en que usamos la API? La respuesta fue clara y práctica: sí importa, y en grande.
Qué pasó y por qué importa
ARC-AGI-3 es un benchmark de juegos 2D pensado para medir cómo los agentes aprenden y razonan sin instrucciones explícitas. Es un laboratorio duro: los retos no solo prueban la capacidad del modelo, sino también la forma en que se lo interroga y se le conservan sus pensamientos.
OpenAI observó que GPT-5.6 Sol, pese a resolver problemas matemáticos complejos y vencer juegos como Pokémon FireRed en otras pruebas, sacó 7.8% en ARC-AGI-3. GPT-5.5 prácticamente no jugó, con 0.4%. ¿Las conclusiones? No siempre es que el modelo sea malo; a veces el problema está en el arnés de evaluación.
Los dos ajustes que marcaron la diferencia
Descubrieron dos decisiones del arnés que limitaban al modelo:
- El sistema descartaba la razonamiento privado entre acciones. Es decir, el modelo olvidaba sus planes e ideas internas y tenía que volver a interpretar el juego cada turno.
- Usaban una truncación tipo ventana rodante que eliminaba acciones antiguas a medida que crecía el historial, perdiendo memoria de lo que ya había pasado.
Al activar dos opciones que ya usan en ChatGPT y Codex, los resultados cambiaron radicalmente: conservar el razonamiento (retained reasoning) y usar compaction en lugar de truncado puro.
Qué hizo cada ajuste en la práctica
Retener el razonamiento permitió que GPT-5.6 Sol recordara sus planes y no re-evaluara todo desde cero en cada paso. ¿Qué pasó? Gastó menos tiempo pensando antes de actuar y fue capaz de usar estrategias coherentes a lo largo del juego.
La compaction reemplaza la ventana rodante. En vez de borrar lo más antiguo, resume y preserva la información relevante a medida que el contexto crece. Resultado: el modelo mantiene lo aprendido durante partidas largas y además genera muchos menos tokens de salida.
Resultado combinado: aproximadamente 3 veces el puntaje con 6 veces menos tokens de salida.
Por qué esto nos recuerda algo más amplio sobre evals
Las pruebas públicas no miden solo el modelo. Miden un paquete: modelo, prompting, diseño del arnés y ajustes de la API. Un benchmark con un arnés muy genérico puede dejar fuera capacidades que en entornos reales sí aparecen porque la configuración productiva las conserva.
Si recuerdas casos en que un modelo parece lento o errático en una prueba pero se desempeña bien en una demo, puede estar pasando esto: la prueba no está usando las mismas prácticas de despliegue que en producción.
Recomendaciones prácticas para desarrolladores
Si trabajas con la API y quieres que tus evals reflejen mejor la experiencia real, considera:
- Usar la
Responses APIen vez de APIs antiguas. - Activar la retención de razonamiento para que los mensajes privados se conviertan en contexto útil.
- Habilitar
compactionpara resumir el historial en lugar de borrar información antigua.
Y si comparas modelos, busca evals que usen estas configuraciones, porque son las que representan mejor cómo los modelos rinden en aplicaciones reales.
Reflexión final
No siempre la respuesta está en un modelo más grande o en entrenamiento extra. A veces basta con cuidar cómo le hablamos y cómo conservamos su pensamiento. Esto no solo mejora puntajes en benchmarks; cambia la experiencia de un agente que aprende mientras juega.
Fuente original
https://openai.com/index/how-two-settings-tripled-our-arc-agi-3-scores