TextQuests llega como una prueba directa: en vez de preguntar hechos, reta a las inteligencias a navegar mundos complejos donde la memoria, el plan y el ensayo y error importan tanto como el conocimiento. ¿Te suena a volver a jugar aventuras clásicas con un cerebro artificial que va aprendiendo sobre la marcha? Pues eso es exactamente lo que propone TextQuests.
Qué es TextQuests
TextQuests es un benchmark construido sobre 25 juegos clásicos de Infocom, esas aventuras de texto antiguas que podían tomarle a una persona decenas de horas y cientos de acciones para resolverse. La idea es simple y poderosa: usar estos juegos como laboratorio para medir cuánto razonamiento sostenido y memoria a largo plazo tiene un LLM cuando actúa como agente en un mundo interactivo. (arxiv.org)
Cómo evalúan a los modelos
La evaluación tiene dos modos: una corrida con acceso a las pistas oficiales del juego y otra sin pistas. Cada intento puede durar hasta 500 pasos y se mantiene toda la historia del juego sin truncarla, para forzar al modelo a razonar sobre un contexto que crece con cada acción. Las métricas claves son el progreso en el juego y una medida de acciones "dañinas" para evaluar comportamiento ético dentro del entorno. (huggingface.co)
Qué encontraron los investigadores
Los resultados muestran problemas claros cuando el contexto se hace muy largo. En las pruebas, el historial puede superar las 100000 tokens, y muchos modelos empiezan a confundir acciones pasadas, a «alucinar» que hicieron cosas que no hicieron, o a repetir acciones en bucle en lugar de combinar información vieja para planear rutas nuevas. Ejemplos concretos incluyen dificultades para navegar laberintos o para recordar exactamente dónde dejaron un objeto crítico en juegos como Zork o Wishbringer. Esto revela limitaciones en la capacidad de los modelos para construir un mapa mental estable de un mundo que cambia con cada paso. (huggingface.co)
Problema clave: mantener y usar una historia larga no es lo mismo que saber muchas cosas. Los modelos fallan cuando deben gestionar memoria activa a largo plazo.
También observaron una tensión interesante entre eficacia y coste: modelos que usan más tokens de razonamiento durante la ejecución tienden a progresar más, pero esa mejora se vuelve decreciente y choca con el costo y la latencia de la inferencia. En otras palabras, no basta con «pensar más», hay que pensar mejor y más selectivamente. (huggingface.co)
¿Por qué importa esto para ti?
Porque esta prueba deja en claro algo que ya ves en la calle: una IA que sabe mucho no siempre actúa bien en situaciones que requieren memoria, planificación y adaptación. ¿Te imaginas pedirle a un asistente que recuerde los pasos exactos para arreglar una nevera o para completar un trámite bancario que tú llevas días haciendo? Si el modelo olvida lo hecho 10 pasos antes, el resultado puede ser frustrante o hasta costoso.
En términos prácticos, para emprendedores y desarrolladores esto significa que si quieres un agente útil en entornos reales (bancos, logística, soporte técnico), necesitas soluciones que vayan más allá de aumentar el tamaño del modelo: hay que diseñar mejor la memoria, los resúmenes de contexto y las políticas que deciden cuándo usar más razonamiento y cuándo ahorrar tokens.
Cómo probarlo o seguirlo
El proyecto está publicado y su código y benchmarks son abiertos, pensados para que investigadores y constructores de modelos contribuyan y envíen sus resultados al tablero de clasificación. Si eres curioso, puedes revisar la publicación técnica y el repositorio para replicar las pruebas o subir tus propias variantes de agentes. También hay un email de contacto para contribuciones al leaderboard. (arxiv.org, huggingface.co)
Reflexión final
TextQuests no es nostalgia por los juegos de texto. Es una lupa sobre una limitación real de las LLM cuando se les exige vivir y razonar dentro de un mundo que cambia con cada paso. Si estamos construyendo asistentes que deben recordar, planear y corregirse, estas pruebas nos enseñan que la siguiente ronda de mejoras tendrá que ser sobre memoria de largo plazo, eficiencia selectiva de razonamiento y pruebas prácticas en entornos dinámicos.
¿La buena noticia? Es un reto que se puede experimentar y mejorar en abierto. ¿Te provoca armar tu propio agente que supere a los demás en el leaderboard?