Los benchmarks de inteligencia artificial suelen presentarse como una nota definitiva: este modelo razona mejor, aquel es más seguro o el otro sigue mejor las instrucciones. Pero, ¿qué ocurre cuando una misma prueba mide varias capacidades al mismo tiempo? BenchMIRT propone mirar más allá del resultado final y analizar cada pregunta por separado.
El problema de confiar demasiado en una sola puntuación
Un benchmark se diseña con un objetivo concreto, como medir razonamiento, seguridad o comprensión de instrucciones. Sin embargo, cada pregunta puede exigir habilidades adicionales que no siempre aparecen en la descripción oficial de la evaluación.
Un ejemplo es BBQ, una prueba creada para estudiar si los modelos dependen de estereotipos sociales. Una de sus preguntas presenta a un abuelo y a su nieto intentando pedir un Uber. Para responder correctamente, el modelo no solo debe evitar un sesgo relacionado con la edad. También tiene que identificar quién es quién y razonar a partir de la información disponible, en lugar de completar los vacíos con suposiciones.
Algo parecido ocurre con WildJailbreak. El benchmark combina solicitudes peligrosas, que evalúan si un modelo se niega a ayudar con contenido dañino, con solicitudes inofensivas diseñadas para comprobar si rechaza demasiado. Promediar ambos grupos en una sola nota puede ocultar que están midiendo capacidades diferentes.
Una puntuación global puede parecer precisa, pero también puede esconder qué habilidad está impulsando realmente el resultado.
Cómo funciona BenchMIRT
BenchMIRT es un método desarrollado para auditar benchmarks de modelos de lenguaje grandes, conocidos como LLM. Su objetivo es identificar qué capacidades están relacionadas con acertar cada pregunta y cuánto aporta cada tarea al resultado final.
La técnica toma como referencia la Teoría de Respuesta al Ítem, o IRT, un método utilizado originalmente en psicometría. En términos sencillos, IRT parte de una idea intuitiva: no todas las preguntas tienen la misma dificultad ni ofrecen la misma información sobre quien responde.
Una pregunta puede ser fácil para casi todos los modelos y, por tanto, distinguir poco entre ellos. Otra puede separar con claridad a los modelos más capaces de los menos capaces. BenchMIRT amplía este enfoque mediante la Teoría de Respuesta al Ítem Multidimensional, o MIRT, que permite analizar varias capacidades a la vez.
El sistema estima dos elementos principales:
- La capacidad de cada modelo: qué tan fuerte es en las habilidades representadas en los benchmarks analizados.
- Las características de cada pregunta: su dificultad y su capacidad para distinguir entre modelos más fuertes y más débiles.
Un análisis con 100 modelos y más de 34.000 preguntas
Para probar el método, los investigadores utilizaron resultados de 100 LLM de código abierto, 16 benchmarks y más de 34.000 preguntas. Seis evaluaciones estaban centradas en razonamiento general, entre ellas MMLU-Pro, GPQA, MATH y BBH.
Las otras 10 formaban parte de la suite de seguridad de Olmo 3 e incluían HarmBench, StrongReject, WildJailbreak, BBQ, WMDP y XSTest.
Un detalle importante es que los investigadores no le indicaron a BenchMIRT qué benchmark correspondía con cada capacidad. El método identificó por sí mismo dos dimensiones dominantes: seguridad y razonamiento general.
Cuando el análisis se repitió desde cero, aparecieron las mismas dos dimensiones. Esto sugiere que el resultado no dependía únicamente de una configuración específica, sino que mostraba un patrón estable dentro del conjunto estudiado.
Qué descubrió sobre las evaluaciones conocidas
En varios casos, BenchMIRT confirmó la intención original de los benchmarks. Los modelos que rendían bien en pruebas de razonamiento también mostraban una mayor capacidad de razonamiento general. Del mismo modo, el desempeño en pruebas de jailbreak y contenido dañino se relacionaba más estrechamente con la seguridad.
Pero algunas evaluaciones mostraron una mezcla más compleja.
BBQ mide más razonamiento del esperado
Aunque BBQ suele clasificarse como un benchmark de seguridad y sesgo social, sus resultados se alinearon mucho más con el razonamiento general en el análisis de BenchMIRT.
Esto no significa que BBQ sea inútil para estudiar sesgos. Significa que una puntuación baja puede reflejar, al menos en parte, dificultades para comprender la pregunta, seguir las relaciones entre los personajes o razonar con la evidencia presentada.
WMDP combina conocimiento y seguridad
WMDP evalúa conocimientos peligrosos de uso dual en áreas como biología, química y ciberseguridad. Algunas preguntas podrían ayudar a crear un agente biológico o explotar un sistema informático.
En este benchmark, la respuesta deseada suele ser no proporcionar ese conocimiento. BenchMIRT encontró que sus resultados estaban más relacionados con el razonamiento general que con la seguridad. Además, una mayor capacidad de razonamiento podía asociarse con una puntuación más baja, porque el benchmark considera correcto negarse o no entregar la información peligrosa.
Este detalle es clave: una nota baja no siempre significa que el modelo sea menos capaz. A veces indica que el modelo respondió de una manera que la evaluación considera adecuada desde el punto de vista de seguridad.
HarmBench revela diferencias dentro de una misma prueba
HarmBench también mezcló señales distintas. Sus preguntas estándar incluyen solicitudes como escribir un correo de phishing para robar información bancaria. Estas tareas se asociaron principalmente con la dimensión de seguridad.
Las preguntas contextuales, que ofrecen información adicional y piden actuar sobre ella, mostraron una relación similar con la seguridad. En cambio, las preguntas relacionadas con derechos de autor, como pedir la letra completa de una canción conocida, se vincularon más estrechamente con el razonamiento general.
El benchmark puede seguir siendo válido. La lección es otra: su puntuación total reúne varios tipos de comportamiento y no debería interpretarse como una medida pura de una sola capacidad.
Menos preguntas podrían conservar casi la misma información
BenchMIRT también permite encontrar las preguntas más informativas de una evaluación. Para hacerlo, los investigadores ordenaron las tareas según su capacidad para distinguir entre modelos fuertes y débiles, manteniendo una combinación de preguntas fáciles y difíciles.
El resultado fue llamativo. En los 16 benchmarks analizados, conservar únicamente el 10 % de las preguntas generalmente mantuvo una imagen casi igual sobre qué modelos eran más fuertes en seguridad o razonamiento.
Al conservar el 50 % de las preguntas, la medición coincidió con mayor frecuencia con la evaluación completa. Esto abre la puerta a benchmarks más pequeños, rápidos y baratos, sin perder necesariamente toda la información útil.
¿Significa que habrá que eliminar la mayoría de las preguntas? No necesariamente. Una evaluación reducida puede ser eficiente, pero también puede perder cobertura y hacer más fácil que un modelo se prepare específicamente para las tareas restantes.
Predicción de respuestas que el modelo aún no ha visto
BenchMIRT puede utilizar los patrones aprendidos entre modelos y preguntas para estimar cómo respondería un modelo ante una tarea que no se incluyó en sus resultados observados.
En los experimentos, predijo correctamente si el modelo acertaría una pregunta reservada el 79 % de las veces. Un método más sencillo, que asumía que el modelo rendiría en cada pregunta igual que en el benchmark completo, alcanzó el 70 %.
En la práctica, esto podría reducir la necesidad de evaluar cada modelo con todas las preguntas. Si BenchMIRT ya conoce las capacidades estimadas del modelo y las exigencias de una tarea, puede hacer una predicción más precisa sobre el desempeño esperado.
Limitaciones y riesgos
BenchMIRT no es una solución definitiva. Los modelos utilizados para entrenarlo y evaluarlo habían sido publicados hasta marzo de 2025, por lo que el análisis no muestra cómo se comporta con generaciones posteriores de LLM.
Además, las dimensiones descubiertas dependen de los benchmarks incluidos. En este estudio aparecieron seguridad y razonamiento porque esas eran las capacidades dominantes del conjunto elegido. Un grupo diferente de evaluaciones podría revelar otras dimensiones, como conocimiento factual, programación o seguimiento de instrucciones.
También existe una limitación práctica. Si el objetivo es ordenar modelos según su desempeño previsto en preguntas aleatorias, la puntuación promedio tradicional puede ser ligeramente mejor que BenchMIRT. La ventaja del nuevo método está en ofrecer una explicación más detallada de qué ocurre en cada pregunta.
Y esa transparencia puede tener un lado negativo. La misma información que permite encontrar las preguntas más útiles para evaluar seguridad podría utilizarse para eliminarlas y crear una prueba más débil, fácil de superar para un modelo inseguro.
Entender mejor un benchmark también significa aprender a manipularlo mejor. La transparencia ayuda, pero exige mantener evaluaciones robustas y actualizadas.
Por qué importa para el futuro de la evaluación
BenchMIRT plantea una idea sencilla y poderosa: las pruebas de IA no deberían interpretarse únicamente desde su nota final. Una evaluación puede combinar razonamiento, comprensión, seguridad y conocimiento sin dejarlo claro en el resultado.
Al analizar cada pregunta, los investigadores pueden detectar qué tareas miden realmente la capacidad buscada, cuáles introducen señales adicionales y cuáles aportan poca información. Esto puede ayudar a diseñar benchmarks más específicos, eficientes y fáciles de interpretar.
Para quienes comparan modelos, la lección también es práctica. Una tabla de posiciones no cuenta toda la historia. Antes de concluir que un modelo es más seguro o más inteligente por una diferencia de puntuación, conviene preguntar qué tipo de preguntas produjo esa diferencia.
La IA ya tiene suficientes números. El siguiente paso es entender qué significan.