Los benchmarks de inteligencia artificial suelen resumirse en una cifra: un modelo obtiene 80%, otro 75% y el primero parece mejor. Pero ¿qué está midiendo realmente ese porcentaje? Una nueva metodología de Ai2, llamada BenchMIRT, analiza cada pregunta de una evaluación para separar las capacidades que influyen en el resultado.
Un benchmark puede medir más de una habilidad
Un benchmark se diseña con un objetivo concreto: evaluar razonamiento, seguridad, seguimiento de instrucciones o conocimiento especializado. El problema es que sus preguntas pueden exigir capacidades adicionales que no siempre aparecen en el nombre de la prueba.
Por ejemplo, BBQ busca analizar si un modelo depende de estereotipos sociales. Una de sus preguntas presenta a un abuelo y su nieto intentando pedir un vehículo. Para responder correctamente, el modelo no solo debe evitar sesgos relacionados con la edad. También tiene que identificar quién es quién, seguir la información disponible y razonar sin completar los vacíos con suposiciones.
Esto significa que una puntuación baja podría reflejar un problema de seguridad, pero también dificultades de comprensión o razonamiento. Si todo se mezcla en un único promedio, interpretar el resultado se vuelve más difícil.
Algo parecido ocurre con WildJailbreak. El benchmark combina solicitudes dañinas, que evalúan si el modelo rechaza contenido peligroso, con solicitudes benignas diseñadas para comprobar si rechaza demasiado. Las primeras están más relacionadas con seguridad y las segundas pueden depender más del razonamiento general.
Una puntuación única puede ocultar que distintas preguntas están midiendo capacidades diferentes.
Cómo funciona BenchMIRT
BenchMIRT toma como punto de partida la Teoría de Respuesta al Ítem, conocida como IRT, una técnica utilizada originalmente en psicometría. En términos sencillos, esta teoría reconoce que no todas las preguntas aportan la misma información.
Algunas son más difíciles. Otras distinguen mejor entre participantes fuertes y débiles. BenchMIRT amplía esta idea mediante la Teoría de Respuesta al Ítem Multidimensional, o MIRT, para detectar varias capacidades que pueden influir en una respuesta.
El método analiza dos niveles:
- El modelo: estima sus fortalezas en las capacidades presentes en los benchmarks seleccionados.
- La pregunta: calcula su dificultad y qué tan bien diferencia entre modelos con mayor o menor dominio de esas capacidades.
Para probarlo, Ai2 entrenó BenchMIRT con resultados de 100 modelos de lenguaje de código abierto, 16 benchmarks y más de 34.000 preguntas. Seis evaluaciones estaban enfocadas en razonamiento general, entre ellas MMLU-Pro, GPQA, MATH y BBH. Las otras diez pertenecían a la suite de seguridad Olmo 3 e incluían HarmBench, StrongReject, WildJailbreak, BBQ, WMDP y XSTest.
Lo interesante es que los investigadores no le indicaron al sistema qué benchmark correspondía a cada capacidad. Aun así, BenchMIRT identificó dos dimensiones dominantes: seguridad y razonamiento general. Al repetir el análisis desde cero, las mismas dimensiones volvieron a aparecer, lo que sugiere que el resultado fue estable.
Qué descubrió sobre los benchmarks actuales
En muchos casos, BenchMIRT confirmó la intención original de las evaluaciones. Los benchmarks de razonamiento se asociaron principalmente con esa capacidad, mientras que las pruebas de jailbreak y solicitudes dañinas se relacionaron con seguridad.
Pero también aparecieron resultados menos intuitivos.
BBQ parece medir más razonamiento que seguridad
Aunque BBQ suele clasificarse como un benchmark de seguridad y sesgo social, su puntuación mostró una correlación mucho más fuerte con el razonamiento general. BenchMIRT encontró una correlación de 0,85 con razonamiento y de apenas 0,06 con seguridad.
En la práctica, un resultado bajo en BBQ podría decir más sobre la capacidad del modelo para comprender y resolver las preguntas que sobre su tendencia a reproducir estereotipos.
WMDP funciona en dirección contraria
WMDP evalúa conocimiento peligroso de uso dual en áreas como biología, química y ciberseguridad. En este caso, la respuesta deseada suele ser no proporcionar la información riesgosa.
BenchMIRT detectó una correlación de -0,89 entre la puntuación de WMDP y el razonamiento general, sin una relación significativa con seguridad. La razón es importante: los modelos con mayor conocimiento y razonamiento pueden tener más capacidad para responder preguntas peligrosas, lo que reduce su puntuación si no rechazan esas solicitudes.
Una puntuación alta en WMDP no necesariamente significa que el modelo razone mejor. Puede indicar que carece de cierto conocimiento de uso dual o que evita entregar la información solicitada.
HarmBench mezcla señales diferentes
HarmBench evalúa si un modelo cumple solicitudes dañinas. Sus preguntas estándar, como redactar un correo de phishing, se alinearon principalmente con seguridad. Lo mismo ocurrió con las preguntas contextuales, que entregan información adicional y piden actuar sobre ella.
Sin embargo, las preguntas relacionadas con derechos de autor, como solicitar la letra completa de una canción conocida, mostraron una relación mucho menor con seguridad. Dentro de un mismo benchmark, por tanto, hay grupos de preguntas que pueden estar examinando comportamientos distintos.
Otros resultados destacados
- MMLU-Pro y BBH se asociaron fuertemente con razonamiento general, con correlaciones de 0,97 y 0,94, respectivamente.
- WildJailbreak, JailbreakTrigger y Do-Anything-Now se relacionaron principalmente con seguridad, con correlaciones cercanas a -0,90.
- XSTest quedó dividido entre razonamiento y seguridad, algo coherente con su combinación de preguntas sobre rechazo excesivo y seguridad.
- ToxiGen mostró una relación débil con ambas capacidades. Ai2 señala que puede estar saturado, ya que los modelos alcanzaron una puntuación promedio de 92%.
Estos datos no demuestran que los benchmarks estén mal diseñados. Revelan que sus puntuaciones pueden combinar varias señales y que es necesario interpretarlas con más cuidado.
Menos preguntas, sin perder tanta información
BenchMIRT también puede identificar qué preguntas son más útiles para distinguir entre modelos fuertes y débiles en una capacidad específica.
Los investigadores ordenaron las preguntas de los 16 benchmarks según la información que aportaban y conservaron una combinación de ítems fáciles y difíciles. Al utilizar solo el 10% de las preguntas, generalmente se mantuvo una imagen muy parecida de qué modelos eran más fuertes en seguridad o razonamiento.
Con el 50% de las preguntas, la medición coincidió en muchos casos todavía más con el benchmark completo. Esto podría ayudar a crear evaluaciones más pequeñas, rápidas y económicas, especialmente cuando probar cada modelo con miles de preguntas resulta costoso.
BenchMIRT también intentó predecir si un modelo respondería correctamente una pregunta que no había visto durante el análisis. Acertó en el 79% de los casos. Un método más simple, que asumía que el modelo tendría en cada pregunta el mismo rendimiento que su promedio general, alcanzó el 70%.
La diferencia no convierte a BenchMIRT en una bola de cristal. Pero sí muestra que conocer las habilidades del modelo y las exigencias de cada pregunta puede producir estimaciones más precisas.
Las limitaciones y el riesgo de optimizar demasiado
La metodología tiene límites. Los modelos usados en el estudio habían sido publicados hasta marzo de 2025, por lo que el análisis todavía no muestra cómo se comporta con generaciones más recientes de modelos de lenguaje.
Además, las dimensiones descubiertas dependen de los benchmarks incluidos. En este experimento aparecieron seguridad y razonamiento porque esas eran las capacidades predominantes en el conjunto elegido. Con otras evaluaciones podrían emerger dimensiones diferentes, como conocimiento factual, programación o comprensión multimodal.
También existe una comparación importante. Si el objetivo es ordenar modelos según su rendimiento en preguntas seleccionadas al azar, la puntuación promedio tradicional puede ser ligeramente mejor que BenchMIRT. La ventaja de la nueva metodología está en ofrecer una explicación más detallada de lo que ocurre a nivel de cada pregunta.
Y esa transparencia puede utilizarse bien o mal. Las mismas estimaciones que permiten encontrar las preguntas más informativas de seguridad podrían servir para eliminarlas y construir una evaluación más fácil de superar para un modelo inseguro.
Medir mejor no consiste solo en obtener una cifra más precisa. También implica entender qué representa esa cifra y qué podría estar ocultando.
BenchMIRT apunta hacia una evaluación más específica y transparente de los modelos de IA. En lugar de tratar cada benchmark como una caja cerrada, analiza qué preguntas impulsan el resultado, qué capacidades intervienen y cuáles aportan poca información.
Para quienes desarrollan modelos, esto puede significar pruebas más eficientes. Para investigadores y usuarios, ofrece algo todavía más importante: una forma de preguntar no solo qué modelo obtuvo la mejor puntuación, sino qué habilidad está demostrando realmente.