QIMMA قمّة llega con una propuesta simple pero potente: validar la calidad de los benchmarks antes de evaluar modelos. ¿Suena obvio? Lo es, pero en la práctica muchos leaderboard ejecutan modelos sobre conjuntos de datos sin chequear si las preguntas tienen sentido en árabe, si las respuestas doradas son correctas o si la traducción cambió la intención original.

Qué es QIMMA y por qué importa

QIMMA es un leaderboard pensado para árabe que prioriza la calidad. No agrupa benchmarks tal cual y ya. Primero valida cada muestra; luego evalúa modelos. El resultado es un suite unificada de 109 subconjuntos, más de 52 000 muestras y cobertura en siete dominios: cultural, STEM, legal, médico, seguridad, poesía y código.

¿Por qué esto cambia las reglas del juego? Porque el árabe es hablado por más de 400 millones de personas en dialectos y contextos culturales muy diversos. Si usamos datos traducidos o sin control de calidad, las puntuaciones pueden reflejar artefactos del benchmark, no la verdadera capacidad del modelo.