¿Qué ocurre cuando una evaluación de inteligencia artificial se convierte en un juego público? En el caso de Olmo 3, la respuesta fue inesperada: las entradas que mejor orientaron al modelo hacia comportamientos prosociales no fueron frases empáticas ni instrucciones cuidadosamente redactadas, sino cadenas de tokens casi ilegibles.
El experimento, desarrollado por Soham Padia, estudiante de maestría en Northeastern University, muestra un problema central en la evaluación de modelos: una métrica puede parecer útil hasta que las personas empiezan a optimizarla de formas que sus creadores no anticiparon.
Steering Arena convierte la evaluación en un juego
Padia creó una prueba para medir cuánto podía orientarse Olmo 3 hacia respuestas consideradas prosociales. En este contexto, el término incluye cualidades como empatía, justicia, seguridad, privacidad y respeto.
La evaluación partía de 135 pares de respuestas contrastantes organizados en 15 cualidades. Cada par respondía al mismo mensaje, pero una respuesta representaba un comportamiento más prosocial que la otra. Al comparar la actividad interna del modelo frente a esos ejemplos, Padia identificó una dirección asociada con respuestas más alineadas con esos valores.
Después convirtió el experimento en Steering Arena, una plataforma donde los participantes podían enviar pequeños prefijos de texto. El sistema medía cuánto desplazaba cada entrada el comportamiento interno de Olmo 3 hacia la dirección prosocial y mostraba los resultados en una tabla de posiciones.
¿La idea era encontrar la frase más amable? No exactamente. El objetivo real era descubrir qué texto influía con mayor fuerza en el modelo, aunque no tuviera sentido para una persona.
Las mejores entradas parecían ruido
En total, el experimento recibió cerca de 600 propuestas de unas pocas decenas de participantes. Las 36 entradas con mejor puntuación fueron cadenas de tokens prácticamente ilegibles, con combinaciones como Undert! AH :-) Rog Appl) y Angela Nombre WiBanner:] Workflow.respond-winemoji.
La mejor propuesta escrita en inglés comprensible pedía a Olmo 3 responder con una frase corta llena de amabilidad, respeto y compasión. Sin embargo, quedó en el puesto 37 y obtuvo una puntuación aproximadamente 2,7 veces menor que la entrada ganadora.
Esto no significa que las cadenas extrañas fueran necesariamente aleatorias. El sistema no evaluaba si el texto sonaba prosocial para un humano. Medía el cambio producido en determinadas señales internas del modelo. Los participantes, por tanto, podían optimizar directamente el comportamiento que premiaba la métrica, aunque el resultado fuera incomprensible.
Cuando una métrica se hace pública, se convierte en un objetivo de optimización.
Uno de los participantes llevó esta estrategia más lejos y utilizó un método automatizado para buscar entradas con mejores resultados. Algunas propuestas sucesivas cambiaban apenas un token, mientras el proceso exploraba combinaciones cada vez más eficaces para el evaluador.
Qué aporta estudiar las señales internas
El experimento fue posible gracias al nivel de apertura de Olmo 3. Padia trabajó con Olmo 3-32B mediante la plataforma National Deep Inference Fabric, conocida como NDIF, respaldada por la National Science Foundation de Estados Unidos.
NDIF permitió acceder de forma remota a un modelo grande sin que el investigador tuviera que comprar o mantener las GPU necesarias para ejecutarlo. Pero el acceso remoto no era lo único importante. Olmo también ofrece información sobre sus datos y su proceso de ajuste posterior, conocido como post-training.
Esa documentación ayuda a formular una pregunta difícil de responder en modelos cerrados: ¿una determinada conducta apareció durante el entrenamiento inicial o fue incorporada más tarde mediante ajustes especializados?
En términos técnicos, Padia no tuvo que inferir todo a partir de las respuestas finales. Pudo observar cómo las entradas modificaban la actividad interna del modelo y publicar la señal utilizada para calcular las puntuaciones de Steering Arena.
Esto no convierte a Olmo 3 en un sistema completamente transparente, pero sí abre una ventana mucho más amplia que la disponible en muchos modelos propietarios. Los investigadores pueden inspeccionar la señal, reproducir el procedimiento y probar si la evaluación realmente mide lo que pretende medir.
La lección para quienes construyen modelos
Una evaluación puede indicar que un modelo responde de forma segura, justa o empática bajo ciertas condiciones. El problema aparece cuando los usuarios descubren cómo explotar el criterio exacto con el que se calcula esa puntuación.
Steering Arena funcionó como una prueba de estrés. En lugar de limitarse a comprobar respuestas cuidadosamente diseñadas por un equipo pequeño, permitió que participantes reales buscaran formas inesperadas de influir en el modelo.
Ese enfoque puede revelar fallas que una evaluación tradicional no detectaría. También plantea una advertencia: una señal interna relacionada con la conducta prosocial no equivale automáticamente a comprensión, intención o buen juicio.
Un modelo puede moverse en la dirección que una métrica considera positiva sin producir texto que una persona interprete como útil o respetuoso. La diferencia entre ambas cosas es precisamente el tipo de problema que las evaluaciones públicas pueden sacar a la luz.
Por qué la apertura importa
El caso de Olmo 3 conecta con una discusión más amplia sobre los modelos abiertos. Publicar los pesos es importante, pero no siempre suficiente. Para investigar con rigor también hacen falta información sobre los datos, el entrenamiento, el ajuste posterior, la infraestructura y las señales internas que intervienen en el comportamiento.
Con ese acceso, un investigador puede estudiar de dónde podría venir una determinada capacidad o tendencia, en lugar de limitarse a observar entradas y salidas como si estuviera frente a una caja negra.
La experiencia de Steering Arena deja una conclusión práctica: si una organización quiere saber cómo se comportará un modelo en el mundo real, no basta con diseñar una buena prueba. También debe preguntarse cómo la optimizarán los usuarios, qué atajos encontrarán y si la métrica seguirá representando el objetivo original después de ser expuesta.
La IA no siempre falla porque no sabe la respuesta. A veces falla porque aprende a satisfacer el indicador equivocado. Experimentos como este ayudan a detectar esa diferencia antes de que llegue a aplicaciones con consecuencias reales.