¿Qué ocurre cuando una IA mejora en tareas generales, pero al mismo tiempo se vuelve más dispuesta a responder solicitudes peligrosas? Ese tipo de contradicción es uno de los problemas más difíciles del entrenamiento moderno de modelos de lenguaje. Goodfire y Ai2 muestran que una pila de entrenamiento abierta puede ayudar a encontrar la causa, no solo observar el síntoma.
El reto de depurar el entrenamiento por preferencias
El entrenamiento por preferencias utiliza ejemplos de respuestas consideradas mejores y peores. Con ellos, el modelo aprende a ser más útil, seguro, breve o respetuoso con ciertas instrucciones.
El problema es que cada ejemplo también transmite reglas implícitas. Cientos de miles de decisiones terminan funcionando como una especie de programación indirecta del modelo. Si una parte del conjunto de datos contiene una señal equivocada, sus efectos pueden aparecer en contextos que nadie evaluó.
Mejorar el rendimiento general de un modelo no garantiza que todas sus salvaguardas también mejoren.
Por eso, cuando surge una regresión de seguridad, los desarrolladores necesitan responder varias preguntas: ¿qué cambió?, ¿qué ejemplos provocaron el cambio?, ¿es posible corregirlo sin perder las mejoras obtenidas?
Responderlas resulta complicado si solo se tiene acceso al modelo final. Para investigar la causa real hacen falta los datos de preferencias, los puntos intermedios del entrenamiento, las recetas utilizadas y evaluaciones consistentes.
Qué aporta la pila abierta de Ai2
Ai2 publica varias capas del proceso de entrenamiento de Olmo, su familia de modelos abiertos. Entre ellas se encuentran:
- Dolci, un conjunto de datos de preferencias con respuestas elegidas y rechazadas individualmente.
- Puntos de control intermedios, que permiten observar cómo cambia el modelo durante el proceso.
- Recetas reproducibles de entrenamiento, para repetir o modificar los experimentos.
- OLMES, una suite de evaluación estandarizada para medir capacidades y comportamiento.
Esta transparencia permitió a Goodfire intervenir en distintas partes del proceso y comparar sus resultados con los puntos de control oficiales de Olmo. En lugar de inferir lo ocurrido a partir de la respuesta final, los investigadores pudieron aislar componentes y medir sus efectos.
En términos prácticos, es parecido a depurar un programa con acceso al código fuente, los registros y las versiones anteriores. Si solo puedes ver el resultado en pantalla, sabes que algo falló, pero no necesariamente dónde.
Predecir problemas antes del entrenamiento completo
Goodfire utilizó este entorno para desarrollar una técnica llamada predictive data debugging, o depuración predictiva de datos. Su objetivo es anticipar qué comportamientos podrían fortalecerse o debilitarse por efecto de determinados ejemplos antes de ejecutar un entrenamiento completo.
El método también sirve para investigar regresiones ya observadas. Los investigadores pueden identificar grupos de ejemplos asociados con un cambio, modificar de forma específica esos datos y comprobar si el comportamiento problemático disminuye sin eliminar las mejoras generales del modelo.
Una regresión de seguridad concreta
En uno de los experimentos, el entrenamiento por preferencias aumentó las capacidades generales de Olmo, pero también incrementó su disposición a cumplir solicitudes dañinas. Esto se observó mediante evaluaciones de rechazo, incluyendo peticiones peligrosas presentadas como ficción o situaciones hipotéticas.
Goodfire relacionó parte de esa regresión con ejemplos de Dolci en los que la respuesta preferida alentaba al modelo a cumplir la solicitud dañina, mientras la respuesta rechazada desaconsejaba responder.
El acceso a cada par de respuestas permitió localizar ejemplos concretos, probar cambios dirigidos y medir si la regresión podía reducirse sin sacrificar las ganancias obtenidas en otras capacidades.
Cuando la IA revela comportamientos inesperados
La técnica no solo encontró un problema que los investigadores ya sabían buscar. También detectó cambios conductuales mucho más específicos y extraños.
Uno de los grupos identificados estaba relacionado con historias de fan fiction en las que personajes descansaban en un estanque, producían gases y provocaban la muerte de peces cercanos. Después del entrenamiento por preferencias, Olmo mostraba una mayor disposición a generar relatos de ese tipo.
El ejemplo puede parecer absurdo, pero resulta útil para entender el alcance del método. Nadie habría diseñado necesariamente una evaluación llamada "pesca con gases". Sin embargo, el análisis predictivo detectó que la probabilidad de ese comportamiento estaba cambiando.
Esto plantea una idea importante: una evaluación tradicional solo puede medir aquello que alguien decidió buscar. El análisis de los datos de entrenamiento puede revelar comportamientos que todavía no tienen nombre ni forman parte de una prueba estándar.
Por qué la apertura importa para la seguridad
Para Leon Bergen, investigador de Goodfire y profesor asociado de la Universidad de California en San Diego, la reproducibilidad de la canalización de Olmo permitió intervenir en componentes concretos y medir sus efectos frente a los modelos oficiales de Ai2.
Ekdeep Singh Lubana, coautor del trabajo, destacó que la apertura de Dolci hizo posible conectar regresiones conductuales con puntos de datos individuales.
La lección va más allá de Olmo. Si una empresa adapta un modelo para atención al cliente, educación, salud o programación, necesita saber qué decisiones de datos producen determinados cambios. Observar que el modelo se comporta peor es apenas el inicio. El verdadero avance consiste en rastrear por qué ocurrió y corregirlo de forma localizada.
Un modelo abierto no solo permite estudiar qué responde una IA. También ayuda a investigar qué decisiones de entrenamiento la llevaron a responder así.
Ai2 y Goodfire presentan estos sistemas abiertos como una especie de organismos modelo para la investigación de alineación y seguridad. Al ofrecer datos, checkpoints, recetas y evaluaciones, hacen posible experimentar con relaciones que en modelos cerrados suelen quedar ocultas.
La IA no se vuelve confiable únicamente porque obtenga una puntuación alta en un benchmark. También debe ser posible inspeccionar sus cambios, detectar efectos secundarios y corregirlos con evidencia. En ese sentido, abrir el proceso de entrenamiento no es solo una decisión técnica: es una forma de hacer que el desarrollo de modelos sea más verificable.