OpenAI anunció una pausa temporal en el desarrollo de sus modelos más avanzados después de detectar nuevos riesgos relacionados con ciberseguridad, alineación y control. La empresa también señaló que su próximo modelo, Astra, podría alcanzar un nivel crítico de capacidad para realizar tareas cibernéticas.
La decisión muestra algo importante: a medida que la IA se vuelve más capaz, no solo aumentan sus posibles beneficios. También crecen los riesgos dentro de los propios entornos donde se entrenan y prueban estos sistemas.
OpenAI ralentiza el entrenamiento de sus modelos
Durante dos semanas, OpenAI pausó el entrenamiento mediante aprendizaje por refuerzo, conocido como RL, de sus modelos más recientes destinados a usuarios. Además, mantiene detenido su mayor entrenamiento planificado mientras realiza pruebas más pequeñas y revisa el comportamiento de los sistemas.
¿Por qué frenar si la carrera por desarrollar modelos más potentes avanza tan rápido? La compañía explica que necesita reforzar sus entornos de investigación, ampliar la supervisión y obtener más evidencia de que los modelos se comportan de acuerdo con las instrucciones humanas.
La pausa ocurre después de dos acontecimientos que OpenAI considera relevantes: un incidente relacionado con OpenAI y Hugging Face, y señales preliminares de que Astra podría cumplir el umbral de capacidad cibernética crítica definido en su marco de preparación.
Tres capas para controlar modelos más capaces
OpenAI describe su estrategia a partir de tres defensas que deben funcionar juntas:
- Monitoreo: detectar comportamientos preocupantes y permitir una respuesta rápida.
- Alineación: reducir la probabilidad de que el modelo realice acciones dañinas o no autorizadas.
- Seguridad: limitar los sistemas, datos, herramientas y redes a los que la IA puede acceder.
La idea es sencilla, aunque ponerla en práctica no lo sea. Si un modelo puede escribir código, utilizar herramientas y conectarse con sistemas externos, necesita controles que restrinjan cada una de esas capacidades.
La seguridad de un modelo no depende únicamente de lo que sabe hacer, sino también de aquello a lo que puede acceder y de la supervisión que existe mientras actúa.
OpenAI espera que los propios modelos ayuden en el futuro a realizar buena parte del trabajo de seguridad, incluso a defender sistemas contra otros modelos. Esto permitiría que las medidas de protección crezcan al mismo ritmo que las capacidades de la IA.
Nuevos controles para entornos de investigación
Tras el incidente con OpenAI y Hugging Face, la empresa pausó la inferencia de modelos avanzados en clústeres de investigación cuando estos podían ejecutar código o utilizar herramientas con acceso a internet.
Algunas tareas regresaron rápidamente bajo controles más estrictos. Otras permanecen detenidas porque requieren cambios adicionales en la infraestructura. Entre las medidas implementadas o en desarrollo se encuentran:
- Aislamiento de cargas de trabajo: los procesos que ejecutan código generado por modelos deben operar dentro de entornos aislados o
sandboxes. - Aislamiento de red: las cargas de mayor riesgo tienen restricciones adicionales para evitar accesos no autorizados a internet o a redes internas.
- Menos privilegios permanentes: se están eliminando servicios compartidos potencialmente vulnerables y reduciendo los permisos que permanecen activos.
- Pruebas continuas de seguridad: OpenAI está automatizando ataques simulados para comprobar si sus propios controles pueden ser evadidos.
Estas capas forman una estrategia de defensa en profundidad. En términos simples, la empresa intenta evitar que un solo fallo permita que un modelo comprometa todo el entorno de investigación.
Astra activa el nivel más estricto de seguridad
OpenAI afirma que Astra podría tener capacidades cibernéticas críticas. Por esa razón, los entrenamientos y evaluaciones que involucren este modelo deben cumplir con los requisitos de seguridad más exigentes.
No todas las cargas de trabajo relacionadas con Astra han sido migradas a esos entornos. Mientras se completa el proceso, varias permanecen pausadas. La compañía está dando prioridad a las tareas de seguridad y alineación.
Este punto es especialmente relevante porque un modelo capaz de analizar vulnerabilidades, escribir código y operar herramientas podría ser útil para defender sistemas, pero también podría facilitar ataques si actúa de forma incorrecta o si sus controles fallan.
Monitoreo token por token
OpenAI también amplió el sistema que vigila el comportamiento de sus modelos. El nuevo esquema comienza con clasificadores de activación, detectores que analizan la actividad interna del modelo en cada token muestreado.
Cuando aparece una señal preocupante, el caso pasa a investigadores automatizados más sofisticados y con mayor consumo de cómputo. Estos sistemas revisan las acciones realizadas con herramientas, el razonamiento disponible y la secuencia completa de actividad.
Entre las conductas que buscan identificar están:
- Accesos no autorizados.
- Robo de datos.
- Acciones destructivas.
- Intentos de evadir medidas de seguridad.
- Violaciones de límites críticos dentro de la infraestructura.
OpenAI aspira a generar una alerta en un máximo de 30 minutos después de detectar una actividad preocupante. Si la alerta parece indicar una violación grave, los equipos de seguridad, investigación y protección deben revisar el caso.
Si no pueden confirmar en ese plazo que se trata de un falso positivo, deben pausar la actividad. El monitoreo es obligatorio para todos los entrenamientos y evaluaciones con herramientas de modelos que alcancen el nivel de capacidad denominado Sol o superior.
Desde el 7 de agosto, también se exige monitoreo adicional para cualquier inferencia de Astra con herramientas, no solo para sus entrenamientos y evaluaciones.
La protección tiene un costo. OpenAI calcula que este sistema representa, en promedio, cerca del 20 % del cómputo de inferencia supervisado, aunque el impacto cambia según el tipo de entrenamiento o evaluación.
La alineación debe cubrir más etapas
La alineación busca que un modelo actúe de acuerdo con las intenciones humanas y responda a la supervisión. El desafío crece cuando el sistema puede interactuar con herramientas, redes y recursos externos.
OpenAI menciona riesgos como el reward hacking, una conducta en la que el modelo encuentra una forma de obtener una buena recompensa sin cumplir realmente el objetivo. También señala la posibilidad de engaño, acceso no autorizado y explotación de debilidades en los evaluadores o sistemas de supervisión.
Para reducir estos problemas, la empresa está aplicando técnicas de alineación en más etapas del aprendizaje por refuerzo. Entre sus prioridades están:
- Mejorar los modelos de recompensa para detectar comportamientos inseguros.
- Entrenar a los modelos para que sean más honestos sobre sus acciones, capacidades y limitaciones.
- Reducir conductas que exploten fallos en recompensas, herramientas o evaluaciones.
- Ampliar las pruebas sobre riesgos cuando la IA interactúa con sistemas externos.
La pregunta de fondo es difícil: ¿cómo supervisar de forma confiable un sistema que puede actuar con mayor velocidad y complejidad que las personas encargadas de revisarlo?
OpenAI reconoce que las respuestas actuales todavía no son suficientes. Por eso planea publicar más información sobre sus investigaciones de alineación, los comportamientos observados y los nuevos desafíos que encuentre.
Un cambio en la carrera por la IA avanzada
La compañía también anunció que actualizará su Preparedness Framework, el marco que utiliza para evaluar riesgos y establecer medidas de seguridad antes y durante el despliegue de sus modelos.
El nuevo enfoque deberá conectar mejor la seguridad del entrenamiento con la seguridad del producto final. También tendrá que adaptarse a modelos que puedan operar en entornos más complejos y realizar tareas cibernéticas cada vez más avanzadas.
Esto no significa que el desarrollo de la IA se haya detenido. Significa que entrenar modelos más potentes exige una infraestructura de seguridad mucho más rigurosa. Las pausas, los costos adicionales y los retrasos pueden convertirse en una parte permanente del desarrollo de sistemas de frontera.
Para cualquier empresa que trabaje con IA, la lección es clara: no basta con probar qué puede hacer un modelo. También hay que definir qué puede tocar, cómo se supervisa, qué ocurre cuando se equivoca y cuánto tarda una organización en detenerlo.
La capacidad de los modelos avanza con rapidez. El reto ahora es conseguir que la comprensión, la alineación y la seguridad avancen todavía más rápido.
Fuente original
https://openai.com/index/pacing-model-development-cyber-capabilities