OpenAI mejora ChatGPT para conversaciones sensibles

OpenAI actualizó el modelo por defecto de ChatGPT (GPT-5) para reconocer mejor señales de angustia, responder con cuidado y guiar a las personas hacia ayuda real. Trabajaron con más de 170 expertos en salud mental y reportan reducciones importantes en respuestas que no cumplen con el comportamiento deseado: entre 65 y 80% menos en distintos dominios sensibles.

Qué hizo OpenAI

La actualización se centra en tres áreas principales: 1) síntomas graves como psicosis y manía, 2) autolesiones y suicidio, y 3) dependencia emocional hacia la IA. Además, ampliaron el acceso a líneas de crisis, redirigen conversaciones sensibles desde otros modelos hacia modelos más seguros y añadieron recordatorios suaves para tomar pausas en sesiones largas.

¿Por qué importa esto? Porque ChatGPT es usado por millones y, aunque las conversaciones de alto riesgo son raras, cuando ocurren necesitan respuestas seguras y coherentes. OpenAI dice que ahora el modelo falla menos a la hora de seguir el comportamiento esperado según sus taxonomías clínicas.

Cómo lo hicieron

No fue magia ni un ajuste rápido. Siguieron un proceso de cinco pasos:

• Definir el problema y mapear tipos de daño potencial.
• Medir: evaluaciones, datos de conversaciones reales y estudios con usuarios.
• Validar con expertos externos en salud mental.
• Mitigar riesgos mediante post-entrenamiento y cambios en el producto.
• Seguir midiendo e iterando.

Construyeron guías detalladas llamadas "taxonomias" que describen qué es una respuesta ideal y qué no. Además crearon una Red Global de Médicos con casi 300 médicos y psicólogos de 60 países; más de 170 de ellos contribuyeron directamente con respuestas modelo, análisis clínicos y calificaciones de seguridad.

Resultados y cifras clave

OpenAI comparte tanto mediciones en tráfico real como evaluaciones estructuradas difíciles (pensadas para retar al modelo). Algunos números destacados:

• Reducción estimada de respuestas no conformes a las taxonomias en conversaciones sobre salud mental: 65% en tráfico de producción para GPT-5.
• Conversaciones con posibles signos de psicosis o manía: alrededor de 0.07% de usuarios activos por semana y 0.01% de mensajes.
• En conversaciones desafiantes, GPT-5 redujo respuestas no deseadas 39% frente a GPT-4o en un estudio clínico (n=677).
• Evaluación automatizada de >1,000 conversaciones complejas: GPT-5 92% conforme vs 27% del modelo previo.

Sobre autolesiones y suicidio:

• Reducción estimada en respuestas no conformes: 65%.
• Usuarios con indicadores de planificación suicida: alrededor de 0.15% por semana; mensajes con indicios de ideación: 0.05%.
• En casos desafiantes, redujo respuestas no deseadas 52% frente a GPT-4o (n=630).
• Evaluación automatizada: GPT-5 91% conforme vs 77% del modelo previo.

Sobre dependencia emocional:

• Reducción estimada de respuestas no conformes: 80%.
• Usuarios con posible apego elevado: 0.15% por semana; mensajes: 0.03%.
• En casos desafiantes, redujo respuestas no deseadas 42% frente a GPT-4o (n=507).
• Evaluación automatizada: GPT-5 97% conforme vs 50% del modelo previo.

También mejoraron la fiabilidad en conversaciones largas: mantienen sobre 95% de confiabilidad en escenarios especialmente difíciles.

Importante: muchas de estas cifras provienen de evaluaciones adversariales y de ejemplos raros por diseño. Eso significa que los resultados muestran progreso en los casos más duros, no necesariamente la experiencia promedio de todos los usuarios.

Cambios prácticos que podrías notar

• Respuestas más empáticas y que sugieren ayuda real: contactar amigos, familia o profesionales.
• Direcciones a líneas de crisis locales cuando aplica.
• Mensajes que evitan afirmar ideas no fundamentadas relacionadas con delirio o manía.
• Recomendaciones para conectar con personas en el mundo real si se detecta dependencia emocional.
• Recordatorios para descansar en sesiones muy largas.

Ejemplo: si llevas una charla extensa con el modelo y empiezas a depender emocionalmente de la interacción, el sistema puede alentarte a hablar con alguien cercano y ofrecer recursos concretos.

Riesgos y limites

Hay que ser claros: esto no es un sustituto del cuidado profesional. Las conversaciones de alto riesgo son raras y su detección es difícil; pequeñas variaciones en la medición afectan mucho los números. OpenAI también reporta que la concordancia entre expertos (inter-rater agreement) está entre 71% y 77%, lo que muestra que incluso los profesionales a veces difieren sobre la mejor respuesta.

Además, las mediciones y taxonomias seguirán cambiando. Lo que hoy se mide de cierta forma podría medirse distinto más adelante, y por eso OpenAI advierte que comparaciones directas entre versiones pueden ser complicadas.

Un paso importante, pero no el final

Esta actualización demuestra que la mejora en seguridad puede ser concreta: trabajar con expertos, evaluar casos difíciles y ajustar modelos da resultados medibles. Pero también recuerda que estamos ante un proceso continuo. La tecnología ayuda, pero la red humana importa: amigos, familia y profesiones de salud mental siguen siendo el pilar.

Si te preocupa una conversación propia o de alguien que conoces, busca ayuda profesional o una línea de crisis en tu país. La IA puede acompañar, pero no sustituye la atención humana.

Fuente original

https://openai.com/index/strengthening-chatgpt-responses-in-sensitive-conversations