Anthropic quiere responder una pregunta cada vez más urgente: ¿cómo afecta realmente la inteligencia artificial al bienestar de las personas? La compañía anunció un programa de subvenciones de 5 millones de dólares para financiar investigaciones independientes sobre este tema.
El proyecto ofrecerá financiamiento directo, acceso a los modelos de Anthropic y apoyo técnico. Los equipos seleccionados trabajarán con independencia y deberán publicar sus evaluaciones como proyectos de código abierto, para que cualquier desarrollador pueda utilizarlos.
Por qué medir el bienestar es tan complejo
La IA ya forma parte del trabajo, el aprendizaje y la resolución de problemas. También se ha convertido en una compañía conversacional para muchas personas y, en momentos difíciles, puede ser utilizada como fuente de apoyo emocional.
Pero evaluar si una respuesta ayuda o perjudica no es tan sencillo como comprobar si un dato es correcto. El contexto puede cambiar por completo el significado de una conversación.
Por ejemplo, una persona que atraviesa una crisis quizá no mencione pensamientos de autolesión en sus primeros mensajes. Esa señal puede aparecer después de una conversación extensa, cuando el riesgo ya es más evidente. Una evaluación útil debe ser capaz de detectar esa evolución.
Lo mismo ocurre con temas como la alimentación y el ejercicio. Un consejo sobre dietas equilibradas podría parecer razonable para alguien que quiere perder peso. Sin embargo, podría ser inapropiado o dañino si la persona tiene antecedentes de un trastorno alimentario.
En las conversaciones sobre bienestar, una respuesta no puede evaluarse de forma aislada. El historial, la intención del usuario y la evolución del diálogo también importan.
Qué tipo de investigaciones busca Anthropic
El programa está dirigido a especialistas de distintas áreas, incluidos profesionales clínicos, psicólogos, metodólogos y expertos en evaluación de sistemas de IA.
Anthropic publicó una guía con los criterios que, desde su perspectiva, pueden hacer que una evaluación de bienestar sea rigurosa y útil para la industria. Entre ellos están:
- Explicar con claridad qué se está midiendo, qué se considera un resultado correcto o incorrecto y por qué ese resultado es importante.
- Incluir expertos clínicos y especialistas en el tema durante el diseño y la validación del estudio.
- Evaluar tanto las precauciones como los posibles daños, incluyendo el exceso de cumplimiento y el exceso de rechazo.
- Representar los usos reales de la IA mediante conversaciones de varios turnos, en las que el contexto y el nivel de riesgo cambien.
- Comprobar que los sistemas utilizados para calificar las respuestas coincidan de forma confiable con la evaluación de expertos humanos.
El reto de evitar dos errores opuestos
Un modelo puede equivocarse por responder demasiado. Por ejemplo, podría entregar recomendaciones específicas cuando debería actuar con mayor cautela y orientar al usuario hacia ayuda profesional.
Pero también puede fallar por negarse demasiado. Una respuesta que rechaza cualquier conversación relacionada con salud mental, alimentación o emociones no necesariamente protege al usuario. En algunos casos, puede dejarlo sin una orientación básica o hacer que abandone la conversación.
Por eso, el objetivo no es construir una IA que diga siempre que no. La meta es desarrollar sistemas capaces de interpretar mejor el contexto y responder de manera proporcional al riesgo.
Evaluaciones abiertas para una industria con mejores estándares
Anthropic afirma que trabaja en salvaguardas para identificar conversaciones delicadas y responder de forma más adecuada en Claude. También publica investigaciones sobre los tipos de conversaciones que las personas mantienen con el modelo.
Sin embargo, la empresa reconoce que se trata de un campo lleno de matices y con consecuencias importantes. Los estándares deberán evolucionar junto con los modelos y con las nuevas formas en que la gente los utiliza.
Financiar evaluaciones independientes puede ayudar a reducir un problema común en la tecnología: que cada compañía mida sus propios sistemas con criterios diferentes y difíciles de comparar. Si los resultados se publican como herramientas abiertas, investigadores y desarrolladores podrán aprovecharlos para construir pruebas más consistentes.
Las solicitudes para el programa deben enviarse antes del 21 de septiembre. Las personas y equipos seleccionados para presentar propuestas completas recibirán una notificación el 5 de octubre.
La iniciativa no resuelve por sí sola el desafío de medir el bienestar, pero sí reconoce algo esencial: una IA segura no se define únicamente por la precisión de sus respuestas. También debe considerarse cómo esas respuestas afectan a personas reales, especialmente cuando atraviesan situaciones vulnerables.