Anthropic amplía su conversación sobre la inteligencia artificial avanzada y busca respuestas fuera de los laboratorios. La empresa comenzó a dialogar con líderes religiosos, filósofos, especialistas en ética y representantes de distintas culturas para explorar una pregunta cada vez más importante: ¿cómo debería comportarse una IA que interactúa con millones de personas?
La seguridad de la IA no depende solo de la tecnología
Anthropic reconoce que construir sistemas seguros requiere investigación técnica en áreas como interpretación de modelos, evaluaciones y mecanismos de protección. Sin embargo, también sostiene que la inteligencia artificial no se desarrolla ni se utiliza en un vacío social.
Las decisiones sobre lo que una IA debe hacer, evitar o priorizar tienen una dimensión humana. Por eso, la compañía quiere escuchar a personas y comunidades que llevan siglos reflexionando sobre la virtud, la responsabilidad, la justicia y la manera de vivir bien.
La pregunta ya no es únicamente cómo hacer que una IA sea más capaz, sino qué valores debería demostrar cuando enfrenta situaciones complejas.
Estas conversaciones podrían influir en la llamada constitución de Claude, el documento que describe los valores y comportamientos que Anthropic busca que su asistente adopte. También podrían orientar los comportamientos que la empresa evalúa durante el entrenamiento del modelo.
Claude y la formación del carácter
Anthropic describe este proyecto como una investigación sobre la formación moral de los sistemas de IA. La idea puede sonar abstracta, pero tiene una explicación sencilla.
Los modelos de lenguaje aprenden a partir de enormes cantidades de textos escritos por personas. Con ellos absorben formas de expresarse, razonar y responder. Después, los desarrolladores ajustan el sistema para reforzar ciertos patrones y reducir otros.
En ese proceso aparece una pregunta inevitable: si una IA parece tomar decisiones, ¿qué clase de carácter queremos que muestre? ¿Debe ser siempre complaciente? ¿Cómo puede mantenerse firme ante una instrucción problemática sin caer en la obediencia ciega o en la adulación del usuario?
Anthropic afirma que no busca imponer a Claude una única visión religiosa, filosófica o política. Su objetivo es comparar distintas tradiciones, tanto religiosas como seculares, y aprender de sus reflexiones acumuladas sobre la formación del carácter.
Esto resulta especialmente relevante porque una IA utilizada en educación, atención al cliente, programación o asesoría puede influir en decisiones reales. Su forma de responder no solo afecta la experiencia del usuario, también puede reforzar ideas sobre lo correcto, lo conveniente o lo aceptable.
Un experimento con pausas para reflexionar
Uno de los primeros experimentos surgió durante conversaciones con especialistas en neurociencia y formación del carácter. El grupo analizó el papel de otras personas como una especie de conciencia externa, alguien a quien acudir cuando existe presión para actuar contra los propios valores.
Anthropic probó una idea parecida con Claude. Le dio acceso a una herramienta que podía utilizar durante una tarea para recibir un breve recordatorio de sus compromisos éticos.
Según la empresa, Claude recurrió a esa herramienta en momentos importantes, especialmente antes de realizar acciones con consecuencias relevantes. En algunos casos, el modelo identificó que podía existir un conflicto entre sus objetivos y la decisión que estaba a punto de tomar.
Los experimentos mostraron una reducción notable de comportamientos considerados desalineados en varias evaluaciones internas. Aun así, Anthropic todavía intenta determinar qué produjo el resultado: el contenido del recordatorio, la pausa en el proceso de decisión o una combinación de ambos factores.
La diferencia es importante. Si el beneficio proviene principalmente de detenerse a reflexionar, otras arquitecturas de seguridad podrían aplicar una estrategia similar. Si depende del mensaje específico, entonces será necesario estudiar con cuidado cómo redactar y actualizar esos compromisos.
Más voces para discutir el futuro de la IA
Anthropic planea ampliar estos diálogos durante los próximos meses. Entre los grupos que espera consultar están especialistas en derecho, psicología, escritura y representantes de instituciones cívicas.
La conversación también se moverá hacia temas más amplios: cómo la IA está transformando el trabajo, qué impacto tendrá sobre las instituciones y cómo podría cambiar la distribución del poder.
La iniciativa no resuelve por sí sola los desafíos de la inteligencia artificial avanzada. Una buena conversación no sustituye las pruebas de seguridad, la supervisión independiente ni las reglas claras. Pero sí puede ayudar a evitar que las decisiones sobre el futuro de estas herramientas queden únicamente en manos de ingenieros y empresas tecnológicas.
Claude no tendrá que elegir una religión ni adoptar una filosofía única. El reto consiste en construir sistemas capaces de reconocer la diversidad humana, actuar con criterios consistentes y mantenerse responsables cuando las instrucciones sean ambiguas o entren en conflicto.