Cuando le pides a Claude algo que no tiene una respuesta universalmente correcta, como si deberías aceptar un trabajo nuevo o cómo manejar un conflicto con un amigo, la respuesta refleja valores. ¿Qué valores? ¿Por qué cambian según el modelo o el idioma? Anthropic intentó responder eso midiendo y comprimiendo miles de valores en ejes que resumen patrones clave del comportamiento de Claude.
Resumen técnico
En términos prácticos, el equipo tomó el enorme espacio de valores que Claude expresa en conversaciones reales y lo redujo a unas pocas dimensiones interpretables. Partieron de 3,307 valores detectados en trabajo previo y los agruparon en 339 valores de alto nivel. Con un muestreo de 309,815 conversaciones (aprox 5,000 por par modelo-idioma entre Sonnet 4.6, Opus 4.6 y Opus 4.7 y los 20 idiomas más comunes), usaron a Claude para etiquetar la presencia o ausencia de cada valor por conversación.
Luego aplicaron reducción de dimensionalidad para encontrar ejes en los que ciertos grupos de valores aparecen juntos. El resultado: cuatro ejes que capturan el 15% de la variación observada en valores después de controlar por tarea, tema y valores expresados por el usuario. Sí, 15% no suena gigantesco, pero es consistente y trazable.
Los ejes encontrados son: Deferencia vs. Cautela, Calidez vs. Rigor, Profundidad vs. Brevedad y Franqueza vs. Ejecución. Cada uno es una recta entre dos polos de valores.
Cómo construyeron los ejes de valores
El procedimiento, en pocas líneas y sin perder los puntos clave:
- Clustering manual de
3,307valores para obtener339valores de mayor nivel. - Muestreo privado de ~
309,815conversaciones con tareas subjetivas. - Etiquetado automático por Claude: cada conversación recibió etiquetas de presencia/ausencia para esos 339 valores.
- Control estadístico por tarea, tema y valores del usuario, para aislar la variación atribuible al modelo o al idioma.
- Reducción de dimensionalidad para sacar ejes que expliquen coocurrencias de valores.
Términos como "reducción de dimensionalidad" se refieren a técnicas (por ejemplo PCA, SVD o embeddings + clustering) que comprimen información conservando patrones relevantes. Anthropic publica detalle en el apéndice sobre prompts, herramientas y límites.
Qué encontraron: diferencias entre modelos
Los perfi les de valores varían entre Sonnet 4.6, Opus 4.6 y Opus 4.7, de manera pequeña pero consistente:
- Deferencia vs. Cautela: Sonnet 4.6 se inclina más hacia la deferencia, validando ideas del usuario; Opus 4.7 tiende más a la cautela, advirtiendo riesgos sin que se lo pidan.
- Calidez vs. Rigor: Sonnet 4.6 muestra más calidez, humor y apoyo; Opus 4.7 muestra más rigor, corrige y desafía supuestos.
- Profundidad vs. Brevedad: Opus 4.7 tiende a profundidad explicativa; Opus 4.6 y Sonnet 4.6 tienden a brevedad, con Opus 4.6 siendo muy directo.
- Franqueza vs. Ejecución: Opus 4.7 tiende a franqueza, asumiendo límites y incertidumbre; Opus 4.6 tiende más a ejecución, a cumplir el encargo sin extenderse en dudas.
Esos resultados coinciden con percepciones de usuarios y del propio equipo: Opus 4.7 percibido como más "hedging", Sonnet 4.6 como más calido. Esto sugiere que las diferencias emergen de elecciones de entrenamiento de caracter y afinaciones finas.
Ejemplo corto
Dos personas piden feedback sobre el mismo plan de negocio: una en ruso y otra en hindi. Podrían recibir retroalimentaciones distintas porque Claude en ruso tiende más al rigor y la corrección, y en hindi a cierto tono más alentador.
Qué encontraron: variación por idioma
Los cambios por idioma fueron relevantes y se concentran más en los ejes Calidez vs. Rigor y Franqueza vs. Ejecución. Puntos claves:
- Calidez vs. Rigor: más calidez en hindi y arabés; más rigor en inglés y ruso.
- Deferencia vs. Cautela: más deferencia en arabés; más cautela en inglés.
- Profundidad vs. Brevedad: inglés tiende a profundidad; arabés tiende a brevedad.
- Franqueza vs. Ejecución: holandés mostró más franqueza; indonesio más orientación a ejecución.
¿Por qué pasa esto? Probablemente por diferencias en la cantidad y composición del material de entrenamiento entre idiomas, y por normas conversacionales distintas. Aún no hay respuesta definitiva: la variación puede ser razonable o puede indicar brechas que conviene corregir.
Por qué importa (para ti y para quienes evalúan modelos)
- Experiencia del usuario: la misma tarea puede sentirse distinta según idioma o modelo. Eso afecta percepción de utilidad, confianza y bienestar.
- Evaluación y monitoreo: tener ejes numéricos permite detectar cambios inesperados post despliegue.
- Intervención en entrenamiento: si detectas que un modelo es consistentemente demasiado cauteloso en un idioma, puedes investigar datos o ajustes en character training.
¿Se pueden "gobernar" estos valores? El estudio abre la puerta a verificar si ajustes en prompts de sistema o en character training mueven la aguja como esperamos.
Limitaciones y siguientes pasos técnicos
- Los cuatro ejes explican 15% de la variación total. Hay mucha variación no capturada por esos ejes.
- La metodología usa a Claude para etiquetar valores en conversaciones; eso introduce dependencias en el propio modelo para medirlo, aunque el equipo aplicó controles y verificaciones.
- La influencia exacta de preentrenamiento, fine-tuning y datos por idioma no está resuelta. Hacen falta trazados de datos a etapas de entrenamiento para entender causas.
Investigaciones futuras interesantes desde el punto de vista técnico y de producto:
- Traza de valores a segmentos de datos y etapas de entrenamiento.
- Estudios de impacto en usuarios: correlacionar perfi les de valor con confianza, bienestar y calidad percibida.
- Experimentos de direccionamiento: modificar character training o prompts y medir desplazamientos en los ejes.
Reflexión final
Medir valores no es un ejercicio filosófico abstracto; es una herramienta para entender cómo un sistema conversacional se comunica con personas en contextos reales. Este trabajo de Anthropic muestra que los modelos pueden expresar distintos tonos morales y comunicativos según entrenamiento e idioma. Ahora toca preguntarse: qué variación queremos aceptar, qué variación debemos corregir y cómo involucramos a las comunidades linguísticas en esas decisiones.
Fuente original
https://www.anthropic.com/research/claude-values-models-languages