IBM lanza dos modelos de embeddings multilingües bajo Apache 2.0 que buscan resolver un problema muy real: ¿cómo tener buena cobertura de idiomas sin un modelo gigante? La respuesta de Granite R2 es pragmática: un modelo completo de 311M parámetros con soporte Matryoshka y un compacto de 97M que lidera la categoría sub-100M en recuperación multilingüe. Ambos manejan contexto largo de hasta 32 768 tokens, cubren 200+ idiomas y añaden recuperación de código para 9 lenguajes.
Qué trae Granite Embedding Multilingual R2
-
Modelos publicados:
granite-embedding-311m-multilingual-r2: 311M parámetros, embeddings 768-d, Matryoshka (truncable a 512/384/256/128).granite-embedding-97m-multilingual-r2: 97M parámetros, embeddings 384-d, optimizado para throughput y edge.
-
Cobertura: 200+ idiomas; 52 idiomas con entrenamiento explícito para recuperación. Soporte de código: Python, Go, Java, JavaScript, PHP, Ruby, SQL, C, C++.
-
Contexto: hasta 32 768 tokens (ventana 32K). Eso cambia tareas prácticas como indexar contratos, manuales técnicos o expedientes clínicos largos sin recortar el texto.
-
Licencia y despliegue: Apache 2.0; ONNX y OpenVINO para CPU; integración directa con sentence-transformers, LangChain, LlamaIndex, Haystack, Milvus; también soporte para vLLM y conversión a GGUF para ollama/llama.cpp.
Por qué importa para producción
¿Tienes usuarios en varios países y no quieres perderlos por un default en inglés? Un swap de una línea en muchos frameworks da soporte a 200+ idiomas sin cambio de API ni dependencias nuevas.
- Rendimiento vs tamaño: el modelo compacto (97M) consigue 60.3 en MTEB Multilingual Retrieval, el mejor resultado conocido en open-source por debajo de 100M parámetros.
- Costos operativos: la versión compacta pesa 195 MB en safetensors y 98 MB quantizada en ONNX; ideal para despliegues con presupuesto de CPU o edge.
- Latencia y throughput: 97M encodea >2500 docs/s en una H100 (512-token chunk); 311M ~1800 docs/s y ofrece mejor calidad media y ventaja en documentos largos.
Arquitectura y qué cambió desde R1
-
Encoder: ahora usan ModernBERT, una reinterpretación de BERT que integra mejoras recientes:
- Atención alternada para reducir cómputo en secuencias largas.
- Rotary position embeddings para soportar la ventana 32K sin interpolaciones posicionales frágiles.
- Compatibilidad con Flash Attention 2.0 para acelerar la codificación en GPUs modernas.
-
Tokenizadores: el 311M usa Gemma 3 (262K tokens). El 97M parte de GPT-OSS y se poda a 180K tokens para reducir la tabla de embeddings sin perder cobertura. Esto importa: un tokenizer ineficiente puede consumir la ventana 32K en pocos párrafos de idiomas con tokens largos.
Cómo se entrenaron (resumen técnico)
-
311M pipeline clave:
- Knowledge distillation desde múltiples teachers (Granite instruct y Mistral instruct) para transferir conocimiento de recuperación.
- Fine-tuning contrastivo con pares de recuperación y negativos duros en 52 idiomas y código.
- Model merging de checkpoints para combinar objetivos distintos sin reentrenar todo.
- Matryoshka Representation Learning para embeddings truncables con degradación mínima.
-
97M pipeline clave:
- Selección y poda de vocabulario a 180K tokens.
- Knowledge distillation desde teachers grandes (incluyendo Granite 4.1 8B y Mistral) y entrenamiento contrastivo.
-
Datos: mezcla de datos IBM curados, fuentes públicas y sintéticas; procesos de gobernanza para reducir riesgos legales y de privacidad. No se usó MS-MARCO ni datasets con restricciones de uso comercial.
Benchmarks y números que importan
-
MTEB Multilingual Retrieval (18 idiomas):
- 97M: 60.3 (mejor apertura conocida bajo 100M).
- 311M: 65.2 (puesto 2 entre modelos abiertos < 500M parámetros).
-
Ganancias R1 -> R2 destacadas:
- LongEmbed (documentos largos): +31.3 puntos para 97M; +34.0 para 311M. Esto es el beneficio directo de ver más contexto.
- Code retrieval: +19.7 (97M) y +15.3 (311M) sobre R1.
-
Matriz de tradeoffs:
- 97M es ideal para throughput, edge y ahorro de almacenamiento.
- 311M es la opción si necesitas la mejor calidad multilingüe y cross-lingual transfer.
Matryoshka Embeddings: flexibilidad práctica
La versión 311M permite truncar embeddings sin reentrenar. Ejemplo práctico:
- 768 -> 256 dims: 3x menor almacenamiento y tiempo de cálculo; pérdida en MTEB Multilingual Retrieval: solo -0.5 puntos.
- Incluso con 128 dims retienes >97% del rendimiento en algunas tareas.
Esto te permite adaptar la huella de almacenamiento y la latencia de búsqueda sin rehacer índices, muy útil para proyectos con límites de memoria o presupuesto en vector DBs.
Ejemplo rápido con sentence-transformers:
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('ibm-granite/granite-embedding-311m-multilingual-r2')
full = model.encode(['texto de ejemplo'])
small = model.encode(['texto de ejemplo'], truncate_dim=384)
print(full.shape) # (1, 768)
print(small.shape) # (1, 384)
Integración con frameworks y despliegue
- Drop-in: funciona con sentence-transformers; muchas librerías aceptan el modelo con un cambio de nombre.
- LangChain, LlamaIndex, Haystack y Milvus: ejemplos oficiales listos; no hay que cambiar la lógica de
.encode()ni añadir prefijos instructivos. - Opciones CPU: ONNX y OpenVINO ya incluidas. También se pueden servir como endpoints de embeddings con vLLM o convertir a GGUF para ollama/llama.cpp.
¿Cuál deberías elegir?
- Si necesitas la máxima recuperación multilingüe y transferencia cross-lingual:
granite-embedding-311m-multilingual-r2. - Si buscas throughput máximo, edge o despliegue económico:
granite-embedding-97m-multilingual-r2. - Si tus datos son predominantemente en inglés: considera las variantes English R2 de Granite (149M o 47M) para mejor calidad por menor huella.
Consejos prácticos antes de migrar
- Si tu default actual es inglés, cambia la línea del modelo y monitorea métricas de relevancia y latencia; en la mayoría de casos verás mejora en usuarios internacionales sin tocar código.
- Prueba Matryoshka cuando quieras reducir index storage; valida con tu benchmark interno porque la degradación es pequeña pero depende del dominio.
- Para workloads de legal o investigación con documentos largos, prioriza la ventana 32K; evita recortes que distorsionen resultados.
Granite R2 no es magia; es ingeniería aplicada a un problema claro: ofrecer embeddings multilingües de alta calidad con opciones reales para producción. Si trabajas en equipos internacionales, equipos de datos o mantienes un framework de RAG, vale la pena probar estas dos alternativas y medir el impacto en tu dataset real.
Fuente original
https://huggingface.co/blog/ibm-granite/granite-embedding-multilingual-r2