Microsoft presenta una capa operativa para que los modelos abiertos de Hugging Face se comporten como servicios empresariales. ¿Te imaginas tomar un modelo publicado en la comunidad y desplegarlo en GPUs gestionadas, con trazabilidad, parches automáticos y la misma API que usas para modelos comerciales? Eso es lo que trae Foundry Managed Compute.
Qué es Foundry Managed Compute
Foundry es una plataforma para construir y operar aplicaciones agenticas. Empieza por una promesa clara: la selección de modelos más amplia en cualquier nube. Modelos de Microsoft, OpenAI, Anthropic, Meta, Mistral, DeepSeek y Hugging Face, todos accesibles desde un solo endpoint y los mismos SDKs en Python, C#, JavaScript y Java.
Managed Compute es la tercera opción de despliegue en Foundry: una plataforma PaaS de GPUs gestionadas pensada para modelos open-source y pesos propios. Tú eliges en términos de modelo: cantidad de parámetros, longitud de contexto, optimización para latencia o throughput. Microsoft se encarga del layout de GPU por debajo - ya sean uno o varios aceleradores - y mantiene el runtime al día sin que tengas que redeployar.
Encontrarás la misma experiencia de desarrollo: un endpoint unificado, los mismos SDKs y la misma autenticación. Todo en una sola factura.
Runtimes y arquitectura: qué corre bajo el capó
Foundry empata modelos con runtimes optimizados y comunidad-built engines que se han afinado para producción. Los principales son:
- vLLM - motor por defecto para LLMs de alto throughput, optimizado para cargas GPU. Gracias a la contribución de Hugging Face, cualquier modelo en Transformers suele correr en vLLM sin integraciones extra.
- SGLang - pensado para salida estructurada y multi-modal, útil cuando necesitas JSON, regex o gramáticas en la generación, y para agentes que llaman herramientas.
- TEI (Text Embeddings Inference) - camino caliente para embeddings y reranking, con kernels compilados por familia de acelerador.
- llama.cpp - ruta CPU o small-GPU con modelos GGUF cuantizados; ideal para despliegues de bajo costo o regiones sin GPU.
- TensorRT-LLM y NIM - optimizaciones NVIDIA para latencia y throughput en familias de modelos específicas.
- hf-serve - el servidor multi-modelo de Hugging Face para arquitecturas fuera de la ruta rápida LLM/embedding, por ejemplo visión y audio.
Cada modelo en la Colección de Hugging Face en Foundry se somete a una canalización de publicación: selección, revisión de licencia, escaneo de seguridad, empaquetado en images firmadas, subida de pesos a almacenamiento Azure seguro y validación de API y rendimiento.
Por qué importa elegir el runtime correcto
El runtime afecta latencia, consumo de memoria y compatibilidad de funciones (por ejemplo, streaming o formatos de salida). Foundry selecciona el engine más adecuado para cada modelo y provee plantillas pretuneadas para que no tengas que afinar timeouts, concurrencia o probes a mano.
Flujo de trabajo: de la comunidad al servicio empresaria
El proceso de despliegue es claro y repetible:
- Exploras la Hugging Face Collection dentro del Foundry Model Catalog.
- Seleccionas un deployment template - optimizado para latencia o throughput, familia de acelerador y contexto.
- Configuras el conteo de instancias para escalar throughput.
- Despliegas desde portal, CLI, SDK o REST.
- Llamas al modelo desde el endpoint unificado usando la API OpenAI compatible.
Un ejemplo de plantilla para qwen3-32b muestra cómo vienen predefinidas las opciones:
| Template | Runtime | Accelerator | Context |
|---|---|---|---|
| qwen3-32b - nvidia-a100 - 40k | vLLM | 1 x A100 80 GB | 40K |
| qwen3-32b - nvidia-h100 - 40k | vLLM | 1 x H100 80 GB | 40K |
| qwen3-32b - nvidia-2xa100 - 128k | vLLM | 2 x A100 80 GB | 128K |
| qwen3-32b - nvidia-2xh100 - 128k | vLLM | 2 x H100 80 GB | 128K |
Cada plantilla trae settings preconfigurados: tuning del runtime, parsers para tool-calls, rutas de scoring, health probes y concurrencia. Al scriptar el deploy referencias la plantilla y Foundry orquesta el resto.
Aquí tienes un ejemplo minimal usando el SDK de Azure para crear un deployment (adaptado para legibilidad):
from azure.identity import DefaultAzureCredential
from azure.mgmt.cognitiveservices import CognitiveServicesManagementClient
client = CognitiveServicesManagementClient(DefaultAzureCredential(), SUBSCRIPTION_ID)
deployment = client.managed_compute_deployments.begin_create_or_update(
resource_group_name=RESOURCE_GROUP,
account_name=ACCOUNT_NAME,
deployment_name='qwen3-32b',
resource={
'sku': {'name': 'GlobalManagedCompute', 'capacity': 1},
'properties': {
'model': 'azureml://registries/azure-huggingface/models/qwen--qwen3-32b/versions/1',
'deploymentTemplate': 'azureml://registries/azure-huggingface/deploymenttemplates/qwen--qwen3-32b--40k-nvidia-h100/labels/latest',
'acceleratorType': 'H100_80GB',
},
},
).result()
Y luego llamas el despliegue por el endpoint unificado usando el cliente compatible OpenAI:
from openai import OpenAI
api_key = client.accounts.list_keys(RESOURCE_GROUP, ACCOUNT_NAME).key1
endpoint = f'https://{ACCOUNT_NAME}.services.ai.azure.com/openai/v1'
openai_client = OpenAI(base_url=endpoint, api_key=api_key)
completion = openai_client.chat.completions.create(
model=deployment.name,
messages=[{'role': 'user', 'content': '¿Cuál es la capital de Francia?'}],
)
print(completion.choices[0].message)
Beneficios prácticos para desarrolladores y empresas
- Operacionalización completa: descubres, validas licencias, parcheas CVE y publicas runtimes firmados sin montar toda la tuberia tú.
- Mezcla de modelos sin fricciones: puedes combinar modelos open y frontier en un mismo agente sin caminos de integración separados.
- Seguridad y gobernanza: pesos en SafeTensors, escaneo para trust_remote_code y opción de Data Zones para residencia y soberanía de datos.
- Opciones de facturación y rendimiento: pay-per-token para comenzar rápido, provisioned throughput para producción predecible y Managed Compute para control de GPU y costos por hora.
- Observabilidad y control: métricas en Azure Monitor, trazabilidad de agentes, evaluaciones continuas y un optimizador de prompts que cierra el ciclo de calidad.
Consideraciones técnicas y limitaciones
- No todos los modelos de Hugging Face estarán en la Colección. Microsoft selecciona y cura modelos basados en señales de comunidad y demandas empresariales.
- Modelos que requieran ejecutar código remoto en carga son remediados o excluidos. Si tu modelo necesita trust_remote_code, hay que revisar el flujo de seguridad.
- Costos y latencia dependen del template elegido. A veces pagar por aceleradores por hora y right-sizear GPUs es más eficiente que per-token, sobre todo en cargas constantes o sensibles a latencia.
- Esto es preview. Cobertura de aceleradores, BYOW y otras mejoras están en el roadmap.
Reflexión final
Si trabajas con modelos open-weight y te has topado con la fricción operacional - licencias, sizing, runtime, parcheo y endpoints empresariales - Foundry Managed Compute aparece como una capa que baja esa barrera. No es solo servir pesos: es integrar la comunidad de Hugging Face con gobernanza, observabilidad y la ergonomía de una plataforma empresarial. ¿Quieres experimentar modelos community-ready pero con controles de empresa? Esta integración es justo ese puente.
Fuente original
https://huggingface.co/blog/microsoft/foundry-managed-compute