Transformers gana velocidad: MXFP4, kernels y paralelismo

OpenAI liberó la familia GPT‑OSS y Hugging Face actualizó transformers para aprovechar varias optimizaciones que hacen que cargar y ejecutar modelos grandes sea mucho más rápido y barato de operar. La entrada del blog fue publicada el 11 de septiembre de 2025 y resume cambios prácticos que cualquiera puede probar hoy. (huggingface.co)

Qué trae la actualización

No es solo un parche. Es una colección de mejoras cuidadosamente pensadas para reducir memoria, acelerar inferencia y facilitar el reparto de trabajo entre GPUs. ¿Te suena a algo reservado a centros de datos? Piensa otra vez: muchas de estas mejoras funcionan en GPUs de consumidor y en entornos como Colab.

• Kernels descargables desde el Hub: ahora transformers puede traer binarios precompilados (kernels) que ejecutan operaciones críticas cerca del metal, evitando compilar localmente y reduciendo dependencias. Esto se hace optando por use_kernels=True o con kernels automáticos cuando corresponde. (huggingface.co)

• Soporte nativo para MXFP4: una cuantización en 4 bits pensada para mantener rango dinámico mediante bloques y escalas, lo que permite ejecutar modelos como GPT‑OSS 20B en alrededor de 16 GB de VRAM y modelos mucho mayores con fracciones de la memoria previa. Esto hace posible correr modelos grandes en una sola GPU donde antes no cabían. (huggingface.co)

• Paralelismos mejor integrados (Tensor y Expert Parallelism): transformers incorpora planes de tp_plan="auto" y soporte para MoE (Mixture of Experts) que facilitan shardear tanto tensores como expertos entre procesos y GPUs, mejorando throughput en cargas grandes. ¿No tienes clúster? También hay rutas para ejecutar en procesos locales con torchrun. (huggingface.co)

• Caché dinámica y ventana deslizante: para modelos que usan sliding window attention, el KV cache ahora deja de crecer indefinidamente y se ajusta al tamaño real de la ventana, reduciendo uso de memoria y latencia en prompts largos. Esto es especialmente útil cuando mezclas capas globales y locales. (huggingface.co)

• Batching continuo y carga más rápida: hay soporte para generate_batch (continuous batching) que reutiliza slots vacíos en lotes y mejora la eficiencia cuando las peticiones tienen longitudes distintas; además, transformers ahora prealoca bloques de memoria GPU antes de copiar pesos, lo que acelera la carga de modelos grandes. (huggingface.co)

¿Qué significa esto para ti?

Si eres desarrollador o investigador: menos tiempo esperando a que el modelo se cargue y más tiempo probando ideas. Con MXFP4 y los kernels del Hub puedes experimentar en una sola GPU con modelos que antes exigían clústeres. ¿Quieres ajustar o guardar un modelo en formato cuantizado? El flujo de trabajo ya está integrado.

Si eres ingeniero de producto o emprendedor: menor costo operativo y despliegues más ágiles. Menos memoria significa instancias más baratas o la posibilidad de ofrecer modelos más grandes a usuarios finales sin multiplicar el gasto en infra.

Si estás empezando: no necesitas compilar drivers raros ni pelear con toolchains. Muchas optimizaciones vienen por defecto o con opciones sencillas como device_map="auto", use_kernels=True o tp_plan="auto". Aquí tienes un ejemplo mínimo para probar gpt-oss-20b:

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "openai/gpt-oss-20b" tokenizer = AutoTokenizer.from_pretrained(model_id) model = AutoModelForCausalLM.from_pretrained( model_id, dtype="auto", device_map="auto", use_kernels=True, )

Prueba a medir tiempos y VRAM con y sin estas opciones; la diferencia suele ser clara.

Riesgos y limitaciones prácticas

Nada mágico: MXFP4 exige triton>=3.4, kernels y accelerate, y GPUs con compute capability >= 7.5 para obtener lo mejor. Si tu entorno no cumple, transformers cae en bfloat16 por defecto, que usa más memoria. Además, algunas kernels son específicas de arquitecturas (por ejemplo, Flash Attention 3 con soporte para attention sinks en hardware Hopper). Conviene siempre benchmarkear en tu setup. (huggingface.co)

Cómo empezar hoy (rápido)

1. Actualiza transformers, torch y accelerate.
2. Prueba a cargar un modelo con device_map="auto" y use_kernels=True para ver logs que confirmen qué kernels se usan.
3. Si tu GPU cumple requisitos, activa MXFP4 y compara consumo de VRAM ejecutando hf cache scan para verificar qué kernels se descargaron.

¿Te suena a mucho por hacer? Empieza con un ejemplo pequeño (p. ej. GPT‑OSS 20B en Colab) y sube la escala cuando veas cómo cambia el costo y la latencia.

Reflexión final

No es solo optimización para curiosos: estos cambios bajan la barrera para que modelos grandes sean útiles en entornos reales, desde prototipos en notebooks hasta servicios productivos. ¿La moraleja? La comunidad está moviendo la infraestructura hacia soluciones más prácticas y reutilizables: descargas de kernels, formatos comunes de cuantización y planes de paralelismo que antes requerían ingeniería pesada. Si te interesa experimentar, ahora tienes herramientas más directas para hacerlo y comparar resultados en tu entorno.