Un modelo de lenguaje comprimido a la mitad y reducido a solo 4 bits logró superar a su propia versión en bfloat16 en 7 de 9 benchmarks. El resultado proviene de Quantization-Aware Healing, una técnica de recuperación desarrollada por Multiverse Computing para reducir el costo de ejecutar modelos grandes sin aceptar automáticamente una pérdida de calidad.
¿Puede un modelo más pequeño y con menos precisión ser mejor que el modelo del que proviene? La respuesta habitual sería que no. Sin embargo, los resultados presentados por el equipo muestran que la compresión no tiene por qué ser únicamente un sacrificio: también puede convertirse en una nueva etapa de aprendizaje.
Qué problema intenta resolver QAH
Los modelos grandes suelen pasar por varias etapas antes de llegar a producción:
- Se reduce su arquitectura, por ejemplo, eliminando capas, cabezas de atención o neuronas.
- Sus pesos se cuantizan, es decir, se representan con menos bits para ahorrar memoria y cómputo.
- Se intenta recuperar parte de las capacidades perdidas mediante entrenamiento adicional.
La cuantización tradicional puede convertir un modelo de 16 bits en uno de 8 o 4 bits, pero ese ahorro suele venir acompañado de cierta degradación. Cuando además se ha reducido la arquitectura, el problema es más complejo: ya no se trata solo de representar los mismos pesos con menos precisión, sino de transferir capacidades a una red con menos parámetros.
La técnica más común para reparar este daño es quantization-aware training o QAT. Este método simula la cuantización durante el entrenamiento y ajusta los pesos usando una pérdida basada en tareas. En términos sencillos, el modelo intenta volver a aprender cómo responder correctamente mientras opera con la representación comprimida.
El inconveniente es el costo. QAT puede exigir repetir etapas caras de ajuste, como entrenamiento supervisado, optimización para instrucciones o adaptación para agentes. Además, el modelo puede volverse inestable si continúa entrenándose después de alcanzar su mejor rendimiento.
La diferencia: enseñar desde el modelo original
Otra opción es la destilación consciente de la cuantización, conocida como quantization-aware distillation o QAD. En lugar de aprender solo a partir de respuestas correctas, el modelo comprimido intenta imitar la distribución de probabilidades producida por un modelo completo y congelado.
Esto funciona bien cuando el único cambio es la cuantización. Pero si primero se eliminan parámetros, el modelo completo de referencia ya no tiene exactamente la misma arquitectura que el estudiante. En ese escenario, utilizar como profesor al modelo reducido en bfloat16 significa enseñar desde una versión que ya perdió parte de la información original.
QAH cambia ese punto de partida. La técnica destila directamente desde el modelo original, antes de la compresión estructural, hacia el modelo pequeño y cuantizado. El profesor puede tener 120.000 millones de parámetros y operar en alta precisión, mientras el estudiante tiene 60.000 millones y utiliza el formato MXFP4 de 4 bits.
El profesor y el estudiante no necesitan compartir arquitectura para transferir conocimiento. Basta con comparar las distribuciones de salida que producen ante los mismos datos.
Para hacerlo, QAH utiliza una pérdida basada en la divergencia KL aplicada sobre los logits, los valores que el modelo genera antes de convertirlos en probabilidades. El estudiante no recibe únicamente una etiqueta dura, como "la respuesta correcta es B", sino una distribución más rica que indica cuánto consideraba cada alternativa el modelo original.
Por qué esta estrategia puede ser más estable
La destilación hacia un profesor fijo tiene un límite natural: cuando el estudiante se acerca a la distribución del profesor, la presión para seguir cambiando disminuye. En cambio, una pérdida basada en etiquetas puede continuar empujando los pesos durante demasiado tiempo y terminar dañando capacidades que el modelo ya había aprendido.
Esta diferencia es importante en producción. Un modelo entrenado con QAT puede necesitar una supervisión muy cuidadosa para detenerse en el momento exacto. Según los experimentos de Multiverse Computing, QAH alcanza su mejor resultado antes y conserva su rendimiento durante más tiempo.
Un modelo de 4 bits supera a su versión BF16
El equipo aplicó QAH a un modelo GPT-OSS de 120.000 millones de parámetros. Después de comprimirlo a 60.000 millones, lo recuperó en bfloat16 y finalmente lo cuantizó a MXFP4 mediante QAH.
La comparación principal se realizó entre el modelo QAH de 60.000 millones de parámetros y su equivalente de 60.000 millones en bfloat16, considerado la mejor versión de precisión completa disponible para esa arquitectura reducida.
| Benchmark | 120B MXFP4 | 60B BF16 recuperado | 60B MXFP4 con QAH | QAH frente a BF16 |
|---|---|---|---|---|
| AA-LCR, razonamiento con contexto largo | 50.0 | 35.3 | 42.7 | +7.4 |
| AIME 2025, matemáticas | 80.0 | 70.7 | 76.3 | +5.6 |
| Aider, programación con agentes | 45.3 | 38.2 | 40.9 | +2.7 |
| τ²-bench, uso de herramientas | 68.4 | 59.4 | 61.7 | +2.3 |
| GPQA Diamond, ciencia | 69.0 | 65.7 | 67.4 | +1.7 |
| IFBench, seguimiento de instrucciones | 63.3 | 58.4 | 59.9 | +1.5 |
| LiveCodeBench, programación | 66.0 | 65.5 | 66.5 | +1.0 |
| MMLU-Pro, conocimiento | 78.0 | 74.0 | 73.8 | -0.2 |
| SciCode, programación científica | 37.5 | 35.6 | 34.2 | -1.4 |
El modelo de 4 bits supera a su versión en bfloat16 en 7 de las 9 pruebas. Sus mayores avances aparecen precisamente en áreas que suelen sufrir más con la compresión: razonamiento con contextos largos y matemáticas.
En AA-LCR, el modelo QAH mejora 7,4 puntos. En AIME 2025, avanza 5,6 puntos. Solo queda por debajo en MMLU-Pro y SciCode, con diferencias inferiores a 1,5 puntos.
La comparación con el profesor original de 120.000 millones también resulta llamativa. El modelo QAH alcanza 66,5 frente a 66,0 del profesor en LiveCodeBench. En GPQA Diamond queda relativamente cerca, con 67,4 frente a 69,0, aunque conserva una brecha mayor en razonamiento con contexto extremo.
QAH alcanza su mejor rendimiento más rápido que QAT
Para separar el efecto de la función de pérdida del resto del proceso, el equipo comparó QAH y QAT en un modelo GPT-OSS de 9.000 millones de parámetros cuantizado a MXFP4.
Ambos métodos alcanzaron picos similares en una combinación de MMLU-Pro, LiveCodeBench y GPQA Diamond: 54,9 puntos para QAH y 54,6 para QAT. La diferencia apareció en la velocidad y en la estabilidad posterior.
- QAH llegó a su máximo en aproximadamente 100 pasos.
- QAT necesitó cerca de 700 pasos para alcanzar su mejor resultado.
- QAH se mantuvo cerca de su máximo durante el resto del entrenamiento.
- QAT perdió casi 19 puntos al llegar al paso 1.200.
Esto no significa que QAH sea automáticamente superior en cualquier modelo o conjunto de datos. Sí indica que la elección de la función de pérdida puede cambiar de forma importante la facilidad de entrenamiento y el riesgo de desplegar un checkpoint que ya empezó a degradarse.
Menos memoria y menor costo de inferencia
El beneficio no se limita a los benchmarks. Al operar en 4 bits, el modelo QAH utiliza aproximadamente cuatro veces menos memoria para sus pesos que la versión equivalente en bfloat16.
Además, al tener la mitad de parámetros que el profesor de 120.000 millones, requiere aproximadamente la mitad del cómputo por token. En familias de modelos que normalmente se distribuyen en bfloat16, combinar la reducción de parámetros con la cuantización podría acercarse a una reducción de ocho veces en el cómputo por token.
La consecuencia práctica es clara: modelos que antes necesitaban hardware costoso podrían ejecutarse en infraestructuras más pequeñas. Esto puede reducir el precio de servir asistentes, herramientas de programación y sistemas con uso de contexto largo.
El reto del contexto de 32.000 tokens
QAH también debe funcionar con documentos extensos. Para evitar que el entrenamiento consuma demasiada memoria, el equipo reutilizó una pérdida de divergencia KL por bloques desarrollada en un trabajo anterior sobre destilación eficiente.
En lugar de construir de una sola vez una matriz enorme con todas las posiciones de la secuencia y todo el vocabulario, el cálculo procesa fragmentos sucesivos. Así, el entrenamiento puede manejar secuencias de hasta 32.000 tokens dentro de un presupuesto fijo de memoria de GPU.
Este detalle de implementación puede parecer menor, pero resulta esencial para aplicaciones reales. Un modelo que solo funciona bien con textos cortos tiene una utilidad limitada para análisis de documentos, programación y agentes que deben conservar información durante muchas interacciones.
Qué significa para el futuro de los modelos comprimidos
Los resultados de QAH sugieren que la cuantización no tiene que ser únicamente una etapa posterior que introduce pérdidas. Si se realiza una nueva destilación desde el modelo original, el proceso puede servir para transferir información que la primera recuperación no logró conservar.
Aun así, conviene interpretar los datos con cuidado. Los resultados corresponden a modelos, métodos y benchmarks específicos, y todavía será necesario comprobar cómo se comporta QAH con otras arquitecturas, dominios, tamaños y conjuntos de datos. También será importante medir el costo completo de precomputar los logits del profesor y de ejecutar el proceso de recuperación a gran escala.
La idea central sí resulta poderosa: un modelo más pequeño no tiene por qué ser una copia empobrecida del modelo grande. Con una estrategia adecuada de destilación, puede recuperar capacidades, reducir costos y, en algunos casos, superar a la versión de precisión completa de su propia arquitectura.
Fuente original
https://huggingface.co/blog/MultiverseComputingCAI/quantization-aware-healing