Inkling llega como un golpe de realidad: un LLM multimodal abierto pensado para entender imágenes, audio y texto al mismo tiempo, con una ventana de contexto de 1M tokens y diseño orientado a razonamiento. ¿Suena a ciencia ficción? Es ingeniería práctica para aplicaciones donde necesitas combinar voz, visión y texto sin partir todo en piezas separadas.
Qué es Inkling y por qué importa
Inkling es un modelo decoder-only multimodal publicado por Thinking Machines y disponible en Hugging Face. Técnicamente se presenta como un modelo de Mixture-of-Experts con aproximadamente 975 mil millones de parámetros en total, pero solo 41 mil millones activos por paso gracias a la sparsidad de MoE. En la literatura del lanzamiento lo describen como el primer modelo abierto de magnitud cercana a 1T parámetros con soporte nativo para imagen, audio y texto y entrenado sobre 45 billones de tokens multimodales.
¿Por qué esto importa para ti? Porque abre la puerta a aplicaciones que razonen sobre un documento, su audio asociado y fotos o videos sin pipeline complejo. Piensa en un asistente que resume reuniones grabadas, anota las diapositivas y responde sobre cifras mostradas en pantalla. Eso ya es posible con herramientas modernas y modelos de esta familia.
Arquitectura clave (destripada pero usable)
Voy a ir al grano: Inkling mezcla varias ideas que ya conoces pero las junta de forma práctica.
Decoder-only y razonamiento autoregresivo
Es un modelo causal autoregresivo, eso significa que genera texto token a token en modo clásico de LLM. Ideal para agentes, chatbots y generación condicionada en tareas secuenciales.
Multimodal simple y eficiente
En vez de tener encoders separados pesados, Inkling usa torres relativamente compactas para visión y audio que producen embeddings unificados. La imagen se transforma con un patchifier jerárquico por MLPs y el audio pasa por una discretización en mel spectrogram bins. Ambas entradas se suman a la representación textual y entran al decoder.
Mixture-of-Experts (MoE) con shared experts
- 256 expertos totales.
- Selección top-k: se enrutran 6 expertos por token y además 2 expertos compartidos siempre activos.
- Resultado: 975B params totales, 41B activos por inferencia. Es una forma práctica de escalar sin multiplicar la latencia de lectura de pesos.
Atención relativa y atención híbrida
Inkling usa atención relativa en lugar de RoPE. Cada capa produce una cuarta proyección R que incorpora la distancia entre key y query, y altera los logits de atención.
También alterna capas de atención global y de ventana deslizante con un patrón de 5:1 (cinco capas sliding window por cada capa con atención global). La capa final es global para enriquecer la representación.
Short convolution (SConv)
Hay una convolución 1D corta que lee la ventana local de W tokens. La idea es descargar la representación local de la atención y las capas MoE, liberándolas para capturar dependencias más largas.
MTP - capas de token predictivo para inferencia especulativa
MTP añade capas que predicen varios tokens a la vez y actúan como drafters durante la inferencia especulativa. Con use_mtp=True te llevas aceleración en generación manteniendo la misma salida exacta, con un pequeño coste de VRAM por el drafter.
Tamaños, formatos y despliegue práctico
- Checkpoint BF16: requiere ~2 TB de VRAM.
- Checkpoint NVFP4: requiere ~600 GB de VRAM y es el objetivo para GPUs Blackwell.
- Versiones quantizadas en
ggufy 1-bit (por Unsloth) permiten reducciones enormes de VRAM, hasta 95 por ciento menos, con retención razonable de precisión.
Soporte de lanzamiento "day-0": transformers, SGLang, vLLM, llama.cpp. Eso significa que puedes:
- Probar en la nube vía Inference Providers o router Hugging Face.
- Ejecutar quantizados localmente con
llama.cppy GGUF si tienes hardware limitado. - Servir en producción con
vLLMoSGLangen clusters multinodo.
Ejemplo mínimo con transformers pipeline any-to-any:
from transformers import pipeline
pipe = pipeline("any-to-any", model="thinkingmachines/Inkling")
output = pipe(messages, max_new_tokens=2000, reasoning_effort="medium")
print(output[0]["generated_text"])
Y si quieres controlar más: AutoModelForMultimodalLM + AutoProcessor y el argumento reasoning_effort para ajustar coste y profundidad del pensamiento.
Uso en cluster y producción
- Para despliegues rápidos en una sola máquina con 8 GPUs recomiendan
SGLangcon--tp-size 8. - Para serving robusto usar
vllm servecon--tensor-parallel-sizey posiblemente SLURM para multi-nodo. - Para experimentos locales o Demos:
llama.cppcon GGUF 1-bit y la app incluida te deja probar agentes y herramientas con costos muy bajos.
Consejo práctico: si trabajas con long context, controla --max-model-len o deja memoria para KV cache usando --mem-fraction-static en SGLang.
Evaluación y ejemplos de razonamiento
Thinking Machines dejó una suite llamada "vibe eval" para evaluar razonamiento multimodal. Resumen rápido:
- Razonamiento en imágenes: buena capacidad para OCR y chain-of-thought tipo OCR -> caracterizar -> evaluar -> responder. En preguntas abiertas consumió más tokens que en preguntas de opción múltiple.
- Audio: primero transcribe, luego razona. En pruebas de GlobeAudio e BigBenchAudio mostró solidez para comprender y responder en varios idiomas.
- Benchmarks académicos: resultados competitivos en tests de alto nivel matemático y razonamiento (AIME, HMMT, IMOAnswerBench) y métricas fuertes en algunos benchmarks de agente y programación.
¿Qué significa en el día a día? Si estás construyendo un producto que necesita extraer tablas de una imagen, cotejar lo que se dijo en una grabación y generar resúmenes con referencias timestamp, Inkling es un candidato serio para acelerar ese desarrollo.
Postentrenamiento y agentes
Thinking Machines publica herramientas para post-training como tinker y ejemplos con OpenEnv para entornos RL agentic. También proponen usar Inkling como teacher para distillation, útil si quieres transferir su comprensión documental a un modelo más pequeño y desplegable en el edge.
Además, hay integraciones listas con Pi agent para que uses endpoints de Inference Providers como backend y pruebes flujos agenticos con herramientas reales.
Riesgos, límites y recomendaciones
- Tamaño y coste: los checkpoints completos son enormes. Para la mayoría de equipos, la estrategia realista es usar inferencia hospedada, NVFP4 en GPUs modernas o quantizados en
llama.cpp. - Video: el modelo acepta dimensión temporal, pero no hay evaluación exhaustiva out-of-the-box para video. Útil para fine-tuning, no esperes milagros inmediatos.
- Prompting importa: ahorrar tokens y ajustar
reasoning_effortcambia notablemente costos y resultados. Para razonamiento complicado pruebahighomaxsolo cuando sea necesario.
Si quieres probar algo rápido desde Maracaibo o desde un laptop limitado, mi consejo práctico: usa el router de Hugging Face con el sufijo :auto o :cheapest para experimentar sin arruinarte, y cuando el proyecto lo justifique planea un despliegue en vLLM o SGLang.
Reflexión final
Inkling no es solo otro modelo grande: es una apuesta práctica por la multimodalidad unificada y la inferencia eficiente vía MoE y MTP. Si trabajas en productos que mezclan imagen, audio y texto, este lanzamiento reduce la fricción técnica para crear experiencias más cercanas a cómo los humanos procesamos información.
No es la última palabra, pero sí una herramienta que te permite construir la próxima generación de aplicaciones multimodales sin fragmentar todo el pipeline.