La evolución de los modelos de lenguaje hacia sistemas multimodales ya permite que la visión y la acción convivan en un mismo modelo. ¿El problema? Llevar esas VLA (Vision–Language–Action) a hardware embebido con limitaciones reales de CPU, memoria, NPU y tiempo real. Este artículo técnico resume las prácticas de NXP para grabar datasets fiables, fine‑tuning de políticas ACT y SmolVLA, y las optimizaciones on‑device que lograron ejecutar estas políticas en un i.MX95.

¿Por qué es difícil ejecutar VLA en plataformas embebidas?

Porque no es solo comprimir un modelo. Es ingeniería de sistemas: descomponer la arquitectura, programar con conciencia de latencia y alinear la ejecución al hardware disponible. En tiempo real, una inferencia lenta causa pausas del robot, que generan correcciones oscilantes y peor recuperación. ¿La regla práctica? Mantener la latencia de inferencia por debajo del horizonte de ejecución: T_inference < T_execution.

En pipelines sincrónicos, mientras el VLA infiere, el brazo está inactivo. La solución es la inferencia asincrónica: generar acciones en paralelo a la ejecución. Pero para que funcione debes garantizar que el tiempo de inferencia sea menor que la duración del chunk de acción. Eso pone un límite superior al throughput del modelo.