LeRobot v0.5.0: Humanoide, VLAs y simulación escalable | Keryc
LeRobot v0.5.0 llega con una actualización masiva: más hardware, nuevas políticas de control, mejoras en el pipeline de datos y una modernización del código que lo pone al día con Python 3.12 y Transformers v5. ¿Te interesa entrenar en simulación o desplegar en hardware real? Esta versión trae herramientas para ambos caminos y muchas piezas que facilitan pasar del experimento al robot físico.
Qué trae v0.5.0 en pocas palabras
La release incluye más de 200 PRs y más de 50 colaboradores desde la versión anterior. Los cambios principales se agrupan en hardware, políticas de control (VLAs y flow-matching), rendimiento de datasets, nuevas formas de cargar entornos de simulación y una importante modernización del stack.
En términos prácticos: humanoide Unitree G1, soporte de motores por CAN, políticas autoregresivas y de chunking en tiempo real, streaming de video en la recolección de datos, EnvHub para entornos desde Hugging Face Hub e integración con NVIDIA IsaacLab-Arena. También hay mejoras para desplegar y extender LeRobot con plugins de políticas de terceros.
Hardware: del brazo a un humanoide completo
La incorporación más visible es el soporte completo para Unitree G1 humanoide. Esto no es solo caminar: incluye locomoción, manipulación, teleoperación y control whole-body (WBC) para coordinar locomoción y manipulación simultánea.
¿Por qué importa? Porque pasar de brazos en una mesa a un robot con cuerpo entero abre tareas complejas de interacción en entornos reales. Piensa en navegar, agacharse y manipular objetos dentro de la misma política.
También hay soporte ampliado para brazos y plataformas: OpenArm y OpenArm Mini con bi-manualidad, Earth Rover para navegación terrestre, OMX robot, y la consolidación de SO-100/SO-101 en una sola implementación más limpia. Además, nuevo soporte de controladores por CAN bus como RobStride y Damiao, lo que permite usar actuadores de mayor rendimiento fuera del ecosistema Dynamixel/Feetech.
Un uso típico
Si tienes un laboratorio o un kit con actuadores CAN, ahora puedes integrarlo con LeRobot para aprovechar políticas entrenadas en simulación o transferidas via fine-tuning.
Políticas y técnicas nuevas (más técnicas)
v0.5.0 introduce seis políticas y técnicas relevantes para investigación y despliegue.
Pi0-FAST: autoregressive Vision-Language-Action (VLA) con FAST (Frequency-space Action Sequence Tokenization). Aquí las acciones se discretizan en tokens y un decodificador autoregresivo (basado en Gemma 300M) las genera. Ventajas: control fino del muestreo mediante temperatura y máximo de pasos de decodificación; compatible con Real-Time Chunking (RTC) para baja latencia.
Real-Time Chunking (RTC): técnica de inferencia que mejora la respuesta de políticas basadas en flow-matching. En vez de esperar a que termine un chunk entero antes de replantear, RTC mezcla predicciones nuevas con acciones en curso para producir comportamiento más suave y reactivo. No es una política independiente; es un complemento que se habilita en políticas flow-matching.
Wall-X: VLA construido sobre Qwen2.5-VL con cabeza de flow-matching para control cross-embodiment.
X-VLA: VLA basado en Florence-2 como alternativa de backbone para diversificar las bases de modelos disponibles.
SARM (Stage-Aware Reward Modeling): aborda tareas de largo horizonte modelando progreso en etapas. En lugar de una señal global lineal, SARM predice la etapa y el progreso dentro de esa etapa, lo que facilita entrenar tareas multi-step.
PEFT/LoRA para VLAs: ahora puedes fine-tunear VLAs enormes usando LoRA y otras técnicas de PEFT sin tocar el pipeline central. La configuración de PEFT vive a nivel de política.
Autoregresivo vs flow-matching: autoregresivos (Pi0-FAST) permiten control paso a paso y sampling configurables, pero suelen requerir tokenización y manejo de latencia en decodificación. Flow-matching con RTC cierra la brecha al permitir respuestas continuas más rápidas. En despliegues reales conviene perfilar latencia de inferencia y uso de GPU/encoder hardware.
Datos y rendimiento: grabación y entrenamiento más rápidos
La pipeline de datos recibió mejoras importantes para acelerar recolección y entrenamiento:
Streaming video encoding: se codifican frames en tiempo real durante la grabación, eliminando tiempos de espera entre episodios.
Detección automática de encoder hardware para usar aceleración GPU cuando esté disponible.
10x más rápido en transformaciones de imagen durante entrenamiento y 3x más rápido en encoding gracias a paralelización por defecto y compresión dinámica.
Mejor uso de CPU y más herramientas de edición de datasets: subtasks, conversión image-to-video, nuevas operaciones de inspección y configuración fina de codecs y buffers.
Esto reduce el tiempo entre experimentos y acelera ciclos de iteración entre recopilar datos y volver a entrenar.
Simulación: EnvHub y NVIDIA IsaacLab-Arena
EnvHub permite cargar entornos directamente desde el Hugging Face Hub. LeRobot descarga el código del entorno, lo registra con Gymnasium y lo deja listo para entrenamiento. Esto acelera compartir entornos personalizados con la comunidad.
La integración con NVIDIA IsaacLab-Arena agrega simulación GPU-accelerated y permite correr muchos instancias en paralelo para RL a gran escala. IsaacLab-Arena tiene pre/post-procesos dedicados para encajar en el pipeline de LeRobot.
Modernización del código y ecosistema
Requisito mínimo: Python 3.12
Migración a Transformers v5
Soporte para plugins de políticas instalables: puedes empaquetar políticas como paquetes pip y usarlas sin tocar el core
Instalar un plugin de política ejemplo:
pip install lerobot_policy_mypolicy
# luego
--policy.type=mypolicy
Otras mejoras: bounds de PyTorch actualizados para GPUs Blackwell, visualización remota con Rerun, docs versionadas, mejoras de instalación y CI, y una visualizer y Annotation Studio renovados.
Importante: LeRobot fue aceptado en ICLR 2026, lo que valida muchas de las ideas y técnicas que aparecen en esta versión.
Reflexión práctica para investigadores y equipos de producto
Si trabajas en control robótico o investigación en VLAs, v0.5.0 ofrece herramientas para experimentar más rápido y con hardware más variado. ¿Quieres probar transferencia sim2real? EnvHub y la integración con IsaacLab-Arena te ayudan a escalar simulación. ¿Preocupado por latencia en inferencia? RTC y la opción autoregresiva de Pi0-FAST te dan palancas para explorar.
Para equipos de producto, la compatibilidad con controladores CAN y la teleoperación del G1 significan que proyectos con requisitos industriales o prototipos humanoides están ahora más accesibles con una sola base de código.
