LeRobot v0.5.0 llega con una actualización masiva: más hardware, nuevas políticas de control, mejoras en el pipeline de datos y una modernización del código que lo pone al día con Python 3.12 y Transformers v5. ¿Te interesa entrenar en simulación o desplegar en hardware real? Esta versión trae herramientas para ambos caminos y muchas piezas que facilitan pasar del experimento al robot físico.
Qué trae v0.5.0 en pocas palabras
La release incluye más de 200 PRs y más de 50 colaboradores desde la versión anterior. Los cambios principales se agrupan en hardware, políticas de control (VLAs y flow-matching), rendimiento de datasets, nuevas formas de cargar entornos de simulación y una importante modernización del stack.
En términos prácticos: humanoide Unitree G1, soporte de motores por CAN, políticas autoregresivas y de chunking en tiempo real, streaming de video en la recolección de datos, EnvHub para entornos desde Hugging Face Hub e integración con NVIDIA IsaacLab-Arena. También hay mejoras para desplegar y extender LeRobot con plugins de políticas de terceros.
Hardware: del brazo a un humanoide completo
La incorporación más visible es el soporte completo para Unitree G1 humanoide. Esto no es solo caminar: incluye locomoción, manipulación, teleoperación y control whole-body (WBC) para coordinar locomoción y manipulación simultánea.
¿Por qué importa? Porque pasar de brazos en una mesa a un robot con cuerpo entero abre tareas complejas de interacción en entornos reales. Piensa en navegar, agacharse y manipular objetos dentro de la misma política.
También hay soporte ampliado para brazos y plataformas: OpenArm y OpenArm Mini con bi-manualidad, Earth Rover para navegación terrestre, OMX robot, y la consolidación de SO-100/SO-101 en una sola implementación más limpia. Además, nuevo soporte de controladores por CAN bus como RobStride y Damiao, lo que permite usar actuadores de mayor rendimiento fuera del ecosistema Dynamixel/Feetech.
Un uso típico
Si tienes un laboratorio o un kit con actuadores CAN, ahora puedes integrarlo con LeRobot para aprovechar políticas entrenadas en simulación o transferidas via fine-tuning.
Políticas y técnicas nuevas (más técnicas)
v0.5.0 introduce seis políticas y técnicas relevantes para investigación y despliegue.
-
Pi0-FAST: autoregressive Vision-Language-Action (VLA) con FAST (Frequency-space Action Sequence Tokenization). Aquí las acciones se discretizan en tokens y un decodificador autoregresivo (basado en Gemma 300M) las genera. Ventajas: control fino del muestreo mediante temperatura y máximo de pasos de decodificación; compatible con Real-Time Chunking (RTC) para baja latencia.
-
Real-Time Chunking (RTC): técnica de inferencia que mejora la respuesta de políticas basadas en flow-matching. En vez de esperar a que termine un chunk entero antes de replantear, RTC mezcla predicciones nuevas con acciones en curso para producir comportamiento más suave y reactivo. No es una política independiente; es un complemento que se habilita en políticas flow-matching.
-
Wall-X: VLA construido sobre Qwen2.5-VL con cabeza de flow-matching para control cross-embodiment.
-
X-VLA: VLA basado en Florence-2 como alternativa de backbone para diversificar las bases de modelos disponibles.
-
SARM (Stage-Aware Reward Modeling): aborda tareas de largo horizonte modelando progreso en etapas. En lugar de una señal global lineal, SARM predice la etapa y el progreso dentro de esa etapa, lo que facilita entrenar tareas multi-step.
-
PEFT/LoRA para VLAs: ahora puedes fine-tunear VLAs enormes usando LoRA y otras técnicas de PEFT sin tocar el pipeline central. La configuración de PEFT vive a nivel de política.
Ejemplo de entrenamiento rápido:
lerobot-train \
--policy.type=pi0_fast \
--dataset.repo_id=lerobot/aloha_sim_insertion_human \
--policy.device=cuda
Y para activar RTC en políticas flow-matching:
--policy.rtc_config.enabled=true
Consideraciones técnicas
Autoregresivo vs flow-matching: autoregresivos (Pi0-FAST) permiten control paso a paso y sampling configurables, pero suelen requerir tokenización y manejo de latencia en decodificación. Flow-matching con RTC cierra la brecha al permitir respuestas continuas más rápidas. En despliegues reales conviene perfilar latencia de inferencia y uso de GPU/encoder hardware.
Datos y rendimiento: grabación y entrenamiento más rápidos
La pipeline de datos recibió mejoras importantes para acelerar recolección y entrenamiento:
- Streaming video encoding: se codifican frames en tiempo real durante la grabación, eliminando tiempos de espera entre episodios.
- Detección automática de encoder hardware para usar aceleración GPU cuando esté disponible.
- 10x más rápido en transformaciones de imagen durante entrenamiento y 3x más rápido en encoding gracias a paralelización por defecto y compresión dinámica.
- Mejor uso de CPU y más herramientas de edición de datasets: subtasks, conversión image-to-video, nuevas operaciones de inspección y configuración fina de codecs y buffers.
Ejemplo de creación de dataset con streaming:
dataset = LeRobotDataset.create(
repo_id="my/dataset",
fps=30,
video_backend="auto",
streaming_encoding=True,
)
Esto reduce el tiempo entre experimentos y acelera ciclos de iteración entre recopilar datos y volver a entrenar.
Simulación: EnvHub y NVIDIA IsaacLab-Arena
EnvHub permite cargar entornos directamente desde el Hugging Face Hub. LeRobot descarga el código del entorno, lo registra con Gymnasium y lo deja listo para entrenamiento. Esto acelera compartir entornos personalizados con la comunidad.
Ejemplo:
lerobot-train \
--env.type=hub \
--env.hub_path="username/my-custom-env" \
--policy.type=act
La integración con NVIDIA IsaacLab-Arena agrega simulación GPU-accelerated y permite correr muchos instancias en paralelo para RL a gran escala. IsaacLab-Arena tiene pre/post-procesos dedicados para encajar en el pipeline de LeRobot.
Modernización del código y ecosistema
- Requisito mínimo: Python 3.12
- Migración a Transformers v5
- Soporte para plugins de políticas instalables: puedes empaquetar políticas como paquetes pip y usarlas sin tocar el core
Instalar un plugin de política ejemplo:
pip install lerobot_policy_mypolicy
# luego
--policy.type=mypolicy
Otras mejoras: bounds de PyTorch actualizados para GPUs Blackwell, visualización remota con Rerun, docs versionadas, mejoras de instalación y CI, y una visualizer y Annotation Studio renovados.
Importante: LeRobot fue aceptado en ICLR 2026, lo que valida muchas de las ideas y técnicas que aparecen en esta versión.
Cómo empezar rápido (comandos útiles)
- Instalar Wall-X:
pip install lerobot[wall_x]
- Instalar X-VLA:
pip install lerobot[xvla]
- Entrenar con PEFT (LoRA) sin cambiar pipeline:
lerobot-train \
--policy.type=pi0 \
--policy.peft_config.use_peft=true \
--dataset.repo_id=lerobot/aloha_sim_insertion_human
Reflexión práctica para investigadores y equipos de producto
Si trabajas en control robótico o investigación en VLAs, v0.5.0 ofrece herramientas para experimentar más rápido y con hardware más variado. ¿Quieres probar transferencia sim2real? EnvHub y la integración con IsaacLab-Arena te ayudan a escalar simulación. ¿Preocupado por latencia en inferencia? RTC y la opción autoregresiva de Pi0-FAST te dan palancas para explorar.
Para equipos de producto, la compatibilidad con controladores CAN y la teleoperación del G1 significan que proyectos con requisitos industriales o prototipos humanoides están ahora más accesibles con una sola base de código.