LeRobot v0.6.0 lanza world models y evaluación unificada | Keryc
LeRobot v0.6.0 llega con una jugada clara: imaginar el futuro para mejorar políticas, medir cuándo funcionan y hacer todo eso reproducible y rápido. ¿Funciona? Esta versión te da herramientas concretas para investigar la pregunta, desde políticas que aprenden a predecir sus propios rollouts hasta un API de recompensas y seis nuevos benchmarks listos para correr.
Modelos de mundo: políticas que imaginan
¿Por qué imaginar? Porque permitir que una política prediga lo que viene puede dar señales de supervisión poderosas durante el entrenamiento. v0.6.0 trae tres enfoques distintos, cada uno optimizado para costo y rendimiento.
VLA-JEPA: entrena un VLA compacto (base Qwen3-VL-2B) para anticipar frames en espacio latente mediante una JEPA. El truco: el world model supervisa en entrenamiento y desaparece en inferencia, así que no pagas costo extra al ejecutar la política. Hay checkpoints listos en el Hub y un flujo de fine-tuning directo.
LingBot-VA: un modelo autoregresivo video-accion que predice video y acciones por bloques, reinyectando observaciones reales para evitar deriva. Puedes guardar los videos imaginados y compararlos con la realidad; la inferencia corre en una sola GPU 24-32 GB.
FastWAM: combina un generador de video experto (~5B) con un experto de acción compacto en una sola red. Aprende a "soñar" sus rollouts durante entrenamiento, pero omite esa generación en inferencia y denoisa acciones directamente. Diseñado para que el "sueño" mejore la política sin penalizar la latencia en producción.
VLAs: un zoológico que crece con intención técnica
v0.6.0 incorpora varias familias nuevas, desde grandes hasta muy compactas, cada una pensada para diferentes presupuestos de GPU y objetivos de investigación.
GR00T N1.7: integración actualizada, ahora con Cosmos-Reason2-2B (Qwen3-VL) y paridad con la implementación original de NVIDIA. La instalación es más sencilla y flash-attention es opcional.
MolmoAct2: portado con ciclo completo; soporta fine-tuning (full o LoRA), evaluación y despliegue en robots reales. Requiere poco VRAM en inferencia (aprox 12 GB bf16) y LoRA cabe en 24 GB.
EO-1: Qwen2.5-VL-3B con flow-matching action head, contribuido por autores del paper.
Multitask DiT, EVO1, y una política Multitask Diffusion Transformer: modelos que van desde ~450M hasta 1B, con objetivos de diffusion o flow-matching, ideales para entrenar en máquinas accesibles.
¿La lección técnica? No necesitas siempre modelos gigantes; hay trade-offs entre tamaño, latencia y capacidad de generalización.
Modelos de recompensa: saber cuándo tu robot tiene éxito
La nueva API lerobot.rewards unifica acceso a modelos de recompensa. Dos novedades clave:
Robometer: modelo generalista entrenado sobre comparaciones de trayectorias de más de un millón de episodios. Basado en Qwen3-VL-4B, puntúa progreso y éxito a partir de video y una instrucción en lenguaje.
TOPReward: enfoque cero-shot que evalúa la probabilidad del token "True" dado el video y la instrucción, usando un VLM como función de recompensa.
Ambos incluyen scripts de etiquetado que generan curvas de progreso por frame, listas para RA-BC, inspección de calidad de dataset y superposiciones visuales.
Datasets: profundidad, anotaciones automáticas y carga más rápida
Codec y encoding: ahora puedes elegir codec, calidad, formato de píxel, GOP y buscar aceleradores hardware como NVENC o VAAPI. Re-codificar un dataset es directo con lerobot-edit-dataset.
Soporte de depth: graba mapas de profundidad en 12-bit comprimido, almacenados junto a RGB y decodificados a unidades físicas en entrenamiento.
Anotaciones automáticas: lerobot-annotate usa un VLM para producir subtasks timestamped, planes, memoria y QAs por cámara. Esto genera recetas YAML que se renderizan como mensajes estilo chat al muestrear, útil para políticas de largo horizonte que hablan y actúan.
Velocidad: carga de datos hasta 2x más rápida por decodificación paralela, frames uint8 compactos entre workers y caches persistentes. Muestreo determinista y resumible para reanudar entrenamientos exactamente.
Benchmarks: una CLI para todo y seis simulaciones nuevas
Seis benchmarks de simulación se suman al ecosistema, todos ejecutables con lerobot-eval y con Docker images listas:
LIBERO-plus: estrés con 10,000 variantes perturbadas.
RoboTwin 2.0: 50 tareas bimanuales en SAPIEN, con 100k trayectorias listas.
RoboCasa365: 365 tareas de cocina en 2,500 cocinas procedurales.
RoboCerebra: episodios de largo horizonte con 3-6 sub-goals.
RoboMME: examenes de memoria y seguimiento de objetos ocultos.
VLABench: razonamiento y conocimientos de manipulación.
Evaluar es más rápido gracias a entornos vectorizados asíncronos, y cada benchmark trae su receta de dependencias o una Docker image para evitar dolores de instalación.
El nuevo lerobot-rollout separa despliegue de grabación. Incluye estrategias: base, sentry, highlight, episodic y dagger. DAgger permite correcciones humanas en tiempo real: tomas el control, registras la intervención y el dataset queda listo para fine-tuning. Eso convierte el ciclo desplegar-coleccionar-corregir-entrenar en un flujo reproducible con una sola bandera.
FSDP con Accelerate: shard de parámetros, gradientes y estado de optimizador para entrenar modelos grandes en múltiples GPUs y reunir checkpoints en un model.safetensors sencillo de cargar.
HF Jobs: el mismo comando lerobot-train puede ejecutarse en la nube con --job.target, subiendo tu dataset si hace falta y devolviendo el modelo al Hub. Desde T4 hasta H200, pago por uso.
Mixed precision práctica: --policy.dtype=bfloat16 activa entrenamiento con bfloat16 a través de Accelerate.
Código, instalación y experiencia de uso
Instalación más ligera: ~40% menos dependencias base y extras por característica. Mensajes de error que indican exactamente qué extra falta.
Compatibilidad: PyTorch 2.7-2.11, CUDA 12.8 wheels apuntados para Linux. Plugins pip-installables se auto-registran.
UX: Foxglove como display remoto, controles por teclado en Wayland y macOS sin permisos extra, y una UI llamada LeLab para todo el flujo si prefieres evitar la CLI.
Comunidad y ecosistema
v0.6.0 incluye contribuciones de academia, industria y hobbyists. Nuevos guías cubren desde añadir un benchmark hasta publicar una policy plugin sin PR. Hay un compute guide que te dice qué GPU necesitas y cuánto tardarás, con tiempos medidos desde RTX 4090 hasta 4x H100.
La release también trae cientos de correcciones y mejoras de documentación; es una versión pensada para investigación reproducible y para facilitar la transición de laboratorio a despliegue.
Piensa en esto como una caja de herramientas: ahora tienes políticas que imaginan, formas automáticas de medir éxito, pipelines para enriquecer datos con lenguaje y un conjunto de benchmarks para probar hipótesis. Si te interesa experimentar con world models en robótica, v0.6.0 te da la base técnica y operativa para hacerlo a escala.
