NVIDIA y Hugging Face integran Isaac Lab-Arena dentro del ecosistema LeRobot para hacer más fácil, reproducible y escalable la evaluación de políticas de visión, lenguaje y acción (VLA) en simulación. ¿El resultado? Un flujo técnico que conecta modelos abiertos, entornos simulados y despliegue en hardware como Reachy 2 sobre NVIDIA Jetson Thor.
Qué trae esta integración
La propuesta aborda las tres fases clave del desarrollo robótico: entrenamiento, simulación y ejecución en robot. Cada etapa exige software y hardware distintos, y la integración reduce fricción entre ellas para que puedas iterar políticas más rápido.
-
Isaac Lab-Arena es un marco abierto pensado para evaluación eficiente y a escala de políticas en simulación. Fue diseñado en colaboración con Lightwheel y está optimizado para métricas de evaluación reproducibles.
-
LeRobot EnvHub permite compartir entornos de simulación, cargarlos directamente y reutilizarlos para entrenamiento, evaluación o teleoperación. Eso significa menos tiempo recreando escenas y más tiempo probando políticas.
-
Hugging Face y NVIDIA ponen a disposición modelos VLA pre-entrenados (por ejemplo GR00T N, Pi, SmolVLA), conjuntos de datos físicos y herramientas para pasar de la evaluación en simulación a la inferencia en robot real.
En resumen: más entornos reutilizables, políticas abiertas y caminos claros para llevar una policy del notebook a un robot físico.
Arquitectura y flujo de trabajo técnico
Piensa en tres capas: 1) modelos VLA y checkpoints, 2) simulación para evaluación y dataset generation, 3) despliegue en hardware embebido. La integración permite moverte entre esas capas sin reescribir interfaces.
- La política (VLA) se carga desde Hugging Face y se evalúa dentro de Isaac Lab-Arena usando LeRobot como orquestador.
- EnvHub centraliza entornos: puedes registrar un escenario, cambiar objetos o embodiments y compartirlo con la comunidad.
- Lightwheel ya aporta 250+ tareas públicas que ahora son accesibles directamente desde LeRobot.
Este flujo facilita benchmarks homogéneos: mismas seeds, mismos sensores virtuales y mismas métricas para comparar políticas como GR00T N y SmolVLA.
¿Qué componentes debes conocer?
Isaac Lab-Arena: framework de evaluación y tareas.LeRobot EnvHub: registro y distribución de entornos.- Políticas VLA (GR00T N, Pi, SmolVLA) cargables desde Hugging Face.
- Plataformas hardware (por ejemplo Reachy 2 + Jetson Thor) para llevar la política a un robot real.
Cómo empezar: instalación y un ejemplo de evaluación
Estos son los pasos técnicos principales. Revisa compatibilidades de drivers y de la versión de Ubuntu antes de empezar.
- Crea y activa un entorno conda
conda create -y -n lerobot-arena python=3.11
conda activate lerobot-arena
conda install -y -c conda-forge ffmpeg=7.1.1
- Instala Isaac Sim 5.1.0
pip install 'isaacsim[all,extscache]==5.1.0' --extra-index-url https://pypi.nvidia.com
# Acepta el EULA y la política de privacidad
export ACCEPT_EULA=Y
export PRIVACY_CONSENT=Y
- Instala IsaacLab 2.3.0
git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
git checkout v2.3.0
./isaaclab.sh -i
cd ..
- Isaac Lab-Arena
git clone https://github.com/isaac-sim/IsaacLab-Arena.git
cd IsaacLab-Arena
git checkout release/0.1.1
pip install -e .
cd ..
- Instala LeRobot
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e .
cd ..
- Dependencias adicionales y nota sobre numpy
pip install onnxruntime==1.23.2 lightwheel-sdk==1.0.1 vuer[all]==0.0.70 qpsolvers==4.8.1
pip install numpy==1.26.0
Isaac Sim 5.1 requiere numpy==1.26.0. Si trabajas con otros paquetes que no lo soporten, tendrás que aislar entornos o esperar la próxima release.
- Instala SmolVLA localmente si vas a probar esa política
pip install -e '.[smolvla]'
pip install numpy==1.26.0
- Ejecuta una evaluación ejemplo
lerobot-eval \
--policy.path=nvidia/smolvla-arena-gr1-microwave \
--env.type=isaaclab_arena \
--env.hub_path=nvidia/isaaclab-arena-envs \
--rename_map='{"observation.images.robot_pov_cam_rgb": "observation.images.robot_pov_cam"}' \
--policy.device=cuda \
--env.environment=gr1_microwave \
--env.embodiment=gr1_pink \
--env.object=mustard_bottle \
--env.headless=false \
--env.enable_cameras=true \
--env.video=true \
--env.video_length=10 \
--env.video_interval=15 \
--env.state_keys=robot_joint_pos \
--env.camera_keys=robot_pov_cam_rgb \
--trust_remote_code=True \
--eval.batch_size=1
- Fíjate en
rename_map: es útil cuando las claves del espacio de observación entre la política y el entorno no coinciden. --trust_remote_codepermite cargar código asociado a una policy publicada en Hugging Face. Usa con precaución y revisa los repos vinculados.
Buenas prácticas y pautas para desarrolladores
- Comparte entornos y task suites en LeRobot EnvHub para que otros puedan reproducir tus resultados.
- Usa instancias con GPU compatibles con Isaac Sim y actualiza drivers según la documentación de NVIDIA.
- Corre evaluaciones en modo headless para benchmarks en CI o en cluster, y habilita video para debugging y reproducibilidad.
- Aprovecha Lightwheel Tasks si buscas un banco amplio de tareas ya curadas.
- Para escalado rápido, NVIDIA Brev facilita aprovisionar instancias GPU listas para Isaac Lab.
De la simulación al robot real
Una vez validada una policy en Isaac Lab-Arena puedes desplegarla en robots como Reachy 2 corriendo sobre Jetson Thor. El flujo típico es: generar datos y métricas en simulación, postentrenar si corresponde, validar seguridad en escenarios críticos y finalmente inferir en hardware con perfiles reales de latencia.
La integración no elimina desafíos reales como discrepancias sim2real, pero sí reduce el costo de experimentación y facilita pipelines reproducibles.
Recursos y próximos pasos
- Repositorios oficiales para clonar están en los comandos anteriores. Revisa la documentación de cada proyecto para versiones y requisitos de driver.
- Si quieres benchmarkear políticas alternativas, revisa GR00T N 1.5 y las políticas publicadas en Hugging Face.
- Contribuye creando entornos Isaac Lab-Arena y registrándolos en EnvHub para que toda la comunidad se beneficie.
La unión entre Isaac Lab-Arena y LeRobot acelera el desarrollo de IA física abierta: menos fricción para crear, comparar y desplegar políticas VLA. Si trabajas en robótica, esta integración te ahorra tiempo y te pone en una vía directa para pasar de la simulación al robot.
Fuente original
https://huggingface.co/blog/nvidia/generalist-robotpolicy-eval-isaaclab-arena-lerobot