La escasez de datos reales limita hoy el progreso en aprendizaje para manipulación robótica. ¿Necesitas una planta completa de robots y horas de teleoperación para entrenar políticas avanzadas? No siempre. Grabette propone otra ruta: grabar demostraciones con la mano humana, un agarre, y cámaras para recuperar trayectorias 6-DoF listas para entrenar robots.
¿Qué es Grabette?
Grabette es un sistema abierto y de bajo costo para grabar datos de manipulación. Piensa en un agarre de mano con sensores: una Raspberry Pi, una cámara Pi angosta o fisheye para el contexto, una cámara RGBD OAK-D para tracking robusto, encoders magnéticos y un reloj común para sincronizar todo.
La idea es simple y poderosa. Grabette captura lo que hace tu mano mientras manejas objetos, procesa la señal y entrega un dataset en formato LeRobot listo para usar en el Hub de Hugging Face. No necesitas un brazo robot ni un laboratorio caro para generar demostraciones útiles.
Grabette convierte una demostración humana en una secuencia
camera-local 6-DoF + gripper state, sincronizada y lista para aprendizaje.
Arquitectura y flujo de datos
Grabette divide roles entre dos cámaras por diseño. La cámara fisheye da la vista de contexto estilo muñeca, útil para políticas visuomotoras que necesitan entender la escena. La cámara RGBD hace el trabajo pesado: profundidad, color y IMU para SLAM y recuperación robusta de la trayectoria.
Registro y sincronización:
- Un solo reloj compartido sincroniza la cámara de observación, la cámara de tracking (color, depth, IMU) y los valores de los encoders del agarre.
- Al presionar el botón se inicia una toma; al presionar de nuevo se detiene y se guarda la sesión localmente en la Raspberry Pi.
- Luego abres el dashboard en tu navegador y con un clic empiezas el post procesamiento que genera el paquete
LeRobot.
Qué produce el pipeline:
- Trayectorias 6-DoF en marco de la cámara (pose cartesiana por frame).
- Estados del gripper (abierto, cerrado, posición de dedos) sincronizados a esos poses.
- Metadatos del episodio: timestamps, IMU, depth frames y video de la cámara de contexto.
Compatibilidad y diseño robot-agnóstico:
- Los datos no asumen un brazo concreto. Al exportar a
LeRobotse pueden consumir con distintos controladores y arquitecturas de aprendizaje. - Para la ejecución física, Pollen Robotics ofrece
Gripette, el gripper robot que comparte el mismo ADN de hardware. Pero conceptualmente, los datos sirven para otros brazos si haces la adaptación necesaria.
Detalles técnicos útiles para investigadores
Grabette integra técnicas conocidas del campo:
- SLAM sobre la cámara RGBD + IMU para reconstruir la trayectoria 6-DoF.
- Sincronización de sensores para entrenar políticas temporales y modelos que consumen múltiples modalidades.
- Formato
LeRobotpensado para interoperabilidad con pipelines de entrenamiento y despliegue.
¿Qué tipos de modelos pueden aprovechar estos datos? Políticas basadas en transformadores visual-linguales (VLA), políticas por difusión o flow-matching, e incluso world models que aprenden dinámica a partir de videos y poses. La clave es que los datos son reales, variados y con sincronización temporal precisa, lo que reduce el gap entre aprendizaje y ejecución real.
Algunas consideraciones de calidad:
- Calibración inicial de cámaras y encoders mejora la fidelidad de las poses.
- Registrar ejemplos de éxito y de fallo mejora la robustez del aprendizaje.
- Timestamps precisos facilitan entrenamiento de redes recurrentes o de atención temporal.
Ejemplo práctico y resultados
Para demostrar el ciclo completo, el equipo publica un ejemplo entrenado con 200 demostraciones. No es una solución mágica: es una prueba de que con un número moderado de demos reales puedes entrenar políticas que luego se prueban en entornos robóticos.
Si trabajas con esto, presta atención a métricas como tasa de éxito por tarea, generalización a objetos nuevos y distancia de transición sim2real. Para investigación, comparar modelos entrenados desde cero versus fine-tuning de modelos preentrenados con estos datos suele dar insights valiosos sobre la eficiencia del dataset.
Cómo puedes contribuir y buenas prácticas
La fuerza de Grabette es la comunidad. El objetivo es que cualquiera pueda construir uno en un banco de trabajo, grabar tareas cotidianas y compartir episodios. Algunas recomendaciones prácticas:
- Empieza con un solo comportamiento y graba entre 200 y 500 demos variadas para tener cobertura de contexto.
- Incluye variaciones en iluminación, posición del objeto y fallos deliberados para mejorar robustez.
- Sube los episodios desde el dashboard; el post-procesamiento en navegador evita instalaciones complejas.
- Anota metadatos: descripción de la tarea, condiciones, éxito o fallo y etiquetas que permitan filtrar datos.
Próximos desarrollos ya anunciados incluyen Casquette, un dispositivo montado en la cabeza para capturas POV que complementen a Grabette. La invitación es clara: si más manos graban, los modelos aprenden mejor y más rápido.
Reflexión final
Grabette baja la barrera de entrada para generar datos de manipulación: hardware accesible, formato abierto y una ruta clara desde la demo humana hasta un dataset entrenable. ¿Qué cambiaría si cualquiera pudiera grabar tareas y subirlas a un repositorio común? Probablemente aceleraríamos la creación de políticas más generales y menos dependientes de instalaciones cerradas.
Si te interesa investigación aplicada, robótica práctica o simplemente ayudar a construir un dataset abierto, esta es una de esas iniciativas donde tu contribución realmente suma.