MolmoAct 2 impulsa la robótica con modelos abiertos | Keryc
Tenías que estar ahí: MolmoAct 2 llevaba solo diez días disponible cuando en un hackathon de San Francisco un robot controlado por voz hizo que un ingeniero gritara "whoa is this actually working!". No fue un truco: el modelo reconoció objetos, entendió instrucciones no vistas y guió acciones físicas en tiempo real sobre hardware real.
Qué demuestra MolmoAct 2 para la robótica
MolmoAct 2 no es solo otro checkpoint. Lo que sorprendió a Binh Pham, el creador del robot ganador, fue la generalización: conectar instrucciones verbales con la escena y generar acciones coherentes sin haber sido entrenado explícitamente para esas tareas.
¿Por qué eso importaría? En robótica el cuello de botella muchas veces no es ver el mundo, sino traducir una instrucción —"recoge la taza"— en una secuencia de movimientos segura y adecuada al contexto. MolmoAct 2 muestra buena conciencia espacial y capacidad de razonar sobre objetos en la escena, lo que permite tareas tipo zero-shot o poco supervisadas.
"El modelo en realidad tiene muy buena conciencia espacial. MolmoAct 2 puede identificar objetos muy bien." — Binh Pham
Qué trae la liberación: reproducibilidad y adaptabilidad
Lo más relevante para desarrolladores e investigadores es que la liberación es abierta en sentido práctico: se entregan los pesos del modelo, los datos, el código de entrenamiento y scripts para fine-tuning. Eso transforma el lanzamiento de un simple checkpoint a un paquete reproducible y extensible.
En un campo donde muchas soluciones son difíciles de reproducir, esto facilita:
inspección de resultados y auditoría de fallos,
adaptación a hardware y sensores específicos,
fine-tuning para tareas concretas sin empezar desde cero.
Si alguna vez trabajaste con modelos propietarios que no te dejan ver datos o pipelines, sabes lo valioso que es esto.
Aspectos técnicos que puedes aprovechar (para quien construye)
Si vas a experimentar con MolmoAct 2, aquí hay puntos prácticos y técnicos que conviene considerar:
Descarga y configuración: obtén los pesos desde Hugging Face y revisa el blog de lanzamiento para requisitos de dependencias. El código de entrenamiento y los scripts de fine-tuning están en GitHub.
Integración percepción‑acción: conecta la salida del modelo a tu stack de control. MolmoAct 2 puede aportar observaciones y predicciones de objetos; tú debes mapearlas a controladores del robot, límites de seguridad y planificadores de movimiento.
Fine‑tuning y adaptación: usa los scripts provistos para adaptar el modelo a cámaras, calibración y actuadores específicos. Fine‑tuning con datos de tu robot reducirá errores de ejecución y riesgos.
Latencia e inferencia: en robótica la latencia importa. Evalúa la inferencia en el hardware objetivo (CPU, GPU, aceleradores) y considera estrategias como quantization, batching o edge serving para mantener tiempos de respuesta adecuados.
Seguridad y validación: prueba primero en simulación, luego en entornos controlados. Define límites de trabajo y detección de fallos antes de desplegar en escenarios reales.
Ejemplo práctico: el hackathon en San Francisco
Binh Pham conectó MolmoAct 2 a un sistema de control por voz y asignó tareas no vistas por el modelo. No solo identificó objetos, sino que usó esas observaciones para guiar manipulaciones físicas. Para él, esto fue comparable al momento GPT‑2 en procesamiento de lenguaje: una señal de que los modelos abiertos pueden realmente empujar la robótica hacia comportamientos generales.
¿Te suena a exageración? Piensa en lo que pasa cuando pasas de demos cerradas a código, datos y pesos abiertos: la comunidad puede iterar, corregir sesgos, mejorar robustez y adaptar a necesidades concretas.
Qué puedes hacer ahora
Descarga los pesos y revisa los datos disponibles.
Prueba primero en simulación y luego integra con un pipeline de control seguro.
Usa los scripts de fine‑tuning para adaptar el modelo a tus sensores y actuadores.
Comparte resultados: la fuerza de modelos abiertos está en la comunidad que los prueba y mejora.
MolmoAct 2 no resuelve todos los problemas de la robótica, pero sí baja una barrera clave: la posibilidad de tener un modelo generalista que puedas inspeccionar y adaptar. ¿Qué vas a construir con eso?
