MolmoMotion propone algo que suena simple pero es poderoso: anticipar en 3D cómo se moverán puntos de un objeto a partir de una imagen, una instrucción en lenguaje y unos puntos de consulta. ¿Por qué importa eso? Porque anticipar es distinto a percibir: ver lo que ya pasó es útil, pero planear y generar necesitan saber qué viene.
Qué es MolmoMotion
MolmoMotion predice trayectorias 3D de puntos fijados a un objeto en un marco de mundo métrico. La entrada típica es:
- una observación RGB (uno o unos pocos frames),
- una descripción en texto de la acción (por ejemplo
Move and rotate the wooden bowl with fruit on the table), - y un conjunto de puntos de consulta con sus posiciones 3D iniciales.
El modelo responde con la trayectoria futura de cada punto en coordenadas 3D, lista para alimentar un planificador robótico o condicionar un generador de video. Para enlazar visión y lenguaje usan Molmo 2 como columna vertebral, combinando tokens de imagen, tokens de texto y tokens de características 2D muestreadas desde el encoder visual.
Idea clave: representar movimiento como puntos 3D «pegados» al objeto. Es compacto, agnóstico a la clase del objeto y estable frente a cambios de cámara.
Representación y por qué escogieron puntos 3D
MolmoMotion usa una representación deliberada: un pequeño conjunto de puntos de superficie en el marco del mundo. Buscaban tres propiedades:
- Class-agnostic: no dependen de plantillas (humanos, manos, objetos rígidos),
- View-stable: la misma trayectoria física se mantiene entre vistas distintas,
- Directamente utilizable: son trayectorias 3D que puede consumir un robot o un generador de video.
Esta representación describe movimiento rígido, articulado y, dentro de límites, deformable, sin suponer el tipo de objeto. Por ser compacta y explícita, evita el costo de renderizar full video cuando solo interesa la dinámica.
Arquitectura y variantes técnicas
MolmoMotion se apoya en Molmo 2. El flujo general:
- Se codifican imágenes y texto en tokens.
- Se extraen tokens de puntos 2D desde el encoder visual.
- Se incorporan las coordenadas 3D iniciales de los puntos de consulta.
- El modelo predice las coordenadas futuras por punto.
Entrenan dos variantes:
-
MolmoMotion-AR (autoregresivo): escribe coordenadas 3D como texto estructurado, paso a paso en orden temporal. Ventaja: rollouts suaves y mayor precisión cuando el futuro está bien definido. Es similar a la predicción de coordenadas que usan algunos VLMs.
-
MolmoMotion-FM (flow-matching): modela trayectorias en espacio continuo transformando ruido en movimiento. Mejor para incertidumbre y escenarios con múltiples futuros plausibles.
Técnicamente, AR favorece una condicionamiento secuencial fuerte; FM ofrece una distribución continua de trayectorias y captura multimodalidad.
Cómo crearon MolmoMotion-1M (pipeline de anotación)
El entrenamiento necesitaba datos que no existían: videos a gran escala con trayectorias 3D de puntos ancladas a objetos y pareadas con descripciones de acción. Construyeron una tubería automática que hace, a grandes rasgos:
- Grounding del objeto a partir de la descripción y muestreo de puntos de consulta en su superficie.
- Tracking de puntos 2D densos sobre el objeto.
- Lifting de esas pistas 2D a un marco 3D métrico compartido (estimación de profundidad/pose).
- Filtrado: eliminan tracks que no se mueven coherentemente, suavizan trayectorias y segmentan clips en ventanas donde el objeto realmente se mueve.
El resultado: MolmoMotion-1M, extraído de 1.16M de videos, con 1.16M clips anotados (la colección más grande de trayectorias 3D con descripciones de acción, según los autores), cubriendo 736 tipos de movimiento y 5.6K objetos distintos.
PointMotionBench: evaluación centrada en puntos 3D
Para medir rendimiento crearon PointMotionBench, un benchmark validado por humanos con 2.7K clips, 111 categorías de objetos y 61 tipos de movimiento. El protocolo es directo: se entrega la observación actual, los puntos de consulta y la descripción; la métrica evalúa cuán cercanas están las trayectorias predichas a la trayectoria real en 3D.
Resultados destacados:
- MolmoMotion supera a métodos existentes: generadores de video en espacio de píxeles, métodos 3D paramétricos y una línea base de velocidad constante.
- Cuando se usa para guiar generación de video, mejora la calidad del movimiento en las cinco métricas de movimiento que reportan, y vence a un modelo de imagen-a-video mucho mayor en cuatro de cinco métricas.
Aplicaciones en robótica y generación de video
MolmoMotion no es solo un laboratorio: aporta transferibilidad entre entornos. Tras fine-tuning en DROID (dataset grande de manipulación robótica), el modelo predice trayectorias sensatas para distintos objetos, vistas y tareas.
Un experimento de control muestra diferencias claras:
- En simulación, una política controlada con MolmoMotion alcanza 76.3% de éxito en pick-and-place frente a 56.0% con la misma política basada en Molmo 2.
- MolmoMotion aprende más rápido: llega a 51% tras 10K pasos, donde Molmo 2 llega a 19%.
- En robots reales (después de fine-tuning), MolmoMotion alcanza el mismo error L2 que la línea base tras 12K pasos en solo ~2K pasos.
Además, al condicionar un generador de video con trayectorias 3D, se obtiene video que sigue instrucciones con más precisión, especialmente para movimientos pequeños o precisos.
Limitaciones prácticas
No es perfecto. Durante entrenamiento usan ocho puntos de consulta por objeto: suficiente para trayectorias útiles, pero insuficiente para representar densamente geometría de superficie o movimientos deformables complejos. Eso limita su manejo de deformaciones finas.
También hay desafíos de calidad en las anotaciones automáticas: profundidad y tracking ruidosos requieren filtrado y suavizado cuidadoso, y algunos tipos de movimiento siguen siendo difíciles de modelar con pocos puntos.
Qué puedes hacer ahora
- Descargar pesos y datos: el equipo publica los pesos del modelo, el dataset MolmoMotion-1M y PointMotionBench para que los pruebes y los compares.
- Usarlo en robótica: si trabajas en planning, las trayectorias 3D son input directo y aceleran el aprendizaje de políticas.
- Condicionar generación de video: si buscas control fino sobre movimiento, usar MolmoMotion como guía mejora resultados frente a prompts de texto solos.
MolmoMotion es una pieza importante en el rompecabezas de anticipación física: lleva la predicción de movimiento a un formato 3D, genérico y útil para sistemas reales. ¿El siguiente paso? densificar las superficies, manejar deformaciones complejas y seguir cerrando la brecha entre predecir y actuar.