Cuando Ai2 lanzó Molmo apostó por algo concreto: la apertura. No solo pesos y código abiertos, sino modelos que puedas inspeccionar, adaptar y replicar. Esa apuesta ahora se convierte en un ecosistema que no solo ve, sino que también señala y actúa en el mundo digital y físico.

MolmoPoint: señalamiento cross-modal más eficiente

Señalar parece simple, ¿no? Pero para un modelo de visión y lenguaje (VLM) hacerlo bien es sorprendentemente difícil. La aproximación clásica convierte la coordenada X,Y en texto —un atajo indirecto y frágil— y exige datos y mezcla de entrenamiento muy finos.

MolmoPoint cambia el juego: en lugar de generar coordenadas como texto, el modelo selecciona directamente lo que ya ve. Primero elige una región gruesa y luego refina hasta el punto exacto. Es una solución cross-modal: el mismo mecanismo puede apuntar en imágenes, secuencias de video, o incluso hacia fragmentos de entrada en otros modos, como texto o audio.

¿El resultado? Saltos notables en eficiencia de entrenamiento y en métricas de referencia: mejor performance en pointing, detección de elementos en pantallas y tracking de objetos entre modelos abiertos comparables. Funciona mejor en alta resolución y en interfaces con muchos botones pequeños. MolmoPoint llega acompañado de variantes para imágenes, video y UI, y de datasets abiertos con miles de capturas de pantalla anotadas y tracks humanos.