Waypoint-1: difusión de video interactiva en tiempo real | Keryc
Waypoint-1 es la propuesta de Overworld para llevar modelos de mundo interactivos a tiempo real, controlables por texto, mouse y teclado. ¿Te imaginas darle unas pocas frames a un modelo y poder entrar en ese mundo, mover la cámara libremente y pulsar cualquier tecla sin latencia perceptible? Eso es exactamente lo que buscan con Waypoint-1.
Qué es Waypoint-1
Waypoint-1 es un modelo de difusión de video latente pensado desde el inicio para la interactividad. Existen dos variantes anunciadas: Waypoint-1-Small y Waypoint-1-Medium (próxima). Está entrenado con 10,000 horas de metraje de videojuegos, incluyendo los inputs de control y los captions textuales que describen la escena.
A diferencia de muchos world models que toman un modelo de video preentrenado y lo afinan con controles simples, Waypoint-1 se entrena desde cero con controles complejos en mente. ¿Resultado? Controles ilimitados: mover la cámara con el mouse, enviar cualquier tecla del teclado, todo con latencia virtualmente nula porque cada frame se genera condicionando sobre los controles actuales.
Arquitectura y entrenamiento (técnico pero claro)
Backbone: un transformer de flujo rectificado causal por frame. Frame-causal significa que cada token puede atender solo a su propio frame y a frames pasados, nunca a frames futuros.
Latente: el modelo opera en un espacio comprimido de frames, no directamente sobre píxeles, para acelerar el proceso y reducir memoria.
Entrenamiento primario: diffusion forcing. El modelo aprende a denoising de frames futuros a partir de frames previos. Cada frame se noisa aleatoriamente y se entrena a denoising por separado, lo que permite generar frames uno a uno durante la inferencia.
Problema identificado: el ruído aleatorio por frame resulta en un mismatch con la inferencia autoregresiva (se acumulan errores en rollouts largos y aparecen artefactos ruidosos).
Solución: post-entrenamiento con self forcing mediante DMD. Esto ajusta el régimen de entrenamiento para que coincida con el comportamiento de inferencia, reduce la acumulación de error, y permite denoising en pocas etapas junto con una forma de one-pass CFG.
Importante: el diseño causal por frame y la fase de self-forcing son claves para que el modelo sea usable en streams interactivos largos sin degradación rápida.
WorldEngine: la librería de inferencia
WorldEngine es la librería de alto rendimiento que Overworld publica para ejecutar Waypoint-1 en tiempo real. Está pensada para aplicaciones interactivas y está escrita en Python, optimizada para baja latencia y alto throughput.
El loop runtime consume: frames de contexto, inputs de teclado/mouse y texto, y produce frames de salida listos para stream. Está diseñada para que puedas integrar el modelo en juegos, demos interactivas o pipelines de creación procedimental.
Rendimiento y métricas concretas
En Waypoint-1-Small (2.3B parámetros) corriendo en una GPU 5090, WorldEngine alcanza:
~30,000 token-passes/segundo (un solo paso de denoising; 256 tokens por frame).
30 FPS a 4 pasos.
60 FPS a 2 pasos.
Es decir, en hardware de consumidor moderno puedes lograr experiencia fluida, sin tener que acceder a clusters enormes.
Optimizaciones que marcan la diferencia
WorldEngine reúne varias optimizaciones que, combinadas, producen el rendimiento observado:
AdaLN feature caching: evita recalcular proyecciones de condicionamiento AdaLN cuando el prompt y los timesteps no cambian entre pasadas.
Static Rolling KV Cache + Flex Attention: diseño de caches y esquema de atención flexible para acceso eficiente a claves/valores a lo largo de frames.
Matmul fusion: fusión de operaciones QKV estándar para reducir overhead en inferencia.
Estas piezas juntas permiten mantener la latencia baja y el throughput alto en el loop interactivo.
Ejemplo de uso (práctico)
WorldEngine expone una API sencilla para prototipar una experiencia interactiva. Aquí tienes un ejemplo que te muestra la idea:
from world_engine import WorldEngine, CtrlInput
# Crear engine de inferencia
engine = WorldEngine("Overworld/Waypoint-1-Small", device="cuda")
# Especificar prompt
engine.set_prompt("A game where you herd goats in a beautiful valley")
# Forzar el siguiente frame opcionalmente
img = pipeline.append_frame(uint8_img) # (H, W, 3)
# Generar 3 frames condicionados por inputs del controlador
for controller_input in [
CtrlInput(button={48, 42}, mouse=[0.4, 0.3]),
CtrlInput(mouse=[0.1, 0.2]),
CtrlInput(button={95, 32, 105}),
]:
img = engine.gen_frame(ctrl=controller_input)
Con esto puedes prototipar desde demos donde solo manejas la cámara hasta juegos completos donde cada tecla activa acciones en el mundo generado.
Aplicaciones y limitaciones prácticas
¿Para qué sirve esto hoy? Algunas ideas concretas:
Prototipado rápido de niveles y mecánicas de juego sin necesidad de modelado 3D.
Experiencias interactivas creativas para instalaciones o arte digital.
Herramientas de diseño procedimental asistido por IA.
Limitaciones a considerar:
Waypoint-1 es fuerte en dinámicas estilo videojuego por su dataset, pero su comportamiento fuera del dominio (por ejemplo, video realista de cámaras humanas) puede ser menos robusto.
Persistencia de estado y coherencia semántica a muy largo plazo siguen siendo retos generales en modelos de mundo.
Eventos y recursos
Overworld organiza un hackathon world_engine el 20 de enero de 2026. Es una buena oportunidad si quieres probar la librería, ganar una GPU 5090 y conectar con fundadores e ingenieros. Para ver demos en vivo puedes visitar: https://overworld.stream
Ha sido diseñado para que desarrolladores y equipos pequeños puedan experimentar y extender el runtime; si te interesa explorar aplicaciones prácticas, es un buen punto de inicio.
Reflexión final
Waypoint-1 combina decisiones de arquitectura y optimizaciones de inferencia para llevar modelos de video interactivos a hardware de consumidor. Técnicas como diffusion forcing y la posterior corrección con self-forcing muestran que entrenar con la inferencia en mente paga dividendos cuando el objetivo es interactividad real.
¿Te interesa construir experiencias interactivas con IA sin depender de infraestructura masiva? Waypoint-1 y WorldEngine son un paso en esa dirección.
