Hace poco en Sundance se proyectó el corto 'Dear Upstairs Neighbors', nacido de la colaboración entre animadores veteranos y el equipo de investigación de Google DeepMind. ¿El objetivo? Explorar cómo herramientas generativas pueden integrarse en procesos de cine de autor sin arrebatarle la voz al artista.
De la experiencia personal al lenguaje visual
La directora Connie He partió de una experiencia cotidiana: no poder dormir por los vecinos ruidosos. Esa semilla se convirtió en Ada, una protagonista cuyas alucinaciones escalan de lo absurdo a lo épico.
El equipo de diseño, liderado por Yingzong Xin, definió una estética clara: dormitorio en tonos fríos como refugio, alucinaciones con paleta neón y un lenguaje plástico que cambia según el estado emocional. Ada tiene una silueta muy estricta: mechón y moño que nunca deben ocultar el rostro. Esa regla 2D fue un requerimiento artístico que orientó todo el trabajo técnico.
Herramientas y retos técnicos
El mayor reto fue reproducir estilos pictóricos y reglas visuales muy concretas de forma consistente en secuencias animadas. Los investigadores no solo aplicaron modelos existentes: desarrollaron capacidades nuevas para que los modelos aprendieran conceptos artísticos a partir de pocas imágenes.
Fine-tuning de Imagen y Veo con pocos ejemplos: entrenaron versiones finas de los modelos usando las pinturas y diseños de Xin. El resultado no fue solo color o textura, sino que las redes aprendieron conceptos profundos, como la perspectiva de dos puntos y la prioridad por la silueta.
Importante: el modelo no solo imitó estilos, sino que adaptó formas para respetar reglas 2D imposibles de representar con una escultura 3D rígida.
Video-to-video: mostrar en vez de describir
Para controlar ritmo, timing y encuadre, el equipo evitó depender solamente de prompts de texto. Desarrollaron flujos de trabajo de video-to-video que permiten que una animación cruda (dibujada o 3D) sirva como guía. El modelo transforma ese boceto en la apariencia final, preservando movimiento y ofreciendo un balance ajustable entre control estricto e improvisación creativa.
Ejemplos prácticos:
Ben Knight hizo una animación 3D en Maya; los investigadores usaron la versión afinada de Veo para generar el aspecto final.
Mattias Breitholtz trabajó en TV Paint; el equipo usó Imagen afinado dentro de un flujo con ComfyUI para convertir cuadros en la estética deseada.
La coordinación permitió que cada artista trabajara en su entorno de confort y, aun así, obtener resultados coherentes.
Iteración localizada y refinamiento
Ningún plano salió perfecto a la primera. Se integraron herramientas de refinamiento local para editar regiones específicas sin regenerar todo el clip. Un ejemplo concreto: mejorar la silueta del cabello de Ada añadiendo una máscara y pidiendo al modelo que improvise un mechón que respete la regla de diseño.
Para escenas como un perro aullador pintoresco, usaron Veo en modo image-to-video; la versión sin fine-tuning tendía a lo fotorrealista, así que la versión afinada llevó la imagen hacia la textura pictórica buscada.
Producción, escala y entregables
Para llevar el corto al cine, utilizaron upscaling a 4K con Veo. El equipo afinó el comportamiento del modelo para añadir detalle sin romper la textura pictórica.
La capacidad de producción incluyó integración con Flow y planes de disponibilidad en Google AI Studio y Vertex AI, pensando en las necesidades reales de cineastas que exigen control, escalabilidad y compatibilidad con pipelines profesionales.
Lecciones técnicas y humanas
El proyecto muestra algo que a veces se olvida: la IA es una herramienta que amplifica decisiones humanas, no las sustituye. La colaboración diaria entre animadores y researchers fue clave: los artistas guiaron la intención, y los investigadores tradujeron esas intenciones en capacidades técnicas.
La fine-tuning de modelos con pocos ejemplos puede capturar conceptos artísticos profundos.
Los flujos video-to-video son esenciales cuando el movimiento y el timing cuentan más que la apariencia estática.
Las herramientas de refinamiento local hacen viable la iteración ágil en un entorno de producción cinematográfica.
Mirada final
'Dear Upstairs Neighbors' no es solamente una demostración técnica; es un mapa de cómo la investigación en IA puede integrarse con el oficio del animador para crear narrativas visuales complejas. ¿Te preocupa que la IA desplace al artista? Aquí tienes la respuesta práctica: cuando las herramientas se diseñan junto a los creadores, el resultado suele empoderar la creatividad.
