Pediste que un agente arme un sitio con monumentos de París en 3D a partir de imágenes. No abrí un generador de imágenes. No toqué una herramienta de reconstrucción 3D. El agente llamó a dos Hugging Face Spaces y ensambló todo: imágenes, reconstrucciones en splats gaussianos, compresión, visor y despliegue estático. ¿Suena mágico? Es ingeniería por bloques, y ya está aquí.
Qué hace agents.md y por qué importa
Hasta ahora, el problema no era tanto entrenar un buen modelo de imagen, video, TTS o 3D. El problema real era integrar: SDKs, pesos, GPUs, formatos de entrada, polling. Si cada modelo fuera un bloque documentado y fácilmente invocable, un agente podría pegarlos como si fueran paquetes npm.
Eso es exactamente lo que agents.md entrega en un Space Gradio: la receta mínima para que un agente invoque ese servicio. Un curl https://huggingface.co/spaces/VAST-AI/TripoSplat/agents.md devuelve en una sola pasada lo necesario: la URL del esquema, plantillas de llamada y poll, cómo subir archivos y la pista de autenticación. Con eso, un agente puede usar el Space de punta a punta.
Ejemplo práctico: la galería con TripoSplat
El autor puso a trabajar un agente que encadenó dos Spaces: uno para generar imágenes y otro para reconstruir 3D desde una sola vista.
- Generación de imagen: un Space de imagen (por ejemplo ideogram4) produce vistas aisladas en fondo negro, listas para reconstrucción.
- Reconstrucción 3D:
VAST-AI/TripoSplattoma cada imagen y genera un splat gaussiano en formato.ply.
Desde ahí el agente hizo la “pega” automática:
- Detectó que los outputs estaban en Y-down y los rotó para dejarlos upright.
- Auto-encuadró cada monumento y recortó según la composición.
- Comprimió los
.plya.ksplat(aprox. 3x más chicos) para cargas rápidas en el navegador. - Construyó un visor con Three.js: scroll para cambiar modelo, drag para rotar, transiciones cinemáticas.
- Desplegó todo como un Space estático.
Las únicas decisiones humanas fueron de gusto: "más zoom", "cambia el obelisco por otra forma", "acorta la transición". El resto fue iteración automática: el agente reaccionó cuando una pirámide de vidrio splatteaba mal o cuando la reconstrucción infería el reverso de una vista única.
¿Qué endpoints y formatos usa un agente?
El patrón es simple y repetible. Un agents.md describe cosas como:
GET .../gradio_api/info(esquema)POST .../gradio_api/call/v2/{endpoint}con un cuerpo tipo{param_name: value, ...}para llamadasGET .../gradio_api/call/{endpoint}/{event_id}para hacer poll al resultadoPOST .../gradio_api/upload -F 'files=@file.ext'para subir archivos- Auth: Bearer $HF_TOKEN
No necesitas una librería cliente ni integraciones hardcodeadas. Un agente lee el agents.md, pone su HF_TOKEN, y ya puede orquestar flujos.
Implicaciones técnicas y de producto
Esto no es solo una curiosidad. Sigue la lógica de la "building block economy" que Mitchell Hashimoto describió: el camino más efectivo para construir software hoy es orquestar componentes pequeños y bien documentados, no reinventar monolitos pulidos.
En multimedia eso cambia varias cosas:
- La barrera técnica baja: montar pipelines imagen → 3D → streaming ya no exige instalar y adaptar cada modelo.
- Iteración rápida: un agente puede probar combinaciones, detectar fallos (formats, orientaciones, artefactos) y corregir sin intervención humana constante.
- Reutilización y composición: outputs de un Space se vuelven inputs de otro con mínima fricción.
Técnicamente, esto impulsa arquitecturas más modulares y orientadas a la orquestación: agentes que interpretan descripciones (agents.md), disparan endpoints, manejan polling y transformaciones (rotar, recomprimir, convertir formatos), y despliegan resultados.
Cómo probarlo tú mismo
- Copia el
agents.mdde un Space que te interese:curl https://huggingface.co/spaces/ideogram-ai/ideogram4/agents.md. - Copia el
agents.mdde TripoSplat:curl https://huggingface.co/spaces/VAST-AI/TripoSplat/agents.md. - Pega los enlaces en tu agente de código preferido (Claude Code, etc.), añade
HF_TOKENy pídele que arme un pipeline: imagen → TripoSplat → visor web.
El repositorio del Space contiene scripts reproducibles que muestran exactamente las llamadas que hizo el agente. Es una gran plantilla para experimentar.
Al final, la construcción de software multimedia deja de ser establecer infra y pasar a ser diseño de orquestación: definir los bloques, sus transformaciones y las reglas que los conectan.
La próxima vez que veas una demo impresionante en la web, pregúntate: ¿fue un monolito pulido o una orquesta de bloques bien documentados? Yo apuesto por lo segundo.