Anthropic y Andon Labs probaron si modelos de lenguaje avanzados pueden controlar un dron para tareas de vigilancia en interiores. El experimento combina demostraciones reales con simulaciones reproducibles y da lugar a un nuevo benchmark llamado Drone-Bench. ¿Qué tan cerca están los modelos de asumir control físico sobre robots aéreos y qué riesgos trae eso?
Diseño del experimento y metodología
Trabajaron sobre una tarea clara: localizar y seguir a una persona en una oficina usando un cuadricóptero. Para hacerla medible, Andon Labs descompuso el objetivo en cinco sub-tareas necesarias y reproducibles. Luego virtualizaron esas pruebas para ejecutar muchas corridas rápidas, lo que acelera el análisis frente a depender solo de demos físicas.
Importante: Anthropic no tuvo acceso directo a Drone-Bench; Andon Labs corrió las evaluaciones. El equipo también estableció una línea base realista construida por equipos humano-AI que emplearon agentes de programación para diseñar algoritmos de cada sub-tarea. Una tarea se considera completada si el modelo alcanza o supera esa línea base.
Sub-tareas (resumidas)
- Detección del objetivo desde la cámara del dron.
- Seguimiento (follow) estable del objetivo.
- Reconstrucción espacial del entorno (mapa 2D/3D local).
- Localización precisa dentro del mapa.
- Navegación entre habitaciones evitando obstáculos.
Estos bloques permiten medir exactamente dónde fallan los modelos: ¿en visión, en razonamiento espacial, en planificación o en la integración de todo?
Qué modelos probaron y la tendencia general
Andon probó 15 modelos de tres desarrolladores: GPT-4o, GPT-4o Nov, o1, o3, Claude Opus 4, Gemini 2.5 Pro, GPT-5, Gemini 3.1 Pro, Opus 4.5, GPT-5.2, Opus 4.7, GPT-5.5, Opus 4.8, Fable 5, y GPT-5.6 Sol. La tendencia es clara: los modelos más nuevos avanzan en todas las sub-tareas, pero con fortalezas y debilidades diferenciadas.
En general, los modelos rindieron mejor en detección y seguimiento, y peor en reconstrucción y localización. Esto no es una sorpresa técnica: la visión y tracking pueden aprovechar redes entrenadas para detección, mientras que reconstruir un mapa preciso y usarlo para navegación indoor sigue exigiendo integración espacial compleja.
Hallazgo clave: Claude Fable 5 y qué vino después
El mejor desempeño lo mostró Claude Fable 5. Superó la línea base en todas las sub-tareas excepto reconstrucción. En la prueba con el dron físico, detectó y siguió mejor que la línea base, pero errores en la reconstrucción espacial se compusieron durante localización y navegación, impidiendo que el dron cruzara habitaciones autónomamente.
Ese punto es revelador: no siempre es un salto repentino. Al descomponer la tarea, está claro que falta una pieza (reconstrucción) para que el resto —que está bastante maduro— se combine en autonomía robusta.
Ejemplos técnicos interesantes
- En una ejecución, Fable 5 estimó las extrínsecas de la cámara analizando video del simulador; calculó la inclinación de la cámara con un error de solo cuatro grados usando las líneas de rejuntado del piso para recuperar el punto de fuga. Eso es razonamiento geométrico visual aplicado en tiempo casi real.
- En otra, el modelo generó una reconstrucción 2D top-down del entorno para testear localmente su implementación antes de enviar la solución. Ese ciclo de análisis local-iteración muestra cómo modelos frontera están aprendiendo a validar soluciones antes de actuar.
Consistencia: la diferencia entre pasar una vez y pasar siempre
La evaluación también midió consistencia. Cuando se corrieron diez simulaciones, los modelos alcanzaron la línea base en al menos una corrida para cuatro de las cinco tareas. Pero incluso Fable 5 alcanza la línea base en promedio solo en tres de las cinco tareas. Además, la consistencia mejoró notoriamente seis meses después de que se superara la línea base por primera vez en una corrida aislada.
Eso nos dice dos cosas: la capacidad existe en ráfagas, pero la confiabilidad aún no es uniforme. Y en aplicaciones reales eso marca la diferencia entre asistencias útiles y operaciones autónomas peligrosas.
Limitaciones prácticas y alcance del experimento
Hay que ser claro sobre dónde aplican estos resultados:
- Los vuelos fueron a baja velocidad, en un solo plano de oficina y con pocas personas.
- No se probó al aire libre, en multitudes ni en condiciones adversas de iluminación o clima.
- El hardware usado es comercial off-the-shelf; eso facilita la reproducibilidad pero también deja fuera escenarios militares u otros factores operativos.
En resumen: la señal de progreso es real, pero aún faltan pruebas más diversas y exigentes para afirmar capacidad operacional en el mundo real.
Riesgos, gobernanza y decisiones de diseño humano-AI
Esto es dual-use en estado puro. Aplicaciones legítimas como búsqueda y rescate o respuesta a desastres se benefician, pero la misma pila puede facilitar vigilancia abusiva o usos ofensivos.
Un punto técnico y ético importante: cuando los modelos superan umbrales de capacidad y fiabilidad, la decisión humana tiende a ser vista como un costo. ¿Vas a pedir siempre intervención humana si eso retrasa una tarea que ahora el modelo puede completar razonablemente bien? Esa presión por reducir la supervisión puede ser peligrosa en dominios físicos.
Invertir en alineamiento, gobernanza y medidas de seguridad no es opcional; sube en prioridad a medida que suben las capacidades.
Qué deberían hacer desarrolladores, reguladores y comunidades técnicas
- Expandir
Drone-Bencha escenarios al aire libre, velocidades mayores, y multitudes para medir verdadera capacidad operativa. - Medir y reportar no solo si un modelo puede pasar la línea base sino con qué consistencia y bajo qué variación de condiciones.
- Priorizar pruebas adversariales y red-teaming específicas para robótica aérea.
- Definir umbrales claros de cuándo la supervisión humana es obligatoria y qué forma debe tener (intervención manual, supervisión en ciclo cerrado, logging forense).
- Incentivar transparencia en algoritmos de percepción y en el uso de hardware COTS cuando haya riesgo de abuso.
Reflexión final
Lo más interesante de Project Pilot no es que un modelo detecte o que otro haga tracking. Es que, paso a paso, las piezas para que los modelos controlen hardware físico se están juntando. Eso trae oportunidades concretas para sectores como agricultura y rescate, pero también obliga a anticipar normativas, prácticas de gobernanza y herramientas técnicas para auditar y contener riesgos.
¿Estamos viendo el inicio de drones controlados por IA de forma segura y útil? Sí, en parte. ¿Estamos listos para desplegarlos masivamente sin reglas claras? No. La pregunta ahora es cómo diseñamos esas reglas antes de que la tecnología las imponga por motu proprio.