AssetOpsBench: benchmark de agentes IA para operaciones industriales | Keryc
AssetOpsBench propone algo que muchos benchmarks no hacen: evaluar agentes IA en la complejidad real de la operación industrial, con sus sensores ruidosos, órdenes de trabajo y la necesidad de coordinar varios agentes. ¿Por qué esto importa? Porque en una planta no basta con acertar en una pregunta aislada; hace falta trazabilidad, manejo de fallas y decisiones prudentes bajo incertidumbre.
Qué es AssetOpsBench y por qué importa
AssetOpsBench es un marco de evaluación diseñado para agentes agenticos en gestión del ciclo de vida de activos (por ejemplo, chillers y unidades de manejo de aire). Su objetivo es cerrar la brecha entre los tests académicos y las demandas operativas reales: multi-agente, datos heterogéneos, modos de falla y trabajo en contexto incompleto.
A diferencia de benchmarks que miden tareas aisladas (codificación, navegación web), AssetOpsBench mide cómo los agentes resuelven flujos de trabajo reales, cómo explican sus decisiones y cómo manejan el riesgo cuando la información es parcial o inconsistente.
Contenido del benchmark: datos y escenarios
El dataset y los escenarios son robustos y orientados a operación:
2.3M puntos de telemetría de sensores.
140+ escenarios curados que involucran 4 agentes distintos.
4.2K órdenes de trabajo (work orders) para variedad de casos.
53 modos de falla estructurados, más descubrimiento de nuevos patrones.
Además, expertos revisaron 150+ escenarios y cada caso trae metadata: tipo de tarea, formato de salida, categoría y sub-agentes. Las tareas cubiertas incluyen:
Detección de anomalías en series de sensores.
Razonamiento sobre modos de falla y diagnóstico.
Pronóstico y análisis de KPIs.
Resumen y priorización de órdenes de trabajo.
Si alguna vez trabajaste con un chiller que reporta ruidos extraños y lecturas inconsistentes, entenderás por qué simular esos flujos es crucial antes de confiar en un agente en producción.
Las seis dimensiones cualitativas de evaluación
AssetOpsBench no optimiza un solo score. Evalúa cada ejecución de agente según seis criterios diseñados para reflejar restricciones operativas reales:
Task Completion (finalización de la tarea)
Retrieval Accuracy (precisión al recuperar evidencia)
Result Verification (verificación del resultado)
Sequence Correctness (secuenciación de acciones)
Clarity and Justification (claridad y justificación)
Hallucination rate (tasa de alucinaciones)
Importante: el foco en explicaciones y verificación convierte el fallo en información útil, no en un simple 0/1. En industria, entender por qué falló un agente suele valer más que saber que falló.
TrajFM: analizar fallas a nivel de trayectoria
Una contribución central es TrajFM, un pipeline para analizar trayectorias de ejecución:
Extracción de fallas a nivel de trayectoria guiada por un LLM con prompts diagnósticos.
Clustering basado en embeddings para agrupar patrones recurrentes.
Análisis y visualización para retroalimentación a desarrolladores.
Esta combinación de razonamiento LLM y clustering estadístico permite descubrir fallas emergentes sin depender solo de una taxonomía fija. Eso es clave cuando aparecen modos de fallo nuevos conforme se despliegan diseños de agentes distintos.
Hallazgos técnicos y resultados de la comunidad
Se ejecutó una evaluación comunitaria con 225 usuarios, 300+ agentes y modelos open source. Resultados resumidos:
Familia de modelos
Mejor Planning
Mejor Execution
Limitación clave
GPT-4.1
68.2
72.4
Alucina en workflows complejos
Mistral-Large
64.7
69.1
Dificultad con secuencias multi-herramienta
LLaMA-4 Maverick
66.0
70.8
Falta preguntas de clarificación (arreglable)
LLaMA-3-70B
52.3
58.9
Colapsa en coordinación multi-agente
Ningún modelo alcanzó 85 puntos, umbral definido como listo para despliegue.
Distribución de fallas en 881 trazas de ejecución:
Ineffective Error Recovery: 31.2%
Overstated Completion: 23.8%
Formatting Issues: 21.4%
Unhandled Tool Errors: 10.3%
Ignored Feedback: 8.0%
Other: 5.3%
Además se detectaron 185 trazas con un patrón de falla nuevo y 164 con múltiples fallas nuevas. Patrones recurrentes:
Desalineo entre telemetría, alertas y órdenes históricas.
Conclusiones sobreconfidentes con evidencia incompleta o tardía.
Agregación inconsistente de datos heterogéneos entre agentes.
Selección prematura de acciones sin verificación suficiente.
Fallos en coordinación multi-agente: entradas ignoradas o desajuste acción-razonamiento.
Insights operativos concretos:
Tool usage es un diferenciador: agentes top mostraron 94% de precisión en uso de herramientas vs 61% en los bajos.
Multi-agente multiplica fallas: precisión de tarea single-agent 68% vs multi-agent 47%.
RAG y acceso a manuales/fallas mejora desempeño, pero requiere razonamiento estructurado para ser efectivo.
La ambigüedad (sensores faltantes, logs conflictivos) reduce la tasa de éxito en 34% si el agente no solicita aclaraciones.
Qué significa esto para diseñar agentes industriales
Si desarrollas o evalúas agentes para planta, estos puntos son prácticos:
Diseña estrategias explícitas de verificación y escalado; prioriza deferir acción ante alta incertidumbre.
Implementa clarificación activa (preguntas al operador) cuando la evidencia sea insuficiente.
Modela contextos operacionales y la incertidumbre; agentes que cuantifican confianza producen trayectorias más estables.
Registra y analiza trazas en forma agregada; no expongas datos sensibles, pero sí retroalimentación accionable.
Cómo participar y privacidad
AssetOpsBench-Live está abierto para competencia. Flujo de participación:
Validación local con el entorno simulado que incluye datos representativos y catálogo de fallas.
Conteneriza tu agente y somételo para ejecución remota en escenarios ocultos.
Recibes scores agregados en las seis dimensiones y resúmenes clusterizados de fallas sin exponer trazas crudas.
La evaluación es reproducible y preserva la confidencialidad industrial, entregando feedback diseñado para iterar en el agente sin filtrar datos sensibles.
Reflexión final
AssetOpsBench no es solo otro benchmark: es una herramienta para mover agentes IA desde respuestas aisladas hacia flujos operativos confiables, explicables y capaces de aprender de sus fallas. Si quieres que un agente opere en una sala de máquinas o apoye decisión técnica, necesitas métricas que midan verificación, secuenciación y manejo del error. Este benchmark te da ese espejo.
