NeuroDiscoveryBench: benchmark de IA para neurodatos | Keryc
La neurociencia genera hoy volúmenes de datos que dejan atrás las herramientas tradicionales. NeuroDiscoveryBench aparece como el primer benchmark diseñado para medir cuánto pueden las IA responder preguntas que exigen análisis directo de datos neuronales abiertos, desde atlas de una sola célula hasta mapas de conectividad.
Qué es NeuroDiscoveryBench y por qué importa
NeuroDiscoveryBench es un conjunto de prueba creado por AI2 en colaboración con el Allen Institute. Su objetivo no es evaluar conocimiento memorístico, sino la capacidad de sistemas de IA para generar respuestas basadas en análisis real de datos. Esto es distinto de otros benchmarks en neurociencia que prueban habilidades diferentes; aquí las preguntas requieren observaciones cuantitativas o hipótesis científicas obtenidas al procesar los datos.
Te preguntarás: ¿qué tipo de preguntas? Algunas ejemplos incluidos son analizar la relación entre el alelo APOE4 y puntuaciones de patología de Alzheimer (ADNC), contar la distribución de genotipos donantes para la clase de neurotransmisor Glut, o identificar la subclase glutamatérgica más frecuente en la región RHP. Estas respuestas no se pueden obtener con una búsqueda web o con memoria previa: dependen del dataset entregado.
Cómo se construyó y qué contiene
Aproximadamente 70 pares pregunta-respuesta basados en tres publicaciones recientes del Allen Institute. Cada pregunta está ligada al conjunto de datos que la hace resoluble.
Se identificaron preguntas relevantes, se reconstruyeron los flujos de trabajo analíticos necesarios y se verificó su ejecutabilidad con una herramienta interactiva de análisis de datos, Asta DataVoyager.
Para consultas complejas, hay versiones "raw" y "processed" del dato: la primera exige transformaciones desde el estado original, la segunda usa datos preprocesados para simplificar el análisis.
También hay un pequeño subconjunto de preguntas llamadas "no-traces" que requieren, además del análisis, una comprensión biológica más profunda.
Los expertos en neurociencia y datos revisaron cuidadosamente la redacción de las preguntas y las respuestas de oro para que fueran claras, no ambiguas y fieles a lo que los datos permiten afirmar.
Cómo se evalúa un sistema
La evaluación entrega al sistema la pregunta y los datos, y espera una respuesta en texto o una figura cuando se solicita. Para respuestas textuales, la función de puntuación compara si el contexto, las variables y las relaciones coinciden con la respuesta de oro. Para figuras, se usa un modelo vision-lenguaje que verifica la corrección visual.
Este pipeline exige varias capacidades combinadas: comprensión de lenguaje natural, manipulación de datos, generación y ejecución de código, razonamiento científico y sentido común. En otras palabras, es multimodal y multifacético.
Baselines y resultados iniciales
Se evaluaron tres enfoques ejecutándose de forma autónoma:
No data: dar la pregunta a un modelo de lenguaje sin el dataset, para ver si el modelo memoriza o infiere sin datos.
No data con búsqueda: igual que el anterior, pero permitiendo búsquedas web.
DataVoyager: la herramienta interpreta la consulta, genera transformaciones y código, ejecuta el análisis sobre el dataset y presenta la respuesta.
Resultados clave:
Las líneas base sin datos obtuvieron puntuaciones bajas: 6% para "no data" y 8% para "no data con búsqueda" (evaluadas con GPT-5.1, razonamiento medio). Eso confirma que la mayoría de preguntas no son resolubles sin el dataset.
DataVoyager (también con GPT-5.1, razonamiento medio, sin búsqueda) alcanzó 35%. Es una mejora notable, pero deja claro que la tarea sigue siendo difícil.
Observaciones importantes: trabajar con los datasets en su forma raw resultó mucho más desafiante; los agentes fallaron frente a transformaciones complejas. Además, en algunos casos la búsqueda web empeoró el rendimiento al traer papers no pertinentes que confundían al modelo.
Lecciones técnicas y oportunidades
Preprocesar importa tanto como el modelo. Herramientas que automatizan wrangling y limpieza tendrán ventaja en datasets biológicos complejos.
Se necesita integración real de capacidades: generar código, ejecutarlo y razonar sobre los resultados es el flujo que produce respuestas válidas.
Evaluar figuras exige modelos vision-lenguaje robustos para comparar visualizaciones con la expectativa científica.
Las preguntas "no-traces" muestran que la colaboración entre expertos humanos y agentes sigue siendo crucial para tareas que involucran conocimiento biológico profundo.
Si trabajas construyendo agentes de análisis de datos, esto te dice por dónde empezar: mejorar la robustez en transformaciones, enriquecer la comprensión semántica de variables biológicas y afinar la evaluación de outputs multimodales.
Qué sigue y por qué te puede interesar
NeuroDiscoveryBench entra a formar parte pronto de AstaBench, la suite de benchmarks de AI2 para tareas científicas. Es un punto de referencia compartido: permite comparar herramientas, medir progresos y enfocar esfuerzos donde la IA todavía tropieza.
¿Significa esto que la IA reemplaza al científico? No. Significa que la IA puede convertirse en asistente valioso para acelerar análisis repetitivos y explorar hipótesis, dejando a los investigadores tiempo para diseño experimental, interpretación y trabajo de laboratorio.
Si desarrollas herramientas o investigas en neurociencia, NeuroDiscoveryBench ofrece un testbed práctico y reproducible para medir cuánto de la carga analítica puede delegarse a agentes hoy, y qué problemas de ingeniería y ciencia faltan por resolver.
