¿Qué pasaría si una comunidad intentara reproducir, experimento por experimento, miles de investigaciones de una gran conferencia de inteligencia artificial? Esa fue la pregunta detrás del reto ICML 2026 Open Reproductions, organizado por Hugging Face y alphaXiv. El resultado ofrece una mirada poco cómoda, pero muy útil, sobre lo que realmente significa verificar la ciencia en la era de los agentes de IA.
Un experimento para revisar toda una conferencia
ICML 2026 recibió 23.918 artículos y aceptó 6.352, aproximadamente el doble que el año anterior. Este crecimiento está relacionado, al menos en parte, con herramientas capaces de leer documentos, escribir código, ejecutar experimentos y preparar informes en poco tiempo.
El problema es que la capacidad de revisión no crece al mismo ritmo. La mayoría de los revisores trabaja de forma voluntaria y no siempre tiene tiempo para comprobar cada prueba matemática, configuración experimental o línea de código.
Un artículo puede recibir una buena evaluación aunque el propio revisor admita que no revisó cuidadosamente todas sus demostraciones.
Para poner a prueba esta situación, el reto invitó a la comunidad a reproducir artículos de ICML 2026 entre el 15 de julio y el 2 de agosto de 2026. Los participantes podían utilizar agentes de programación como Claude Code, Codex, Cursor o Pi para analizar los artículos, implementar sus métodos y ejecutar las pruebas.
Cada participante recibió 20 dólares en créditos de cómputo de Hugging Face. En total, se lanzaron 2.962 trabajos en la nube. Cuando un artículo dependía de datos privados o modelos que no habían sido publicados, los equipos podían crear reproducciones pequeñas con datos sintéticos que conservaran las propiedades principales del experimento original.
Qué encontraron los equipos de reproducción
El reto reunió a 1.221 personas y examinó 2.200 artículos. Los resultados muestran que la reproducibilidad no es una categoría de todo o nada.
- 1.103 artículos, el 51%, tuvieron al menos una afirmación verificada de forma independiente.
- 266 artículos fueron reproducidos por completo, con todas sus afirmaciones extraídas confirmadas.
- 632 artículos fueron reproducidos parcialmente y no presentaron afirmaciones refutadas.
- En total, se confirmaron 3.978 afirmaciones individuales mediante experimentos reales.
- 496 artículos, el 23%, tuvieron al menos una afirmación refutada o cuestionada.
- En 49 artículos, ninguna de las afirmaciones pudo ser verificada y todas fueron refutadas.
- En 242 artículos, distintos equipos llegaron a conclusiones opuestas sobre las mismas afirmaciones.
El resto de los casos quedó en una zona intermedia. En 502 artículos solo hubo evidencia a escala reducida, mientras que en 280 no se pudo establecer nada concluyente, principalmente por la falta de código, datos o modelos disponibles.
Esto revela una realidad importante: que un equipo pueda ejecutar el código no significa automáticamente que haya confirmado la investigación. Las decisiones sobre escalabilidad, métricas, datos y condiciones de prueba pueden cambiar por completo el resultado.
Errores matemáticos y experimentales que sí aparecieron
De los participantes, 35 afirmaron haber encontrado una refutación. El equipo organizador revisó esos casos de forma adversarial: volvió a leer los artículos, examinó los registros de trabajo, derivó las matemáticas y, cuando fue necesario, reimplementó los experimentos.
Uno de los casos más llamativos correspondió al artículo “Towards Optimal Robustness in Learning-Augmented Paging”, presentado al inicio de la publicación. El trabajo afirmaba una garantía de robustez para su algoritmo, pero una reproducción observó que un término aditivo crecía con el tamaño del problema. Después de ampliar las pruebas hasta k = 1.024, los organizadores confirmaron que el crecimiento no era ruido experimental, sino una señal de que un paso concreto de la demostración no se sostenía.
Otro artículo, “Attention's Forward Pass and Frank-Wolfe”, aseguraba que ciertas partículas asociadas a tokens colapsaban al origen bajo determinadas condiciones. Tres equipos encontraron contraejemplos, pero en momentos muy distintos, después de 224, 3.800 y 6.416 pasos. Las verificaciones más cortas no detectaban el problema.
El hallazgo recuerda una trampa frecuente en investigación de IA: un resultado puede parecer correcto durante miles de iteraciones y fallar después. Si el experimento termina demasiado pronto, la conclusión equivocada puede parecer sólida.
También apareció una diferencia entre la teoría y el código. En “Self-Distillation Enables Continual Learning”, la sección teórica analizaba la divergencia KL inversa, mientras que el código publicado utilizaba por defecto la KL directa. Según los autores, esa configuración era la que había generado los resultados del artículo. Además, la reproducción no consiguió replicar la mejora principal de cuatro puntos porcentuales usando los datos y el código disponibles.
En “Do Transformers Need Three Projections?”, un participante descubrió que cerca del 66% de las posiciones evaluadas correspondían a tokens de relleno EOS. Como esos tokens tienden a producir una pérdida cercana a cero, reducían artificialmente la perplejidad. Al corregir la evaluación, el supuesto costo de calidad del 3,1% pasó a ser aproximadamente del 9,4%.
La IA también puede equivocarse al refutar
Reproducir un artículo no consiste únicamente en intentar demostrar que está mal. Los agentes también pueden cometer errores al construir una acusación.
En uno de los casos, una bitácora afirmó que el método de un artículo era dos veces más lento que su línea base. Al revisar el análisis, se encontró un error aritmético: se había comparado el tiempo de una trayectoria individual con el tiempo de un lote de 50 trayectorias.
Después de normalizar correctamente las mediciones, los propios datos confirmaron la aceleración de ocho veces reportada por los autores.
Un resultado reproducible no depende solo de tener más cómputo. También exige comparar magnitudes equivalentes y revisar las premisas del experimento.
Los organizadores comenzaron a contactar a los autores de cada hallazgo confirmado. Las respuestas iniciales fueron positivas: varios autores aceptaron los problemas detectados, dos correcciones para arXiv estaban en preparación y, en un caso, el autor ya había corregido silenciosamente el error en una versión más reciente del artículo.
Qué papel les queda a los humanos
La conclusión no es que los agentes puedan reemplazar por completo a los revisores. Más bien, el reto sugiere que el trabajo humano cambia de forma.
Los agentes fueron capaces de leer artículos, escribir implementaciones, lanzar trabajos en la nube y producir informes. Pero también quedaron atrapados en ciclos locales, confundieron comportamientos que dependían de la escala y construyeron refutaciones completas a partir de errores de unidades.
Los resultados más confiables surgieron cuando una persona dirigía el proceso: cuestionaba una suposición, cambiaba la dirección de la investigación o decidía que un experimento no tenía sentido antes de gastar una semana de cómputo.
Hay evaluaciones que siguen siendo difíciles de automatizar. Uno de los artículos estudiaba la generación de imágenes bajo cuantización extrema. Las métricas numéricas indicaban que el sistema no colapsaba, pero la pregunta relevante era visual: ¿las imágenes seguían siendo útiles para una persona?
En ese caso, el agente creó una interfaz para revisar las imágenes y un humano evaluó personalmente 128 pares. Después, el agente verificó la consistencia de las anotaciones. La máquina aceleró el proceso, pero el criterio perceptual todavía dependió de una persona.
Esto se parece más al trabajo de un profesor o investigador principal que al de un simple operador. El humano define el entorno, proporciona acceso a datos y cómputo, plantea preguntas difíciles y corrige el rumbo. El agente se encarga de ejecutar muchas tareas repetitivas a gran velocidad.
Una nueva forma de evaluar la investigación
El reto de Hugging Face no demuestra que todos los artículos de IA sean poco fiables. Sí demuestra que las afirmaciones científicas necesitan más que una revisión superficial, especialmente cuando la cantidad de publicaciones crece impulsada por herramientas automáticas.
La combinación más prometedora parece ser una revisión con agentes, registros públicos, código ejecutable y supervisión humana. Los agentes pueden ampliar enormemente la capacidad de comprobación, pero todavía necesitan dirección, criterio y una evaluación crítica de sus propios resultados.
En otras palabras, la IA no elimina la revisión científica. La convierte en un proceso más amplio, experimental y colaborativo. La pregunta ya no es solo si un artículo fue aceptado, sino qué ocurre cuando alguien intenta reproducir cada una de sus afirmaciones.