Theorizer crea teorías científicas desde miles de papers | Keryc
Imagina que en minutos puedes obtener hipótesis estructuradas sobre un área entera de investigación en lugar de pasar meses leyendo papers. ¿Suena a ciencia ficción? Theorizer lo pone en versión experimental: una herramienta que sintetiza leyes científicas a partir de literatura académica usando una pipeline multi-LLM.
Qué hace Theorizer y por qué importa
Theorizer no se limita a resumir artículos. Su objetivo es identificar regularidades que se repiten a través de estudios y convertirlas en afirmaciones testables. Cada salida está organizada en tuplas LAW, SCOPE, EVIDENCE:
LAW: la afirmación cualitativa o cuantitativa (por ejemplo, 'X incrementa Y' o un intervalo numérico).
SCOPE: condiciones y límites donde la ley aplica (p. ej., 'solo para R pequeños', o 'no válida si P está presente').
EVIDENCE: el soporte empírico extraído y trazado a papers concretos.
Además, Theorizer genera un nombre y descripción alta para situar la teoría en el panorama literario. Piensa en esto como una forma de comprimir cientos de resultados en una ley con condiciones claras, algo parecido a cómo las leyes de Kepler condensaron siglos de observaciones.
Arquitectura y pipeline (alto nivel)
La pipeline tiene tres etapas principales:
Literatura y descubrimiento: parte de una consulta del usuario ('hazme teorías sobre X') y recupera hasta 100 papers relevantes. Usa reformulación de la consulta, PaperFinder, Semantic Scholar para PDFs de acceso abierto y un flujo OCR para extraer texto. Si la lista queda corta, expande la búsqueda rastreando referencias dentro de los papers.
Extracción de evidencia: Theorizer construye un extraction schema específico según la consulta (entidades, variables, resultados relevantes). Un modelo barato llena ese esquema para cada paper y produce registros JSON que alimentan la síntesis.
Síntesis y refinamiento: agrega la evidencia y genera teorías con un prompt preconfigurado. Luego aplica un paso de autorreflexión para mejorar consistencia, atribución de evidencia y especificidad. También genera autoevaluaciones de novedad y filtra leyes demasiado cercanas a afirmaciones ya conocidas. Si el conjunto de evidencia excede la ventana de contexto, la evidencia se submuestrea aleatoriamente.
Modelos y componentes técnicos
En la referencia usan GPT-4.1 para generación de esquemas, teorías y reflexión, y GPT-5 mini para extracción masiva de evidencia. Otros componentes son PaperFinder, Semantic Scholar, OCR y un pipeline de backfill de referencias. El output de extracción está en JSON, lo que facilita agregación y análisis cuantitativo.
Cómo evaluaron calidad y predicción
Definieron cinco desiderata para una buena teoría: especificidad, soporte empírico, capacidad predictiva, novedad y plausibilidad. Como probar miles de teorías con experimentos reales no es viable, usaron dos enfoques complementarios:
LLM-as-a-judge: modelos valoran la calidad de teorías según los cinco criterios. Compararon generación paramétrica (solo lo que el modelo ya sabe) vs. generación respaldada en literatura (el modo por defecto de Theorizer).
Backtesting para precisión predictiva: generan predicciones a partir de cada ley, buscan papers posteriores que puedan verificarlas, y juzgan si cada paper apoya, contradice o no aporta evidencia. Con esto obtuvieron estimaciones de precisión y recall.
Resultados clave:
La versión con soporte de literatura es casi 7 veces más costosa que la paramétrica, pero produce teorías más precisas y predictivas.
En generación enfocada a precisión, ambas aparecen con alta precisión (aprox. 0.88-0.90). La diferencia aparece en recall: literatura-soportada logra ~0.51 vs ~0.45 paramétrica.
En modo novedad, el impacto es mayor: precisión sube de 0.34 a 0.61 y recall de 0.04 a 0.16 cuando se añade literatura.
Saturación y diversidad: la generación paramétrica recicla lo conocido y satura rápido. Tras 40 teorías, el método combinado mantiene más diversidad; 32% de las afirmaciones no son duplicadas.
En la evaluación de backtesting, probaron 2,983 leyes contra 4,554 papers en 16,713 evaluaciones ley-paper, usando como ventana temporal la primera anual posterior al cutoff de conocimiento de GPT-4.1 y reservando los 6 meses más recientes para evaluación.
Costos, limitaciones y riesgos técnicos
Tiempo y costo: cada consulta toma aproximadamente 15-30 minutos en la configuración del experimento y es paralelizables, pero la versión con recuperación de literatura incrementa recursos y costes.
Cobertura: depende de papers de acceso abierto, por lo que funciona mejor en campos con mucha literatura abierta, como AI/NLP.
Sesgos y falsos positivos: la literatura favorece resultados positivos, lo que dificulta hallar evidencia contradictoria. Theorizer puede producir teorías parcialmente correctas o engañosas. Trata los outputs como hipótesis para explorar, no como verdades definitivas.
Submuestreo de evidencia: cuando la evidencia supera la ventana de contexto, se elige aleatoriamente; eso puede dejar fuera estudios relevantes.
Qué publican y cómo te puede servir
AllenAI publica el código de Theorizer en GitHub, con UI, API y todos los prompts. El pipeline de referencia usó GPT-4.1 y GPT-5 mini, pero no obliga a usar esos modelos. También liberan un dataset de aproximadamente 3,000 teorías (2,856 en la corrida reportada) sintetizadas desde 13,744 papers usando 100 queries representativos. Cada teoría incluye resúmenes LLM de la evidencia por paper.
Si trabajas en AI/NLP, esto puede ser un punto de partida para explorar patrones emergentes rápidamente. Si eres investigador, Theorizer puede acelerar la identificación de huecos y generar predicciones para backtesting o nuevos experimentos.
Importante: Theorizer es una herramienta de investigación. Sus salidas son hipótesis generadas algorítmicamente, útiles para guiar trabajo humano, no para reemplazar la validación experimental.
Reflexión final
La idea central es sencilla pero potente: cuando la literatura crece más rápido de lo que cualquier persona puede leer, automatizar la síntesis en forma de teorías estructuradas tiene sentido. Theorizer no sustituye el juicio científico; lo potencia, ofreciendo un atajo para explorar, priorizar y diseñar experimentos a mayor escala. ¿Estamos listos para aceptar leyes sugeridas por máquinas? No sin validarlas, pero sí podemos aceptarlas como una lupa que nos ayuda a ver patrones que, de otro modo, seguirían dispersos en cientos de artículos.
