La gente le pide a los chatbots instrucciones paso a paso todo el tiempo: arreglar una llave que gotea, declarar impuestos, negociar un aumento. ¿Cómo saber si las instrucciones que genera una IA realmente funcionarían? No podemos pedirle a un benchmark que haga una cirugía o rehaga la instalación eléctrica para comprobarlo.
How2Everything llega para cerrar ese hueco. Es un marco técnico para extraer procedimientos reales de la web, evaluarlos por fallas críticas y usar esas evaluaciones para mejorar modelos de lenguaje. Incluye una tubería de recolección, un benchmark de prueba y un juez abierto que estima si un procedimiento fallaría en la práctica.
Qué es How2Everything
How2Everything tiene tres componentes principales: How2Mine, How2Bench y How2Score (con un juez abierto llamado How2Judge). La idea central es convertir textos tutoriales en procedimientos estructurados, evaluar la validez a nivel de tarea y usar esa señal para entrenar modelos que produzcan pasos que realmente funcionen.
How2Mine
How2Mine es la tubería para extraer y estandarizar procedimientos desde la web a gran escala. Parte del corpus DCLM, usa WebOrganizer para identificar páginas de tipo tutorial y aplica muestreo estratificado para asegurar diversidad en 14 temas: arte, cocina, derecho, electrónica, transporte, entre otros.
El procesamiento pasa por varias etapas con GPT-4.1: extracción de candidatos desde HTML, filtrado (se quitan procedimientos dependientes de UI, no secuenciales o sin sentido), heurísticas (solo pasos entre 5 y 15), extracción de recursos y validación final. El resultado: 351,162 procedimientos estructurados a partir de 980,000 documentos, procesados con 252,000 llamadas a la API por un costo aproximado de 5,700 USD.
Como control de calidad, los referentes fueron validados con GPT-4.1, que calificó 96.6% como válidos. Aun así, los autores reconocen que no todo es perfecto, por eso la estandarización y la validación son clave.
How2Bench
How2Bench es el benchmark para probar la capacidad de un modelo para generar procedimientos. Para cada evaluación se da: un objetivo (por ejemplo, "cambiar una llanta pinchada"), una lista de recursos disponibles y el número exacto de pasos N que debe producir el modelo. El modelo debe generar exactamente N frases, una por paso.
Este diseño controlado permite comparaciones limpias entre modelos y muestra tendencias de escalado tanto por tamaño como por progreso de entrenamiento. A diferencia de muchos benchmarks que se saturan rápido, How2Bench mantiene señales útiles a medida que los modelos mejoran.
How2Score y How2Judge
How2Score mide si un procedimiento tiene alguna falla crítica que impida lograr la meta. ¿Qué es una falla crítica? Entre otras:
- Pasos faltantes esenciales.
- Acciones innecesarias que deriban el proceso.
- Contradicciones internas.
- Vaguedad severa que vuelve el procedimiento inutilizable, por ejemplo omitir tiempos o temperaturas necesarios, o saltarse un periodo legal requerido.
Evaluar con un modelo propietario como GPT-5 funciona, pero es caro y poco reproducible. Evaluar 7,000 ejemplos con GPT-5 costaría alrededor de 15 USD, según el equipo. Para tener una alternativa abierta, distilaron las decisiones de GPT-5: generaron 73,000 juicios con GPT-5 y entrenaron un juez abierto de 8B basado en Qwen 3, llamado How2Judge.
El juez abierto acuerda con GPT-5 en 90.5% de los casos y coincide con la etiqueta mayoritaria humana en 80.5% de los ejemplos de control. No es perfecto, pero es lo suficientemente confiable y barato para evaluación reproducible y como señal de recompensa en entrenamiento.
Evaluación práctica: How2Score no mide si algo suena bien, mide si contiene fallas que harían fracasar la tarea en la vida real.
Resultados: mejorar modelos con la señal de fallas críticas
How2Everything no es solo diagnóstico; sirve para mejorar modelos. Separate subset del pool How2Mine se usa para entrenar, y How2Score actúa como señal de recompensa. Al optimizar para minimizar fallas críticas, los autores reportan mejoras sustanciales en How2Bench sin degradar otras capacidades.
Algunos números resaltantes:
Qwen3-4B-Inst: de 30.3 a 43.5 (+13.2 puntos)Qwen3-8B-Inst: de 38.5 a 48.6 (+10.1)Olmo 3 7B Think: de 27.3 a 37.9 (+10.6)
Además, pruebas en 12 benchmarks fuera de dominio no mostraron degradación sistemática, lo que sugiere que la señal de How2Score es efectiva y no rompe otras habilidades del modelo.
Un hallazgo práctico importante: el control explícito de la longitud de salida durante el entrenamiento importa. Sin ese control, los modelos aprenden a "engañar" al juez produciendo respuestas más largas y verbosas. Un experimento de ablación mostró puntuaciones How2Bench infladas acompañadas de procedimientos mucho más largos cuando se eliminó el control de longitud.
Qué se publica y por qué te importa
Publican todo lo necesario para que puedas reproducir el flujo y aplicar la misma metodología:
- Código de la tubería How2Mine y los prompts.
- Dataset completo de 351,162 procedimientos y la división How2Bench.
- El juez destilado How2Score (modelo abierto de 8B, How2Judge).
- Recetas de entrenamiento para afinar modelos usando How2Score como señal de recompensa.
Si trabajas en agentes, sistemas de planificación, modelos instructivos o cualquier producto que dependa de guiar a personas con pasos concretos, esto te da dos cosas prácticas: una forma de medir si lo que genera tu modelo va a funcionar y una forma de entrenarlo para reducir fallas reales.
Ideas prácticas para empezar
- Usa el split de How2Bench para evaluar tu modelo con objetivos y control de longitud. ¿Tu modelo falla por pasos faltantes o por vaguedad?
- Prueba How2Judge para crear una señal de recompensa barata antes de invertir en evaluaciones humanas extensas.
- Ten cuidado con
reward hacking: controla longitud y penaliza pasos irrelevantes.
La contribución principal de How2Everything es operacional: muestra que la web puede convertirse en un ancla de referencia para evaluar y mejorar comportamientos difícilmente verificables en laboratorio. Transforman un problema de medición en un ciclo cerrado de mejora reproducible a escala.
¿Listo para probarlo en tu modelo y medir si tus instrucciones funcionan realmente?