Los modelos de lenguaje no solo necesitan más datos: necesitan datos adecuados para cada idioma y comunidad. Un equipo de investigadores tailandeses adaptó el kit abierto Dolma, de Ai2, para crear Mangosteen, un corpus de 47.000 millones de tokens diseñado específicamente para entrenar modelos de IA en tailandés.
El resultado pone sobre la mesa una idea importante: limpiar menos datos, pero con mejores criterios locales, puede ser más útil que acumular enormes cantidades de texto de internet.
Dolma permite adaptar la curación de datos
Dolma es un conjunto de herramientas de código abierto para construir y limpiar los grandes corpus utilizados en el entrenamiento de modelos de lenguaje, incluidos los modelos abiertos OLMo de Ai2.
La diferencia está en que Ai2 no publicó únicamente un dataset terminado. También liberó el proceso para que otros investigadores pudieran inspeccionarlo, modificarlo y reproducirlo. ¿Por qué importa esto? Porque las reglas que funcionan para el inglés no necesariamente funcionan para el tailandés, el español o cualquier otro idioma.
El proyecto Mangosteen aprovechó esa flexibilidad. En lugar de crear una canalización de curación desde cero, el equipo partió de Dolma y concentró sus esfuerzos en adaptar cada etapa a las características del tailandés.
La apertura de las herramientas permitió que investigadores locales ajustaran la tecnología con conocimientos que los equipos externos difícilmente podrían aportar por sí solos.
El problema de los datos tailandeses
Buena parte de los datasets públicos en tailandés se había construido principalmente con web crawls, es decir, grandes recopilaciones automáticas de páginas de internet. El equipo descubrió que esas colecciones no siempre habían sido revisadas de forma suficiente por hablantes nativos.
Además, podían incluir contenido poco apropiado para el entrenamiento y dejar fuera fuentes valiosas, como:
- Libros.
- Artículos de investigación.
- Sitios web oficiales.
- Subtítulos de YouTube.
Para un equipo pequeño, diseñar desde cero un sistema completo de extracción, filtrado, deduplicación y evaluación habría requerido demasiado tiempo. Dolma ofreció una base funcional, pero también reveló que algunas de sus decisiones debían cambiarse para trabajar correctamente con el tailandés.
Cuando las reglas del inglés no funcionan
Uno de los problemas apareció en la deduplicación a nivel de oración y párrafo. Estas técnicas buscan eliminar contenido repetido para evitar que un modelo vea muchas veces el mismo texto durante el entrenamiento.
Sin embargo, el tailandés no marca los límites de las oraciones de la misma manera que el inglés. Al aplicar directamente esas reglas, el equipo descubrió que podía eliminar casi todos sus datos. La solución fue conservar la deduplicación a nivel de documento y URL, que sí resultaba útil, y rediseñar los procesos más dependientes de la estructura del idioma.
También sustituyeron herramientas específicas, ajustaron los filtros de calidad y agregaron reglas para reconocer patrones frecuentes en páginas tailandesas. Un ejemplo fueron ciertos sitios de noticias que solo contenían fragmentos incompletos seguidos de mensajes como "Read More". Sin un filtro adicional, esas páginas podían entrar al corpus como si fueran artículos completos.
Un corpus más pequeño, pero más útil
El equipo utilizó sus adaptaciones para crear Mangosteen y lo comparó con grandes fuentes de datos web, entre ellas Common Crawl y FineWeb2. Esta última ya había sido limpiada y preparada para el entrenamiento de modelos.
La canalización de Mangosteen eliminó más del 80 % de los datos iniciales de Common Crawl y casi la mitad de FineWeb2. A pesar de trabajar con menos información, los modelos mantuvieron o mejoraron su rendimiento frente a modelos entrenados con los datasets más grandes.
Ese resultado desafía una suposición muy extendida: que un corpus mayor siempre produce un modelo mejor. En realidad, un conjunto de datos con menos duplicados, menos contenido incompleto y mayor presencia de fuentes relevantes puede ofrecer una señal de entrenamiento más valiosa.
Mejor representación de la cultura tailandesa
Las mejoras también aparecieron en modelos de mayor tamaño. Los modelos entrenados con Mangosteen obtuvieron un rendimiento superior en evaluaciones de conocimiento cultural tailandés.
Esto no significa que el modelo se vuelva automáticamente perfecto o que comprenda una cultura como lo haría una persona. Sí sugiere que incluir fuentes locales y aplicar criterios definidos por hablantes de ese idioma puede ayudar a representar mejor la historia, las referencias y el contexto de una comunidad.
La lección es aplicable a muchos países. Un modelo entrenado principalmente con datos globales o anglosajones puede responder bien en tareas generales, pero fallar cuando debe interpretar instituciones, expresiones, personajes históricos o referencias culturales locales.
La importancia de abrir el proceso
El caso de Mangosteen muestra que la transparencia no consiste únicamente en publicar los pesos de un modelo o descargar un dataset. También implica compartir las herramientas y decisiones que determinan qué datos llegan al entrenamiento.
Con acceso al código de Dolma, el equipo pudo inspeccionar la arquitectura de la canalización, cambiar sus componentes, probar nuevas reglas y reproducir los resultados. Ese control les permitió construir un corpus orientado a las necesidades de los usuarios tailandeses, en lugar de aceptar sin modificaciones un proceso diseñado para otro contexto.
La IA multilingüe no mejora solo agregando más idiomas a una lista. También necesita datos seleccionados con conocimiento de cómo se escribe, se publica y se vive en cada comunidad.
Mangosteen es un ejemplo concreto de cómo las herramientas abiertas pueden distribuir la innovación. Un grupo pequeño no tuvo que reconstruir toda la infraestructura, y pudo invertir su tiempo en resolver los problemas que realmente importaban para su idioma.
A medida que los modelos de lenguaje se expanden, esta capacidad de adaptación será cada vez más importante. La pregunta no será únicamente cuántos tokens tiene un modelo, sino quién seleccionó esos tokens, con qué criterios y para quién funciona mejor la tecnología.