El problema empieza antes del entrenamiento

Los laboratorios de IA han convertido internet en materia prima. Esa operación parecía tener una regla sencilla: reunir más texto, limpiarlo y entrenar con él. Ahora el material empieza a contener una cantidad creciente de respuestas de modelos anteriores. Si un sistema aprende de páginas escritas por personas y páginas fabricadas por sistemas, ¿qué está aprendiendo exactamente? ¿Más lenguaje, o una versión cada vez más repetida de sí mismo?

El preprint *How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text*, publicado en arXiv el 30 de septiembre de 2026, intenta poner números a una parte del problema. Jenna Russell y sus coautores describen Wild AI, una extensión de FineWeb que clasifica documentos de internet como humanos o generados por IA, y entrenan 800 modelos pequeños con distintas mezclas de ambos tipos de texto. El trabajo compara después cuánto les cuesta predecir varios conjuntos de evaluación. La pregunta es de ingeniería y economía del entrenamiento: dado un presupuesto de datos, ¿qué mezcla mejora el objetivo elegido? El valor cultural de la prosa automática queda fuera del experimento.

El equipo estima que los textos etiquetados como generados por IA representan el 27,5% de los tokens de su rastreo de junio de 2026 y el 31,1% en agosto. Es fácil convertir esos porcentajes en el titular «un tercio de internet ya es IA». El estudio no mide internet entero. Para construir Wild AI, una extensión de FineWeb, los investigadores aplican filtros de calidad y usan EditLens para preseleccionar documentos probablemente artificiales; Pangram verifica después documentos con etiquetas de alta confianza. La serie mensual tiene otro diseño: Pangram clasifica 5.000 documentos por cada mes incluido en la serie para el que hay un rastreo de Common Crawl disponible, extraídos de los textos que superan los filtros de FineWeb. El número describe ese procedimiento, esa muestra y ese universo de páginas rastreadas; no permite afirmar qué proporción de todo lo que se publica en la red fue redactada por una máquina.

Esa diferencia cambia el alcance de la cifra. Pangram forma parte del instrumento con que el estudio clasifica la web. Los autores informan tasas de falsos positivos y negativos tomadas de otro trabajo, y presentan pruebas adicionales sobre páginas anteriores a ChatGPT. La selección inicial de EditLens también tiene consecuencias. El propio artículo advierte que el corpus Wild AI, por diseño, está enriquecido con documentos que el primer clasificador considera probablemente artificiales; su distribución no equivale a una muestra natural de internet. El lector recibe una medición útil para estudiar tendencias y entrenamientos, junto con la incertidumbre introducida por el procedimiento.

Una respuesta depende de qué se quiera enseñar

El experimento de entrenamiento produce una conclusión menos vistosa que el porcentaje, pero más relevante para los laboratorios. Cuando el objetivo es predecir texto humano, añadir datos generados por IA ayuda si escasea el material humano. A medida que aumenta la cantidad de texto humano disponible por parámetro del modelo, el beneficio desaparece y puede volverse un coste. En la evaluación C4, el porcentaje de texto sintético que minimiza la pérdida cae de 37% cuando el presupuesto humano es reducido a cerca de 1% con veinte tokens humanos por parámetro.

«Pérdida» es una medida de cuán bien predice el modelo el siguiente token; una reducción suele indicar mejor ajuste al conjunto de evaluación. Esa cifra describe predicción, no razonamiento, utilidad, seguridad ni calidad general. La distinción importa porque los resultados sostienen una afirmación delimitada: la mezcla conveniente cambia con la cantidad de datos humanos y con el tipo de texto que se espera que el modelo procese.

Para evaluar texto generado por IA, la respuesta se invierte. Los modelos mejoran al recibir mucho más texto sintético cuando también se los mide frente a texto sintético. Esa simetría tiene sentido: un sistema puede aprender con eficacia el registro que después se le pedirá predecir. También revela una trampa de evaluación. En uno de los análisis, añadir texto de IA elevaba la pérdida en la parte humana de un conjunto mixto, mientras una validación con 22,3% de texto etiquetado como IA presentaba como mejora el 95,5% de esas ejecuciones perjudiciales. Si se mezcla todo en un solo número, la facilidad para predecir textos sintéticos puede ocultar una caída en la predicción de textos humanos.

La consecuencia práctica del paper es clara: medir por separado. Los autores proponen separar los resultados sobre textos humanos y sintéticos, en lugar de dejar que una validación combinada decida por ambos. En una comparación directa, entrenaron modelos de 19,9 y 35,8 millones de parámetros con veinte tokens humanos por parámetro y añadieron datos en sucesivas pasadas: repetir el corpus humano redujo la pérdida en C4 más que incorporar texto nuevo de IA. Los resultados sobre otras evaluaciones son análisis distintos; allí el paper estima qué mezcla de datos minimiza la pérdida para cada objetivo. El experimento directo es acotado y no establece una regla para todos los tamaños, idiomas y tareas. En el conjunto total, los modelos tienen entre 19,9 y 973 millones de parámetros, y la ley propuesta se ajusta con modelos de hasta 268 millones antes de probarse en los mayores.

El artículo extrapola sus resultados y calcula que, si la participación de texto artificial sigue la trayectoria observada, llegaría a 42,3% al cierre de 2027 y a 50,7% al cierre de 2028. A partir de esa proyección estima que entrenar sin filtrar podría requerir hasta tres veces el cómputo de una receta basada en la parte humana para igualar su pérdida en C4. Son escenarios producidos por una ley de escalamiento y una extrapolación temporal, no mediciones del futuro. Además, los autores estudian solo el preentrenamiento de texto web en inglés y reconocen que los modelos son demasiado pequeños para evaluar capacidades significativas. Sus conclusiones sobre modelos de frontera aún esperan una prueba directa.

El equipo declara cuánto trabajo hizo la IA

El recuadro de uso de IA merece una lectura atenta. Los autores dicen que agentes de programación propusieron y probaron formas de la ley matemática; sugirieron experimentos, incluido el de repetir datos humanos; dieron comentarios sobre metodología; diseñaron y ejecutaron el entrenamiento de todos los modelos aditivos; implementaron todo el código experimental; extendieron FineWeb con datos recientes y prepararon tablas y figuras que acabaron en el manuscrito. El equipo afirma haber revisado y validado el trabajo y asumir responsabilidad por el texto y los resultados. También declara apoyo y financiamiento de Pangram Labs, empresa cuyo detector interviene en el estudio.

La divulgación permite saber qué parte del trabajo se automatizó y qué juicios declaran haber conservado los autores. Pangram aparece tanto en la cadena de medición como entre quienes financiaron el proyecto; conocer esa relación ayuda a interpretar el origen del detector y hace valioso que los datos y el código sean públicos. Wild AI y los 800 modelos se anuncian como materiales disponibles para que otros equipos examinen las decisiones de clasificación y repitan experimentos.

El mérito del estudio es bajar una discusión abstracta —la posibilidad de que la IA se alimente de su propia producción— al terreno de presupuestos, conjuntos de evaluación y decisiones de filtrado. Su hallazgo más útil para un laboratorio es que una métrica combinada puede registrar progreso mientras el sistema empeora en una de las poblaciones que deberá procesar. Si el modelo tendrá que leer documentos humanos, hay que medir cómo responde ante ellos. Si también consumirá texto sintético, esa competencia requiere su propio resultado.

El porcentaje de Wild AI llamará la atención. La pregunta que debería seguirlo es más incómoda para la industria: ¿qué clase de lenguaje está premiando cada conjunto de entrenamiento y qué queda escondido cuando el laboratorio lo reduce a una sola cifra? La estimación mensual se apoya en las etiquetas de Pangram aplicadas a una muestra filtrada, no en una clasificación manual y exhaustiva de la web. El propio estudio ofrece a los laboratorios una medida inmediata: publicar por separado la pérdida sobre texto humano y sobre texto generado por IA. Así se puede saber qué población mejora cuando una nueva mezcla de datos parece elevar el rendimiento general.

Fuente principal

Jenna Russell et al., “How Much Is an AI Token Worth? Scaling Laws for Wild AI-Generated Web Text”, arXiv:2609.40295v1, 30 de septiembre de 2026. Texto completo, metodología y declaración de uso de IA: versión HTML. Datos y código: repositorio WildAI.