Reseña de investigación | Equipo editorial de SmartAGI
Un asistente responde una pregunta sobre aborto, armas o inmigración. ¿Cómo se comprueba si fue neutral? Jonathan Stray, David Zhai Yang, Steven Luo, Miu Nicole Takagi y Serina Chang proponen una respuesta incómodamente concreta: medir cuánto aprueban la respuesta personas de posiciones enfrentadas y, entre las opciones que no mejoran a un grupo a costa del otro, escoger la que deja la menor distancia entre sus promedios. El método convierte una palabra disputada en una medida que se puede someter a prueba. También obliga a mirar quién dibujó las líneas de la medición.
El paper, publicado como preprint en arXiv en mayo de 2026, presenta PARETO: un estudio con 7.434 participantes reclutados en Estados Unidos, 208.152 evaluaciones en escalas de aprobación y 29.736 comentarios abiertos. Su pregunta importa más allá del laboratorio. Gobiernos y empresas ya exigen o prometen sistemas políticamente neutrales, aunque la neutralidad puede significar cosas distintas: ausencia de sesgo partidista, presentación de varias posiciones, imparcialidad ante una disputa o una respuesta que no enfurezca a ninguno de los bandos. Sin una definición operativa, cada proveedor puede declarar victoria con su propia regla.
La neutralidad se convierte en una frontera
Los autores llaman a su criterio “máxima aprobación igualitaria” (maximum equal approval, MEA). Para cada pregunta comparan la aprobación media de dos grupos que toman posiciones opuestas. Luego identifican la frontera de Pareto: el conjunto de respuestas probadas en que no es posible aumentar la aprobación de un grupo sin reducir la del otro. Sobre esa frontera, MEA elige la respuesta con la menor diferencia entre las dos aprobaciones. En palabras menos matemáticas: entre las opciones que realmente se ensayaron, gana la que obtiene un respaldo alto y relativamente parejo.
Esta definición evita un atajo frecuente. Una respuesta puede sonar moderada y aun así favorecer a un lado; también puede negarse a contestar y parecer imparcial porque no expresó nada. PARETO juzga lo que las personas piensan de respuestas concretas. Los investigadores evaluaron 20 controversias de política pública estadounidense —entre ellas aborto, control de armas, impuesto al carbono, pena de muerte y salario mínimo— y construyeron 200 preguntas a partir de publicaciones reales de Reddit. Las preguntas variaban desde formulaciones neutrales hasta expresiones muy cargadas.
Cinco modelos aportaron sus respuestas predeterminadas: GPT‑5.4, Claude Opus 4.6, Gemini 3 Flash Preview, Grok 4.1 Non-reasoning y Llama Maverick. Para cada pregunta, el equipo añadió respuestas generadas por GPT‑5.4 desde una posición favorable, otra contraria y una “equilibrada”, compuesta por un párrafo breve de cada lado y una frase final sobre los desacuerdos. El experimento reunió así ocho estilos de respuesta por pregunta, 1.600 en total. Cada participante vio cuatro respuestas aleatorias, sin saber qué modelo las había producido, y calificó cada una con siete afirmaciones: si aprobaba la respuesta, si le parecía sesgada o justa, si resumía el asunto, si incluía su posición, y si confiaba en el modelo y volvería a usarlo.
El tamaño del estudio no elimina las decisiones de diseño; permite verlas mejor. Los participantes procedían de Prolific y residían en Estados Unidos. Las posiciones se definieron con preguntas canónicas de encuestas de opinión. Reddit aportó expresiones plausibles de usuarios, no una muestra representativa de todas las consultas que recibe un asistente. La contienda se organizó en dos lados por asunto, aunque una disputa real puede tener más posiciones, grupos y desacuerdos internos. Ese marco es útil para comparar respuestas. No es una fotografía universal de “la ciudadanía”. (Método y muestra)
La respuesta equilibrada ganó el concurso que el propio estudio diseñó
La respuesta equilibrada de GPT alcanzó la medida MEA en 12 de los 20 asuntos: un 60%. Las dos configuraciones siguientes —las respuestas predeterminadas de GPT y Gemini— lo hicieron en tres asuntos cada una, un 15%. La respuesta equilibrada estuvo en la frontera de Pareto en 17 asuntos, el 85%. En promedio, la diferencia de aprobación entre participantes conservadores y liberales fue de apenas 0,01 puntos en la escala usada por los autores. Además, en todos los asuntos hubo al menos una respuesta que superó 0,60 de aprobación en ambos lados. (Resultados y tabla 1)
La respuesta equilibrada tenía una ventaja incorporada en una prueba que premiaba la aprobación compartida y la simetría. El equipo la comparó con respuestas predeterminadas y con textos deliberadamente favorables a cada posición, de modo que el formato fue evaluado contra alternativas concretas. Esa comparación muestra que el diseño “dos párrafos y un reconocimiento final” puede obtener apoyo transversal con una pérdida media inferior al 10% frente a la respuesta que más gustaba a un solo lado. La cifra agregada esconde diferencias considerables entre asuntos.
El dato tiene una consecuencia práctica: un modelo puede lograr adhesión amplia sin convertirse en una máquina de evasivas. Al menos una respuesta obtuvo aprobación relativamente alta de ambos lados en cada asunto. Eso describe un promedio de grupos, no satisfacción universal ni desaparición del desacuerdo. Las puntuaciones medias rara vez superaron 0,70. En aborto y atención sanitaria fue más difícil acercar a los dos grupos; según el tema, el coste de una respuesta equilibrada podía recaer con mayor fuerza sobre uno de ellos. Un promedio común oculta parte de esa distribución.
Los modelos predeterminados también presentaron inclinaciones. GPT, Gemini, Claude y Llama recibieron, en promedio, mayor aprobación liberal que conservadora; Grok no mostró esa diferencia agregada. Sin embargo, la inclinación cambiaba según el asunto: algunos modelos obtenían más aprobación conservadora en temas como vales escolares o protección constitucional del discurso de odio. Las preguntas formuladas con mayor carga política recibieron aprobaciones significativamente menores. Así, la prueba ofrece algo más útil que una etiqueta para cada marca: permite preguntar en qué tema, ante qué formulación y para qué grupo aparece la diferencia. (Resultados por modelo y asunto)
Aprobación: una señal política, no un detector de verdad
Aquí está el límite central. El estudio trata preguntas de política pública cuyos desacuerdos incorporan valores; no fue diseñado para decidir controversias puramente fácticas. Que dos grupos aprueben una respuesta con igual intensidad no demuestra que sea verdadera, completa o justa. Una explicación falsa puede resultar agradable a todos; una respuesta correcta puede molestar a quienes preferían otra conclusión. El propio paper reconoce que aprobación y verdad no son equivalentes y presenta la posibilidad de que el método empuje a los sistemas hacia argumentos más veraces como una hipótesis que exige investigación adicional.
Tampoco basta con poner un argumento de cada lado para producir equilibrio. En los comentarios abiertos, algunas personas objetaron la claridad y coherencia de las respuestas equilibradas o las acusaron de presentar dos posiciones como si tuvieran igual fundamento. El equipo encontró, además, que las preguntas con una carga política más intensa reducían la aprobación. Esa observación corta por ambos lados: los usuarios pueden castigar una exposición que no los complace, y el formato plural puede parecer artificial si aplana diferencias relevantes. La encuesta detecta esa fricción; no decide cuándo un argumento merece más espacio porque cuenta con mejor evidencia.
Los autores no esconden el problema de escoger bandos. Su experimento presupone dos posiciones principales por pregunta; admiten que la inclusión de grupos y la desigualdad de poder son cuestiones disputadas y contemplan adaptar la métrica a más de dos grupos. Su defensa de la simetría formal es explícita: otorgar la misma consideración a cada lado puede dar representación proporcionalmente mayor a una minoría. Es un argumento importante, pero la operación comienza antes de calcular el promedio: alguien debe identificar los grupos, formular la pregunta, decidir qué posiciones cuentan y determinar qué significa aprobar.
PARETO vuelve comprobable una parte de la disputa: cómo reciben distintos grupos una respuesta concreta. No convierte esas decisiones anteriores en neutrales. Si un sistema usado en Chile midiera “a favor” y “en contra” del aborto según categorías importadas de Estados Unidos, podría producir resultados perfectamente precisos para una pregunta mal planteada. También podría dejar fuera a quienes no caben en dos casillas o a quienes soportan las consecuencias de una política sin estar representados en la encuesta. La medición no escoge por sí sola el universo político que debe medir.
La base abierta permite revisar preguntas, respuestas, datos y análisis. La métrica, a su vez, obliga a los fabricantes a exponer qué consideran una respuesta aceptable para grupos enfrentados. El repositorio publica las respuestas, estímulos, datos de encuesta y código para reproducir buena parte de las figuras. Investigadores y reguladores pueden discutir esas decisiones con los materiales delante, en vez de aceptar una puntuación propietaria. (Repositorio de datos y código)
La neutralidad pasa a ser una promesa que puede probarse con personas reales y discutirse a partir de un método explícito. El siguiente examen debería medir qué ocurre con más países, lenguas, grupos y posiciones; cómo cambia el resultado cuando el poder político es desigual; y qué reglas impiden que la búsqueda de aprobación convierta hechos sólidos en otro asunto negociable. Una cifra compartida muestra quién se siente escuchado. La democracia todavía tiene que decidir quién define la pregunta y qué hacer cuando el aplauso no coincide con la verdad.
Fuentes primarias: paper completo en arXiv · datos, respuestas y código PARETO.