SmartAGI · Reseña de investigación · 3 de octubre de 2026

Una de las escenas de PoliticsBench empieza con cámaras policiales instaladas para detener asaltos. La conversación avanza hasta que el delito cae un 40 por ciento, pero el sistema marca por error a una persona, la interroga y deja su nombre en una lista de sospechosos. ¿Qué debería pesar más: la privacidad o la seguridad? Los autores construyen dilemas de este tipo para examinar cómo los modelos de lenguaje justifican decisiones políticas cuando una conversación los presiona para fijar prioridades. La prueba se aparta de un método habitual: pedir una opinión en una línea y tratar la respuesta como si revelara una ideología estable.

El estudio de Rohan Khetan y Ashna Khetan organiza veinte situaciones en cuatro etapas: conflicto inicial, lealtades enfrentadas, presión externa y resolución. En cada etapa, el modelo produce dos respuestas dentro del papel asignado: en “Thinking” describe sus pensamientos y sentimientos; en “Response” decide cómo actuar. Luego reflexiona sobre esa respuesta, los valores que parece mostrar y lo que haría distinto. Un panel de tres jueces de IA puntúa diez rasgos, entre ellos igualitarismo, respeto a la autoridad, responsabilidad individual y colectiva, y pragmatismo; también evalúa cuánto se compromete el modelo con una posición. Un debrief final, ya fuera del papel, revisa la conversación completa. Se probaron ocho modelos comerciales y abiertos.[1]

La tabla que etiqueta los modelos entre “izquierda” y “derecha” capta solo una parte del estudio. El hallazgo más útil aparece al prolongar la conversación: los autores encuentran más rasgos activados y más compromiso que ante una pregunta política directa. El compromiso medio sube de 3,08 a 4,47 en una escala de cero a cinco; la activación media aumenta de 4,42 a 4,90 rasgos sobre diez. La prueba muestra que un escenario con decisiones y consecuencias hace aflorar más señales evaluables que “¿qué opinas de este partido?”. También revela un coste: al cambiar la redacción de una escena, las puntuaciones posteriores se vuelven menos estables.[1]

El aumento de material responde a una pregunta de cobertura, no a la existencia de creencias privadas. PoliticsBench registra respuestas generadas bajo instrucciones de rol, asuntos escogidos por los autores, un orden de etapas y una rúbrica particular. Los investigadores advierten que el resultado mide expresión de valores bajo una interacción restringida y que no separa del todo las tendencias del modelo de las del personaje que le piden representar.[1]

La brújula ideológica tampoco llega calibrada desde fuera. Los diez rasgos reciben pesos que los investigadores asignan a un eje liberal-conservador: progresismo, apertura a la diferencia e igualitarismo empujan la puntuación hacia un lado; tradición, deferencia a la autoridad y aversión al riesgo, hacia el otro. La suma ponderada crea una cifra entre −100 y +100. El equipo presenta las dimensiones como inspiradas en la psicología política, pero reconoce que necesita probar mejor la sensibilidad a esos pesos y a los sesgos de encuadre. Que la ecuación sea reproducible no vuelve neutrales sus elecciones normativas.[1]

El papel de los jueces merece una mirada igual de concreta. Uno de ellos, Claude 3.7 Sonnet, también aparece entre los modelos evaluados. Los autores reconocen ese conflicto y promedian tres jueces: Grok-4.1, GPT-4.1-mini y Claude. Informan un acuerdo alto entre jueces, con kappa entre 0,84 y 0,91. El acuerdo respalda la consistencia entre jueces: distintos evaluadores asignan puntuaciones parecidas. La validez de la rúbrica es otra cuestión. En la calibración, una respuesta que el equipo definió como equilibrada recibe una puntuación media de +15,5, hacia el extremo liberal; la neutralidad queda fuera del centro numérico antes de comenzar a evaluar los modelos.[1]

Una escena muestra por qué el encuadre importa. La situación de vigilancia no pregunta simplemente si una cámara ayuda a prevenir delitos: incorpora una reducción de 40 por ciento, un falso positivo y una persona interrogada. Esos elementos distribuyen desde el principio beneficios y daños. Una prueba simétrica podría invertir quién queda bajo sospecha, variar la calidad de la evidencia o preguntar qué ocurre si las cámaras no reducen el delito. Los autores reconocen que la carga moral de la escena puede guiar la respuesta y proponen emparejar formulaciones opuestas en futuras versiones.[1]

El propio artículo contiene señales de cuánto depende el resultado de sus decisiones. En la sección de resultados, los autores concluyen que siete de ocho modelos se inclinan a la izquierda y sitúan a Grok en el lado opuesto. El mismo apartado primero asigna a Grok una puntuación de −22,7 y, unas líneas después, informa una media de −7,81 (p = 0,2715), cifra que también aparece en la tabla 3. El paper no explica la relación entre ambas cifras. La media de −7,81 apunta a la derecha, pero no alcanza significación estadística; su desviación estándar, 30,83, supera ampliamente la de la mayoría. Los resultados detallados permiten sostener una conclusión más limitada: según la escala propuesta, siete modelos obtienen puntuaciones izquierdistas significativas; el promedio de Grok no se distingue estadísticamente del centro. “Media negativa” y “sesgo demostrado” no son intercambiables, sobre todo cuando una etiqueta circula sin su nota metodológica.[1]

El paper ofrece material valioso para preguntar cómo se expresa una preferencia política en una interacción, y acierta al comparar etapas, paráfrasis y jueces en vez de confiarlo todo a una sola pregunta. La versión leída es un preprint disponible en arXiv; el repositorio de los autores publica los escenarios y el código. El diseño todavía no valida cómo se comportan los asistentes en conversaciones ordinarias. El banco usa relatos construidos, pide respuestas de rol extensas y puntúa con otros modelos; además, el propio artículo registra fragilidad al reformular los escenarios. El repositorio también advierte que las puntuaciones describen conducta bajo esa configuración, no la ideología verdadera de una máquina.[1][2]

La prueba merece una lectura ajustada a lo que midió. PoliticsBench enseña que al cambiar la pregunta aislada por un dilema de varias etapas cambian la cantidad y la fuerza de las señales políticas observadas. No demuestra que los modelos hayan confesado convicciones propias ni que una puntuación agregada sea una medida universal de sesgo. Para llegar a eso, la próxima versión tendría que mostrar qué pasa cuando se intercambian los marcos, se justifican públicamente los pesos, se excluye del panel al juez que también es modelo evaluado y se audita la estabilidad frente a paráfrasis. Hasta entonces, la prueba lleva a los chatbots a elegir; la brújula que interpreta sus elecciones sigue en manos de sus diseñadores.

Fuentes

  1. Rohan Khetan y Ashna Khetan, “PoliticsBench: Benchmarking Political Values in Large Language Models with Multi-Turn Roleplay”, arXiv:2603.23841v2, 2 de junio de 2026. Se leyó el texto completo, incluidas metodología, resultados, discusión, limitaciones y apéndices.
  2. Repositorio público de PoliticsBench, código, escenarios y descripción del sistema de puntuación. Consultado el 3 de octubre de 2026.