El algoritmo responde. El Estado todavía debe una razón.

Imaginemos una administración que debe decidir dónde construir un nuevo centro de atención. Un sistema compara población, distancias y demanda registrada, y recomienda una ubicación. La alternativa obtiene la mejor puntuación. Un barrio queda lejos del servicio y pregunta por qué. La respuesta oficial enumera las variables, describe los pesos y añade un gráfico. Todo resulta comprensible. Todavía falta saber por qué contar visitas anteriores era una manera justa de medir necesidades en un lugar donde acceder al servicio ya era difícil.

Este es un ejemplo hipotético, pero la diferencia que muestra tiene consecuencias muy concretas. Explicar un cálculo permite conocer lo que hizo el sistema. Justificar una decisión exige defender la pertinencia de sus criterios, los hechos utilizados y la autoridad para imponer el resultado. La administración puede haber calculado correctamente una respuesta a una pregunta mal elegida. Mejorar la explicación del cálculo no cambia esa pregunta; hace más visible la decisión que alguien debe defender.

Una de las ideas centrales de Rodrigo Castillo en su trabajo sobre razón algorítmica pública es que las salidas de un sistema adquieren autoridad dentro de prácticas humanas e instituciones. La máquina no necesita pensar, querer ni presentarse a una elección para que su recomendación pese en lo que el Estado decide. Basta con que una oficina la incorpore como premisa y deje de discutirla. El problema político empieza en ese tránsito, cuando una capacidad para producir información se convierte en una razón para exigir obediencia.

Una autoridad que utiliza IA necesita poder explicar su actuación y permitir que lo explicado siga abierto a discusión. El derecho a obtener información ayuda, pero una democracia necesita además que las objeciones puedan alcanzar los criterios de la decisión. Tener acceso a la respuesta es un comienzo. Ser tratado como alguien a quien se debe una razón cambia la relación entera.

Una predicción no elige el fin

En el ejemplo del centro de atención hay, al menos, dos preguntas. Una intenta anticipar dónde habrá más visitas. Otra pregunta a quién conviene acercar el servicio. Pueden coincidir, pero no siempre. Un barrio con dificultades de transporte puede registrar poca demanda precisamente porque sus habitantes no llegan. Utilizar ese registro como prueba de escasa necesidad conserva una desventaja bajo la apariencia de seguir los datos. La inferencia necesita examen antes de que una puntuación se transforme en una ubicación.

Tampoco sería suficiente ordenar que el modelo favorezca siempre al barrio menos atendido. Puede haber otras necesidades, restricciones presupuestarias y diferencias de gravedad que deban considerarse. La cuestión es hacer visible la elección: qué valor se asignó a cada objetivo, qué sacrificios produce y por qué resultan defendibles ante quienes los soportan. La técnica puede ayudar a estimar las consecuencias de distintos criterios. Elegir entre ellos exige razones sobre el servicio que se quiere prestar y las obligaciones de la institución.

Cuando se presenta la opción mejor puntuada como la única respuesta racional, parte de esa elección desaparece del lenguaje público. Quien discrepa parece estar discutiendo con las matemáticas, aunque su objeción se refiera al objetivo que se les encargó optimizar. La precisión adquiere entonces una segunda función, menos inocente: vuelve difícil reconocer dónde sigue habiendo una decisión política. Un gráfico puede ser impecable y, sin embargo, dar una imagen incompleta del desacuerdo.

Razones que puedan dirigirse al destinatario

La razón pública se ocupa de cómo justificar el ejercicio del poder ante personas que pueden tener convicciones distintas y siguen siendo miembros iguales de la comunidad política. No exige que todos compartan cada conclusión ni que una decisión pierda validez al recibir una protesta. Exige que la autoridad ofrezca fundamentos pertinentes, examinables y compatibles con la posición de quienes quedan sujetos a ella. La discrepancia no convierte al ciudadano en una avería del procedimiento.

En su manuscrito, Castillo propone el Test de Razón Pública Algorítmica, TRAP, para examinar esa incorporación de sistemas a decisiones de alto impacto. Su principio de no cierre algorítmico exige una instancia sustantiva donde las autoridades comparezcan a dar razones que los afectados puedan evaluar. El test es una propuesta normativa del autor, no una certificación legal ni un estándar oficial. Su utilidad consiste en preguntar qué prácticas permiten sostener la justificación, más allá de comprobar que exista una casilla de supervisión.

El propio desarrollo del manuscrito advierte que cumplir indicadores no basta para obtener legitimidad. Una institución podría aprender a presentar explicaciones, trazas y canales de apelación que no influyan en nada. Por eso conviene leer el test como una exigencia de práctica institucional: mostrar cómo se examina una objeción y qué puede cambiar si resulta fundada. Un procedimiento que se limita a volver a imprimir la decisión anterior conserva la impresora, no necesariamente la razón pública.

El derecho a entender tiene un objeto

No todas las explicaciones sirven para la misma pregunta. Si una persona sostiene que sus ingresos están mal registrados, necesita localizar y corregir el dato. Si discute que vivir con un familiar implique recibir ayuda efectiva, cuestiona una inferencia. Si objeta que cierto antecedente no debería determinar el acceso a una prestación, discute un criterio. Entregar a las tres personas el mismo documento sobre la arquitectura del modelo puede ser transparente en apariencia y poco útil en cada caso.

Una explicación adecuada relaciona la información con lo que el destinatario necesita examinar. Puede indicar qué datos intervinieron, de dónde proceden, qué resultado produjo su combinación y cómo se incorporó ese resultado a la decisión. También debe distinguir lo que eligió la autoridad de lo que estimó el sistema. Si la institución fijó un umbral, no debería esconderlo detrás de una probabilidad. El número puede haber sido calculado por una máquina; decidir sus consecuencias sigue siendo una operación identificable.

Esto requiere fidelidad. Un texto convincente escrito después puede describir una justificación posible sin mostrar lo que realmente sostuvo la decisión. La explicación debe corresponder al expediente y conservar antecedentes que permitan comprobarla. Pedir a otra IA que redacte una respuesta elegante no resuelve por sí mismo esa conexión. Una prosa más amable puede mejorar el trato, pero también cubrir una negativa que nadie ha vuelto a examinar. La cortesía de una interfaz no acredita la calidad de sus razones.

Europa: explicar para poder discutir

El Tribunal de Justicia de la Unión Europea, en Dun & Bradstreet Austria, C-203/22, el 27 de febrero de 2025, sostuvo que la información sobre una evaluación automatizada debía permitir comprender y cuestionar la decisión. Comunicar únicamente el algoritmo no bastaba. Si se invocaban secretos comerciales o datos de terceros, correspondía a una autoridad o tribunal ponderar los intereses, no aceptar una exclusión general del acceso. Fuente: Court of Justice of the European Union

La enseñanza institucional del caso excede la preferencia por explicaciones sencillas. Tener código no garantiza poder reconstruir una inferencia; recibir una fórmula tampoco garantiza entender qué dato propio resultó decisivo. A la inversa, proteger información legítimamente reservada no obliga a dejar la evaluación sin examen. Hace falta distribuir accesos: una persona puede necesitar una explicación de su caso y un órgano independiente, información técnica que sería inapropiado difundir íntegramente.

El RGPD europeo delimita, en su artículo 22, las decisiones basadas únicamente en tratamiento automatizado con efectos jurídicos o de importancia comparable, y contempla excepciones y salvaguardas. El artículo 15 incorpora acceso a información significativa sobre la lógica en los supuestos correspondientes. Esas condiciones importan: no describen un derecho ilimitado a exigir una explicación de cualquier cálculo donde intervenga software. Fuente: European Union

La discusión democrática es más amplia que el supuesto jurídico preciso. Un sistema puede ordenar qué expedientes recibe primero una persona y condicionar de hecho lo que se decide, aunque la firma final sea humana. Investigar esa influencia exige mirar el procedimiento completo. No corresponde declarar automáticamente que cada uso asistido está prohibido; tampoco tratar la presencia de una firma como respuesta suficiente a cualquier pregunta sobre cómo llegó la institución a su conclusión.

Chile no empieza de cero

La Ley 19.880 chilena ya exige expresar hechos y fundamentos jurídicos en los actos que afectan derechos y en los que resuelven recursos. Su artículo 41 dispone una decisión fundada e información sobre los recursos procedentes. Son obligaciones de procedimiento administrativo; usar IA no sustituye la necesidad de relacionar el acto con sus antecedentes y su fundamento jurídico. Fuente: Biblioteca del Congreso Nacional de Chile

La reforma de datos personales de la Ley 21.719 incorpora un artículo 8 bis sobre decisiones automatizadas con efectos jurídicos o significativos, con excepciones y garantías de explicación, intervención humana y revisión. La aplicación general de esas modificaciones comienza el 1 de diciembre de 2026: al 25 de septiembre todavía debe distinguirse ese régimen próximo de las obligaciones ya exigibles. Fuente: Biblioteca del Congreso Nacional de Chile

La distinción temporal evita dos errores prácticos. Una institución no debería anunciar que una garantía futura ya está operando solo porque fue promulgada. Tampoco debería suponer que, mientras espera, sus decisiones carecen de obligaciones de fundamentación. La introducción de derechos específicos puede precisar vías y ampliar protección; su preparación necesita revisar cómo se conservan datos, qué oficina recibe solicitudes y qué información podrá proporcionar. El día de entrada en vigor no construirá por sí solo esas capacidades.

Para Chile, el interés de comparar experiencias consiste en identificar qué función cumple cada instrumento. Una norma de datos protege a titulares dentro de su ámbito; el procedimiento administrativo organiza la relación con una autoridad; la supervisión de sistemas puede examinar prácticas repetidas. No son piezas intercambiables. Copiar una obligación de explicación sin asegurar acceso a antecedentes puede producir respuestas vacías. Crear una oficina especializada sin conectar su trabajo con el expediente individual puede descubrir un problema cuando ya pasó la oportunidad de corregirlo.

Canadá: preparar la explicación antes de decidir

La directiva canadiense de decisiones automatizadas se aplica a las instituciones federales sujetas a su política correspondiente, no a todo uso de IA en Canadá. Exige evaluación de impacto y graduación de requisitos, y contempla explicaciones significativas. Para software propietario, establece derechos institucionales de acceso, prueba y seguimiento bajo salvaguardas. Es una directiva administrativa de alcance definido, no una ley mundial sobre explicabilidad. Fuente: Treasury Board of Canada Secretariat

Su interés comparativo está en el momento de la pregunta. Si una administración sabe que tendrá que explicar una decisión, debe negociar antes el acceso que permitirá hacerlo. Esperar a la primera reclamación deja la respuesta a merced de un contrato posiblemente silencioso. La institución necesita identificar qué conservar, quién podrá examinarlo y cómo se entregará información sin divulgar datos ajenos. La explicación comienza en el diseño de la relación con el proveedor, aunque el ciudadano solo la vea al final.

Esto no significa que cada organismo deba construir sus propios modelos. Comprar conocimientos externos puede ampliar su capacidad. Pero la compra debe incluir las condiciones necesarias para cumplir las obligaciones de la función pública. Un servicio que resulta barato porque impide investigar su actuación puede trasladar un costo al futuro expediente. La autoridad descubre entonces que adquirió una solución técnica y dejó fuera de la factura los medios para justificar su uso.

Publicar el código no resuelve el desacuerdo

La apertura técnica puede ser valiosa. Permite que especialistas examinen reglas, detecten errores o contrasten afirmaciones. Su efecto depende de qué se publica y de los recursos para utilizarlo: un repositorio incompleto, sin datos pertinentes ni documentación de versiones, puede ser menos informativo de lo que su volumen sugiere. La pregunta relevante es si alguien con capacidad independiente puede investigar la operación y devolver una conclusión útil al procedimiento público.

También existen reservas legítimas. Publicar datos personales dañaría a quienes se pretende proteger; ciertos detalles pueden facilitar la manipulación de un sistema. Esas razones deben examinarse de manera específica. No se deduce de ellas que todo pueda mantenerse secreto. Un diseño con niveles de acceso puede permitir al afectado discutir su decisión, al auditor comprobar el funcionamiento y a la ciudadanía conocer objetivos y criterios generales. La distribución de información debe conservar una vía para examinar cada cuestión relevante.

El manuscrito de Castillo plantea justamente esa publicidad distribuida por funciones. Su sentido puede expresarse sin convertir a cada ciudadano en ingeniero: nadie necesita comprender toda la infraestructura para exigir que se examine una razón que lo afecta. La institución sí necesita reunir los conocimientos capaces de contestarle. La asimetría de conocimientos puede ser inevitable; que esa asimetría vuelva irrecurrible el poder es una elección institucional que debe justificarse y puede cambiar.

La democracia antes del recurso

Una reclamación individual permite corregir una decisión particular. Hay preguntas que deben discutirse antes de acumular reclamaciones: qué problemas se automatizarán, qué objetivos se priorizarán y qué consecuencias serían inadmisibles. En el ejemplo del centro de atención, cada vecino puede recibir una explicación correcta de la distancia que tendrá que recorrer. Eso no reemplaza el debate sobre si acercar servicios a zonas excluidas debía pesar más en la elección de la ubicación.

Una participación útil ofrece alternativas reconocibles y muestra sus consecuencias. Consultar si las personas apoyan una tecnología «más eficiente» produce poca información cuando nadie sabe qué se sacrifica para obtener esa eficiencia. Sería más informativo presentar escenarios: esta opción reduce el tiempo medio de traslado, aquella mejora el acceso del barrio peor conectado y una tercera cuesta más pero permite otra distribución. Esos supuestos requieren evidencia. El desacuerdo sobre cuál elegir puede continuar después de corregir todos los errores de cálculo.

Los participantes también necesitan alguna posibilidad de influir. Una consulta realizada cuando el contrato ya impide modificar objetivos puede recoger observaciones sin abrir decisiones. Definir qué está en discusión y qué límites vienen dados por la ley evita prometer una intervención inexistente. La institución debería explicar cómo las razones recibidas afectaron su elección o por qué no la alteraron. El valor democrático aparece en esa relación, no en el número de formularios respondidos.

El expediente conserva la pregunta

Una decisión corregible necesita mantener reconocible qué se decidió y por qué. Si la institución abandona una premisa y ofrece otra, debe poder identificarse el cambio y su efecto. Esta exigencia no impide rectificar razones; hace posible discutir la rectificación. Cuando cada objeción recibe una explicación nueva de una conclusión invariable, el afectado persigue un blanco que se desplaza. La abundancia de respuestas puede coexistir con la imposibilidad de obtener una contestación.

Los modelos generativos vuelven especialmente importante esa continuidad, porque pueden ayudar a producir argumentos alternativos con rapidez. La capacidad es útil para investigar una cuestión, pero la autoridad debe asumir cuáles considera válidos. Una respuesta posterior tendría que distinguir entre información que ya estaba disponible, hechos nuevos y una reconsideración del criterio. Sin esa distinción, resulta difícil saber si la decisión fue fundada en su momento o si ahora se intenta encontrarle un fundamento.

Preservar antecedentes tampoco significa almacenar todo indefinidamente. La conservación debe responder a las necesidades del procedimiento y a las obligaciones de protección de datos. Interesa poder relacionar entradas relevantes, resultado, versión utilizada y actuación posterior con el caso que se examina. Guardar grandes volúmenes sin posibilidad de recuperar esa relación puede generar costos y exposición sin mejorar la rendición de cuentas. Un archivo útil permite formular y contestar preguntas concretas, además de ocupar espacio.

El rendimiento técnico puede ser una buena razón

Sería igualmente pobre descartar una herramienta porque no conocemos todos sus procesos internos. Las instituciones recurren habitualmente a conocimientos especializados. Una prueba validada para una tarea y una población puede proporcionar razones suficientes para usar una estimación, aunque no se reconstruya cada operación. El examen debe considerar la calidad de la evidencia, la pertinencia para el caso y las consecuencias de las alternativas. Despreciar una capacidad útil también requiere justificación cuando priva de beneficios a quienes necesitan el servicio.

Lo que esa evidencia no hace es responder automáticamente a cualquier objeción. Si un antecedente nuevo cuestiona que el caso pertenezca a la población evaluada, repetir el desempeño promedio deja la cuestión intacta. Si la controversia se refiere a la justicia del criterio, una tasa de acierto contesta otra pregunta. La institución necesita distinguir cuándo la confianza técnica sostiene la decisión y cuándo alguien está cuestionando las condiciones que permitían confiar en ella.

Esta precisión evita convertir la explicación en una demanda imposible de comprensión total. En ocasiones, la razón defendible será que un procedimiento es el mejor medio disponible para conocer algo bajo condiciones comprobadas. En otras, la persona tendrá derecho a discutir una inferencia individual. La intensidad y el contenido de la explicación deben corresponder a la decisión. Exigir siempre lo mismo puede bloquear usos beneficiosos y, a la vez, ofrecer demasiado poco donde está en juego un juicio que debe poder impugnarse.

La voz que no llega al formulario

La igualdad para discutir una decisión no aparece solo porque todos tengan acceso al mismo portal. Un formulario puede exigir categorías que la persona no conoce o pruebas que no puede obtener. Puede suponer conectividad, tiempo libre y capacidad para describir una dificultad en el lenguaje de la administración. En esas condiciones, la uniformidad de la interfaz oculta diferencias en la posibilidad efectiva de ser escuchado. La explicación debe poder utilizarse, además de poder descargarse.

Un canal asistido permite traducir una situación al expediente sin obligar a quien reclama a convertirse en especialista. Esa asistencia debe ayudar a expresar la objeción, no seleccionar únicamente las que el sistema ya sabe procesar. Si el problema es precisamente una categoría mal definida, restringir las respuestas a un menú cerrado impide describirlo. Registrar las cuestiones que no encajan puede proporcionar evidencia sobre un defecto general y, al mismo tiempo, conservar la urgencia del caso particular.

También puede ser necesario que organizaciones representativas o especialistas identifiquen patrones entre decisiones. El ciudadano conoce su experiencia; raramente dispone de todas las demás para probar que un criterio perjudica reiteradamente a un grupo. Compartir información agregada y permitir investigación independiente, con protección de datos, amplía las posibilidades de descubrir esas relaciones. La razón pública necesita esa circulación entre experiencia individual y examen colectivo: corregir una casilla equivocada no basta cuando la regla que la interpreta es el verdadero problema.

Una pregunta que la administración debe poder contestar

Volvamos al barrio del comienzo. Una respuesta sustantiva podría reconocer que la demanda registrada subestima la necesidad donde el acceso era difícil, revisar el dato utilizado y explicar qué ocurre entonces con la ubicación propuesta. También podría mantenerla por una razón distinta, si la ley y el procedimiento lo permiten: quizá otra zona presenta necesidades que justifican esa prioridad. En ambos casos, el desacuerdo ha llegado a una instancia capaz de relacionar evidencia, criterio y consecuencia.

Una respuesta insuficiente se limitaría a confirmar que el modelo se ejecutó correctamente. Eso puede despejar una duda técnica, pero deja sin resolver la objeción planteada. La institución no necesita prometer que toda reclamación cambiará la decisión. Necesita mostrar que una objeción fundada puede cambiar algo pertinente y que quien decide se hace cargo del resultado de examinarla. La posibilidad de perder una discusión forma parte del derecho a tenerla; la imposibilidad de abrirla es otro asunto.

Una administración equipada con mejores modelos puede descubrir necesidades ocultas, comparar alternativas y responder con más precisión. Para convertir esas capacidades en una mejora democrática debe permitir que sus propios criterios sean examinados. En el proyecto de razón algorítmica pública, el progreso se mide también allí: en si quienes soportan una decisión pueden averiguar qué razón la sostiene y obtener una respuesta cuando muestran que esa razón falla. El Estado puede comprar el cálculo. La obligación de justificar sigue en su mostrador.