OpenAI propone que evaluadores externos examinen argumentos de seguridad, salvaguardas, capacidades e incidentes. El documento publicado el 22 de septiembre plantea principios para esa relación, incluida la independencia y el acceso necesario para investigar. Su utilidad dependerá de lo que los examinadores puedan comprobar y comunicar, además de lo que el fabricante se comprometa a permitir. Fuente: OpenAI

El problema es fácil de formular: para revisar una tecnología compleja hay que acercarse a quien la conoce, pero una revisión que dependa completamente de ese proveedor difícilmente puede contradecirlo. La distancia institucional, por sí sola, tampoco resuelve nada. Un evaluador muy independiente al que sólo se permite observar una demostración podría ofrecer conclusiones honestas y estrechas.

Independencia para hacer qué

Conviene comenzar por la pregunta que se quiere responder. Evaluar si una protección resiste cierto tipo de prueba es distinto de certificar que un sistema resulta adecuado para todos sus usos. Cuanto más amplia sea la conclusión, más difícil será reunir evidencia suficiente. Un informe debe conservar esa relación entre la pregunta planteada, el acceso concedido y lo que realmente se examinó.

Supongamos que un equipo externo recibe un sistema preparado para pruebas, mientras los clientes usan otro con conexiones adicionales. La investigación podría ser impecable dentro del entorno recibido y dejar sin examinar el efecto de esas conexiones. El problema no sería necesariamente la competencia del evaluador: podría estar en presentar su conclusión como si cubriera un producto que nunca tuvo delante.

Por eso el alcance del acceso debe quedar descrito junto al resultado. Importan las versiones examinadas, los recursos disponibles y las restricciones a los experimentos. También importa saber si el proveedor eligió todos los casos o si el equipo pudo formular sus propios intentos de refutación. Una prueba que admite sorpresa ofrece información diferente de una visita guiada.

Un informe útil puede resultar incómodo

La financiación merece atención sin convertirse en una acusación automática. Si un cliente paga, el contrato puede proteger o limitar la capacidad del evaluador para publicar un desacuerdo. La cuestión concreta es quién puede cambiar una conclusión, retrasarla o impedir su difusión, y qué procedimiento permite resolver conflictos sin vaciar la independencia prometida.

La confidencialidad introduce una tensión legítima. Un examen puede requerir acceso a datos que no deberían hacerse públicos. De ahí no se sigue que deba ocultarse toda conclusión desfavorable. Un diseño razonable puede distinguir información técnica reservada, hallazgos comunicables y advertencias que deban llegar a quienes toman decisiones sobre el uso del sistema.

El AI Risk Management Framework del NIST es un marco voluntario para gestionar riesgos de IA. Ofrece una referencia externa al fabricante, no una certificación particular de OpenAI. Fuente: NIST

Una conclusión condicionada debería conservar sus condiciones cuando llega al público. Si un fabricante resume el informe como una aprobación general, el evaluador necesita poder corregir esa presentación. La independencia también se juega después de entregar el documento.

La firma al pie no termina la responsabilidad

Un comprador podría interpretar un informe externo como autorización para dejar de preguntar. Sería una conclusión excesiva. La evaluación corresponde a un alcance y a un momento; la organización que utiliza el sistema sigue decidiendo qué datos incorpora, qué permisos concede y para qué tareas lo emplea. Un uso nuevo puede plantear una pregunta que el evaluador anterior nunca examinó.

También hay que pensar en el desacuerdo entre evaluadores. Si dos equipos llegan a conclusiones diferentes, la primera tarea es comparar preguntas y condiciones, no promediar sus opiniones. Quizá estudiaron versiones distintas, atribuyeron otra gravedad a un fallo o dispusieron de accesos desiguales. Mostrar esas diferencias puede aportar más información que un sello único de aprobación.

La propuesta de OpenAI abre una discusión útil sobre cómo organizar el examen externo. Para convertirla en evidencia habrá que conocer compromisos aplicados a evaluaciones concretas y resultados que puedan contrariar las expectativas del proveedor. La independencia será visible cuando permita sostener una conclusión incómoda, explicarla y hacerla llegar a quienes necesitan conocerla.