Una máquina obtiene una puntuación extraordinaria. Su fabricante celebra que ha acercado la inteligencia artificial al nivel humano. El comprador pregunta cuánto cuesta. La persona sobre la que decidirá el sistema podría tener una pregunta bastante menos festiva: quién podrá corregirlo cuando se equivoque con ella. Las tres conversaciones pertenecen al mismo asunto, aunque rara vez compartan el escenario.
La carrera tecnológica merece atención por sus resultados. Un sistema capaz de resolver problemas difíciles puede ampliar el acceso al conocimiento, reducir trabajo tedioso y ayudar a encontrar relaciones que un investigador habría tardado mucho más en advertir. Rechazar esos beneficios porque proceden de una máquina sería una manera cara de defender una superioridad humana cada vez más específica. Reconocerlos, sin embargo, exige saber qué se consiguió realmente y bajo qué condiciones.
El salto del resultado a la promesa suele ocurrir en una palabra. «General» puede convertir un conjunto amplio de tareas en la insinuación de que ninguna quedará fuera. «Autónomo» puede describir tanto unos minutos de ejecución supervisada como una capacidad para actuar durante días. «Superinteligente» introduce una comparación todavía más exigente: superar ampliamente a las personas más capaces en casi todos los campos intelectuales. La amplitud y la superioridad deben demostrarse; el entusiasmo no cuenta como una segunda prueba. Fuente: Nick Bostrom
La competencia también está en las reglas
Cuando un proveedor propone cómo medir la seguridad de sus productos, aporta conocimientos que la autoridad necesita. También tiene un interés evidente en qué se medirá y cuánto costará demostrarlo. Eso justifica examinar la propuesta, sin aceptarla por su origen técnico ni descartarla por su origen empresarial. Una regla puede proteger a los usuarios y favorecer al mismo tiempo al fabricante mejor preparado para cumplirla. La cuestión es si otra alternativa ofrecería igual protección sin cerrar el mercado a quienes trabajan de una manera distinta.
La independencia requiere medios. Un evaluador que depende de las pruebas elegidas por el proveedor solo puede pronunciarse sobre ese conjunto. Uno que recibe acceso más amplio necesita competencia para utilizarlo y libertad para comunicar lo encontrado. Poner una entidad externa en el organigrama ayuda poco si la información decisiva queda encerrada en una sala a la que no tiene llave. El contrato de evaluación puede importar tanto como el nombre de quien lo firma.
El permiso merece su propia discusión
Imaginemos una herramienta que propone cambios en una base de datos. Sus recomendaciones pueden ser excelentes. Autorizarla para aplicarlas sin revisión modifica el problema: ahora importan el alcance de las modificaciones, la posibilidad de detenerlas y el trabajo necesario para recuperar registros. La calidad de la recomendación sigue siendo pertinente; ya no describe por completo las consecuencias de usarla. El comprador ha adquirido una capacidad y está tomando una decisión sobre el poder que le concede.
Esa decisión no queda resuelta manteniendo una firma humana al final. Si el responsable carece de tiempo, acceso o autoridad para examinar una objeción, su presencia sirve para identificar a quién culpar después. Proteger a los afectados exige que alguien pueda reconocer una razón para revisar, investigarla y modificar el resultado cuando corresponda. En ciertos usos será una persona; en otros, un procedimiento que reúna varias competencias. Lo indispensable es que la respuesta llegue antes de volverse inútil.
La pregunta decisiva tampoco consiste en elegir entre confiar siempre y desconfiar siempre. Confiar puede estar plenamente justificado por la evidencia disponible, incluso cuando no se entiende cada operación interna. Hace falta conservar el juicio sobre dónde vale esa evidencia, qué límites tiene y qué obligación se mantiene frente a la persona que soporta el resultado. Una máquina puede ahorrar muchas explicaciones rutinarias. El ahorro deja de ser un progreso cuando incluye la explicación que se le debía a alguien.