Un interruptor tiene una ventaja política: se puede fotografiar. Resulta más difícil mostrar en una presentación la capacidad de una organización para reconocer un error, suspender una función y seguir atendiendo a quienes dependen de ella. Por eso conviene desconfiar de una garantía de control cuyo argumento principal sea la existencia de un botón.
La conversación de CNN con Geoffrey Hinton ofrece una entrada a ese problema. Los capítulos publicados sitúan la regulación al comienzo, el interruptor de apagado en 1:21 y la superinteligencia en 5:00. La entrevista completa está enlazada en su fuente original. Fuente: CNN
Apagar y recuperar
Imaginemos una empresa cuyo asistente puede modificar pedidos. Detecta un comportamiento inesperado y corta el acceso. La interrupción puede detener operaciones nuevas, pero no revela qué pedidos cambiaron, cuáles salieron del almacén o a qué clientes hay que responder. Recuperar el control exige registros y facultades que el interruptor no proporciona. Tampoco puede suponerse que todos los cambios sean reversibles: un envío cancelado a tiempo y otro ya entregado son problemas distintos.
Esa diferencia vuelve insuficiente la pregunta «¿se puede apagar?». Importa qué se detiene exactamente y qué sigue funcionando. Un servicio puede emplear varios componentes, trabajar con copias distribuidas o depender de otros proveedores. La organización necesita conocer ese recorrido para determinar el efecto real de una suspensión. En este ejemplo hipotético, la dificultad no requiere que el sistema desee resistirse: basta con que la empresa desconozca dónde se ejecutan sus instrucciones.
El costo de volver atrás
Supongamos que la herramienta ha reducido mucho los tiempos de atención y que la plantilla se ha ajustado a esa productividad. Apagarla por una semana produce una cola que nadie puede tramitar con los medios disponibles. Existe libertad técnica para detenerla y una dependencia operativa que vuelve cara esa decisión. La presión para reactivarla podría aparecer antes de saber qué ocurrió. El problema se creó al organizar el servicio, no en el instante de la avería.
Una alternativa útil puede consistir en suspender una facultad específica, exigir aprobación para ciertas operaciones o reducir temporalmente el volumen. La elección depende de la relación entre daño posible y continuidad del servicio. No hay virtud automática en la interrupción total, del mismo modo que mantener funcionando una herramienta no demuestra prudencia. Hace falta comparar consecuencias y conservar una autoridad capaz de actuar sobre ellas.
Una inteligencia mayor no resuelve el permiso
El debate sobre superinteligencia añade escenarios más exigentes: un sistema podría reconocer obstáculos y encontrar medios que sus operadores no anticipan. Evaluar esa posibilidad requiere argumentos y evidencia propios. No permite atribuir esas capacidades a cada aplicación actual, ni vuelve irrelevantes los controles concretos que ya se pueden examinar. Confundir ambos planos produce una conversación extraña: exigimos resolver el futuro de la humanidad antes de comprobar los permisos de una cuenta.
El control significativo empieza al definir el encargo. Qué puede cambiar el sistema, cuándo debe consultar y quién conserva información suficiente para revisar sus actos son decisiones de diseño y organización. Un buen resultado en una prueba puede justificar confiarle trabajo; no determina cuánta discreción debe recibir al hacerlo. El debate sobre el apagado muestra un límite del imaginario técnico. El trabajo institucional consiste en que, cuando alguien decida detener, la organización todavía sepa qué hacer después.