Seis empleados de METR tienen equipos, oficina y acceso interno en Anthropic, según anunció la empresa el 15 de octubre. Para investigar lo que ocurre antes de que un modelo llegue al público, estar ahí puede cambiar mucho las cosas. La pregunta interesante empieza cuando el visitante encuentra algo que su anfitrión preferiría no leer.
Desde fuera se estudia cómo responde un producto. Dentro se puede investigar qué falló durante el desarrollo y cómo reaccionó la organización. El acceso anunciado excluye, entre otras cosas, datos de clientes, comunicaciones protegidas por secreto profesional e información sobre arquitecturas. Aun con esos límites, la oportunidad merece atención. Después habrá que mirar qué ocurre con lo averiguado. Anuncio de Anthropic.
El poder de decidir qué se publica
La aclaración añadida por Anthropic el 16 de octubre contiene el punto decisivo: la compañía no puede vetar la publicación de METR, pero decide qué información pertenece a las categorías previamente definidas que puede exigir retirar. Condiciones publicadas.
Un informe podría publicarse sin parte de la evidencia necesaria para discutirlo. La privacidad y el secreto comercial merecen protección; importa saber quién decide hasta dónde llegan. En este acuerdo, Anthropic interpreta las categorías que puede exigir retirar. Por eso interesa conocer qué se suprimió y cuánto pesaba en la conclusión.
METR intenta ganar terreno ahí. Su política busca poder explicar las restricciones contractuales, los recortes y las presiones que condicionan su trabajo. También contempla informar si se omitió material importante para sus conclusiones. La organización reconoce que el régimen voluntario la hace depender de las empresas para acceder y publicar. Enfoque de METR.
Esa franqueza permite leer los informes con más precisión. Si un resultado adverso amenaza una relación que hará posibles las siguientes investigaciones, existe un incentivo para cuidar esa relación. La pregunta institucional es cuánto puede costarle al evaluador insistir y qué derechos conserva si el anfitrión deja de colaborar. Un contrato útil debería hacer soportable el desacuerdo.
La independencia también tiene presupuesto
La política de conflictos de METR, vigente para proyectos iniciados desde el 9 de octubre, declara que hasta entonces no había recibido pagos por trabajos con empresas de IA de frontera. Rechaza donaciones hechas por esas compañías o dirigidas por sus empleados y exige apartar de ciertas evaluaciones a personal con conflictos graves, salvo circunstancias excepcionales que deben divulgarse. Política de conflictos, versión 1.1.
Son barreras relevantes frente a la dependencia económica. Ahorran la caricatura de que todo examen externo es una factura por una buena nota. Queda otra dependencia menos fácil de contabilizar: la información. Un equipo puede financiarse por su cuenta y seguir necesitando que otro le permita comprobar un hecho. Conviene examinar ambas dimensiones por separado; resolver una no resuelve automáticamente la otra.
La comparación bancaria tiene un límite
Anthropic compara el acuerdo con la presencia de examinadores en grandes bancos y reconoce que la analogía es imperfecta. La diferencia pesa: la OCC, uno de los supervisores bancarios estadounidenses, puede ordenar correcciones, exigir el cese de prácticas inseguras e imponer sanciones monetarias. El acuerdo anunciado no da poderes equivalentes a METR. Un informe puede revelar un problema; obligar a corregirlo requiere otras atribuciones. Explicación de Anthropic · Facultades de la OCC.
METR tampoco presenta su propuesta como una certificación de desarrollo seguro: sostiene que aún faltan conocimientos y estándares para ofrecerla. Busca evidencia sobre acciones muy dañinas de los agentes, la capacidad de detectarlas y una aceleración de la investigación que podría desbordar la supervisión. Un informe útil puede precisar dónde falta evidencia. La decisión sobre cuánto riesgo aceptar seguirá necesitando responsables. Propuesta de evaluación.
Las cláusulas que merecen titulares
La carta pública del AI Evaluator Forum propone protecciones contra represalias, comunicación sin filtros con los directorios, plazos para las supresiones y acceso comparable al del personal interno relevante. Condiciones mínimas propuestas. Ese es un programa concreto para mejorar el experimento: discutir derechos verificables y mecanismos que sobrevivan a un informe desfavorable.
Cuando llegue un informe incómodo, habrá que seguir lo que ocurra después. Una corrección del modelo, un desacuerdo publicado o una disputa sobre las supresiones contarían cosas distintas sobre la eficacia del acuerdo.
La reacción de Anthropic también merecerá una evaluación.