Anthropic le entrega las llaves de su casa a seis auditores externos: entran, revisan y publican lo que quieran

¿Le darías a alguien de afuera la llave de tu casa, la PC del estudio y el celular corporativo para que controle cómo vivís? Bueno, Anthropic, la empresa detrás del modelo Claude, hizo algo parecido: le entregó a seis investigadores de METR —una organización sin fines de lucro dedicada a evaluar sistemas de inteligencia artificial— el mismo nivel de acceso que tiene un empleado del área de evaluación de riesgos.

Esto significa, traducido al lenguaje de cualquier dueño de casa: les dio una notebook de la empresa, un escritorio en sus oficinas, las herramientas internas (léase: las aplicaciones y bases de datos que usa el personal para trabajar) y la posibilidad de hablar con cualquiera como si fueran compañeros. Hay, eso sí, tres habitaciones cerradas con llave: los datos de clientes, la información cubierta por secreto profesional entre abogado y cliente —lo que en criollo se llama confidencialidad abogado-cliente, esa garantía legal para que puedas contarle todo a tu abogado sin que pueda ser usado en tu contra—, y los detalles finos de cómo están armados los modelos por dentro.

Tres niveles, un solo inquilino VIP

El esquema que armó Anthropic tiene tres categorías de auditores externos. En la más baja están organizaciones como SecureBio, que hacen revisiones puntuales y necesitan pedir permiso antes de publicar. En el medio hay evaluadores que reciben más información y pueden publicar sin autorización. Y en la cima, donde hoy está solo METR, se suma el acceso equivalente al de un empleado y la facultad de sacar a la luz evaluaciones, reportes de incidentes y análisis de prácticas de la empresa sin que Anthropic pueda frenarlos.

La compañía puede pedir que se tape información sensible en categorías estrechas y predefinidas, pero METR queda libre de salir a marcar públicamente si cree que esa redacción no se justificaba. Para justificar por qué hace falta tanto acceso, Anthropic enumeró cuatro condiciones que, según la propia compañía, debe cumplir una auditoría útil: experiencia técnica suficiente para detectar cuándo un modelo finge estar alineado —o sea, cuándo aparenta comportarse bien sin estarlo realmente—, independencia económica y operativa de la empresa auditada, acceso que vaya más allá del modelo e incluya cómo se entrenó, y libertad total para publicar.

La firma también reconoció que no puede abrir toda su información de seguridad, porque parte podría ser útil para actores maliciosos o es confidencial desde lo comercial. Por eso eligió un acceso profundo pero acotado a un grupo chico que trabaja bajo acuerdos exigibles (NDAs, esos contratos que te obligan a no divulgar lo que ves), con el resto del personal de METR aislado de esa tarea. El equipo ya venía revisando informes de riesgo durante el año previo a recibir este nivel ampliado. Veremos.