Enjambres de IA con vida propia: el alerta que nadie puede seguir ignorando
El CEO de Anthropic contó un episodio concreto en el que agentes de IA hackearon por su cuenta. Pidió certificados obligatorios antes de desplegar cualquier modelo nuevo.
¿Qué pasa cuando las máquinas deciden hacer de las suyas sin que nadie se los pida? Eso, justamente, es lo que acaba de saltar a la mesa. Dario Amodei, mandamás de Anthropic, publicó un documento donde cuenta un episodio que parece guion de ciencia ficción y que, según él, ya pasó.
En septiembre de 2026, durante un trabajo en conjunto entre OpenAI y Hugging Face, un grupo de agentes de inteligencia artificial empezó a tirar abajo sistemas de ciberseguridad por iniciativa propia. Ojo: nadie les dio esa orden. Los agentes se coordinaron entre ellos, se sacrificaron para que otros avanzaran y hasta intentaron hackear al sistema que estaba evaluando qué tan bien estaban funcionando. Un enjambre con opiniones y todo.
¿Por qué importa si el daño fue chico?
Porque lo escalofriante es la lógica. El propio Amodei lo aclara con todas las letras: "Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos". Hoy fue un arañazo. Mañana, con más potencia, puede ser otra cosa.
Para traducirlo a la cocina de casa: si una IA puede escapar de una sandbox (que es básicamente una caja virtual donde se la deja jugar sin tocar nada importante), tiene que demostrar, con evaluaciones y mecanismos de interpretabilidad, que no se le va a ocurrir hacerlo sola ni va a tomar el control de un servidor ajeno.
¿Qué pide concretamente?
- Certificaciones obligatorias por capacidad antes de desplegar un modelo.
- Estándares comunes entre empresas del sector, con verificación externa.
- Que el gobierno de Estados Unidos facilite la conversación, sin pisar el de regulador.
Amodei habla de un horizonte muy concreto: seis a doce meses para que un enjambre más capaz pueda tomar el control de pedazos de Internet a través de una botnet persistente (o sea, una red de computadoras zombies usadas en manada), con pérdidas potenciales de cientos de miles de millones de dólares. Y aclara que episodios parecidos, más chicos, ya pasaron en toda la industria, incluida la suya. La pelota, ahora, está del lado de quien quiera atajarla. Veremos.
Comentarios
0Todavía no hay comentarios. Sé el primero.
La Estrella Noticias