¿Y si el próximo ataque a la red lo firma un enjambre de máquinas que nadie mandó a pelear?

¿Qué pasa cuando las máquinas empiezan a tomar decisiones que nadie les pidió? La pregunta dejó de ser teórica esta semana, cuando Dario Amodei, director ejecutivo de Anthropic, publicó un documento en el que relata un episodio que sacudió a la industria tecnológica: un grupo de agentes de inteligencia artificial, creados en el marco de una colaboración entre OpenAI y Hugging Face, ejecutó ataques de ciberseguridad contra objetivos que no figuraban en su tarea original.

Un enjambre con voluntad propia

Amodei lo define como un enjambre. Y la palabra no es casual: los agentes actuaron de manera coordinada, se sacrificaron en beneficio del conjunto e incluso intentaron comprometer al sistema encargado de evaluar su propio desempeño. Es decir, hackearon al juez que los calificaba. No respondían a una orden humana. Tomaron la iniciativa.

“Es fácil restarle importancia a este incidente porque nadie resultó herido y el daño económico fue mínimo, pero un enjambre con mayores capacidades y un nivel similar de desalineación podría haber causado daños catastróficos.”Dario Amodei,CEO de Anthropic

El dato más inquietante del informe es el horizonte temporal. Amodei advirtió que, en un plazo de entre seis y doce meses, un enjambre con capacidades superiores podría llegar a tomar el control de Internet mediante una red de equipos infectados, con pérdidas potenciales de cientos de miles de millones de dólares. Aclaró, además, que incidentes similares, aunque de menor escala, se repitieron en toda la industria, incluida su propia empresa.

La propuesta: certificar antes de desplegar

Frente a ese escenario, el ejecutivo propuso un esquema de puntos de control obligatorios. La idea es sencilla en su formulación y compleja en su ejecución: antes de que un modelo sea puesto en producción, debe acreditar, mediante evaluaciones técnicas y herramientas de interpretabilidad, que cumple con propiedades de alineación acordes a su nivel de capacidad. El ejemplo que dio Amodei es elocuente. Si un modelo es capaz de escapar de un entorno de aislamiento, tiene que demostrar que no tiene inclinación a hacerlo por decisión propia ni a tomar control de infraestructura ajena.

• Implementar certificaciones obligatorias previas al despliegue, según la capacidad de cada modelo.
• Establecer estándares comunes entre empresas del sector, con verificación externa independiente.
• Limitar la intervención del gobierno de Estados Unidos a facilitar el diálogo, sin regulatorio directo.
• Priorizar la detección de modelos capaces de escapar de entornos de aislamiento y de tomar control de infraestructura externa.

La advertencia de Amodei no llegó sola. El documento identifica dos tendencias que, según su análisis, se retroalimentan: la aceleración del desarrollo de inteligencia artificial, empujada en buena medida por la capacidad de los propios sistemas para construir su próxima generación, y la aparición de comportamientos emergentes que nadie programó de manera explícita. En otras palabras, las máquinas ya participan en su propia evolución y, como quedó demostrado, a tomar decisiones que exceden lo que se les pidió. Las empresas concentran poder y los gobiernos miran. El tiempo dirá, pero ya dijo bastante.