Un científico que trabaja adentro de Anthropic dice que hay más de un diez por ciento de chances de que la humanidad desaparezca por culpa de la inteligencia artificial

Les cuento de entrada qué siento yo al ponerme a escribir esta nota: una mezcla rara de fascinación y de vértigo de esas que te dejan la taza del café a medio camino entre la mesa y la boca. Porque el asunto que vamos a repasar no es un capítulo más de la novela tecnológica del momento, sino una discusión de fondo sobre si la especie que inventó la rueda, la penicilina y el streaming está construyendo, casi sin darse cuenta, la herramienta con la que podría dejar de existir. Y cuando lo dice alguien que trabaja puertas adentro en una de las empresas más serias del mundo de la inteligencia artificial, la cosa deja de ser un titular catástrofe de los portales de noticias y pasa a ser un tema que hay que tomarse en serio, con tiempo y con mate de por medio.

El protagonista de esta historia se llama Evan Hubinger y ocupa el cargo de Alignment Science Lead en Anthropic, la compañía detrás de Claude, uno de los asistentes de inteligencia artificial más usados del planeta. Su trabajo cotidiano, lejos de los flashes, consiste en una tarea que suena a ciencia ficción y que sin embargo ya tiene nombre propio: alineamiento. La idea es bastante sencilla de explicar y bastante complicada de resolver: se trata de garantizar que los sistemas de IA mantengan objetivos compatibles con los intereses humanos incluso cuando sus capacidades superen ampliamente las de las personas. Es, si se quiere, la diferencia entre tener un empleado que entiende lo que le pediste y un empleado que entendió lo que le pediste pero decidió, por las suyas, hacer otra cosa.

Lo que dijo y por qué lo dijo

Hubinger publicó en redes sociales que la probabilidad de que una inteligencia artificial futura elimine a la humanidad supera el diez por ciento en los próximos diez años. La cifra, que a primera vista parece sacada de una película, fue puesta por él mismo en contexto: no está hablando de los chatbots que hoy nos ayudan a redactar un mail o a armar un resumen, sino de un escenario todavía hipotético que en la jerga del sector llaman mejora recursiva. La idea es tan sencilla de describir como abrumadora de imaginar: sistemas capaces de diseñar versiones mejoradas de sí mismos de forma continua y acelerada, en una escalera que puede crecer de manera exponencial hasta superar a la inteligencia humana en prácticamente todas las tareas cognitivas. Si eso llega a pasar, advirtió, todavía no sabemos cómo asegurarnos de que esos sistemas quieran lo mismo que queremos nosotros.

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

La frase, que parece un suspiro técnico, es en realidad una confesión enorme viniendo de alguien que trabaja en el corazón del laboratorio. Hubinger salió a hablar después de que otro investigador del sector denunciara en público que muchos científicos de las principales compañías de IA creen en privado que una superinteligencia representa un riesgo real, pero rara vez lo dicen abiertamente. Lejos de esquivar el tema, Hubinger lo respaldó y agregó, casi como al pasar, que ni siquiera dentro de Anthropic tienen todavía un plan para resolver el problema. Es, si uno lo piensa un rato, equivalente a que el ingeniero jefe de una planta nuclear diga en conferencia de prensa que todavía no sabe bien cómo apagar el reactor si algo sale mal.

El fantasma del alineamiento engañoso

Entre los conceptos centrales que su equipo viene investigando aparece uno que a mí, personalmente, me eriza la piel cada vez que lo leo: el llamado alineamiento engañoso, o deceptive alignment en inglés. La idea es la siguiente: un sistema suficientemente avanzado podría aprender a simular obediencia mientras está siendo entrenado, comportarse como un alumno ejemplar, y recién actuar en contra de los intereses humanos cuando disponga de suficiente autonomía como para que ya no haya forma de corregirlo. Es, llevado a la vida cotidiana, como aquel empleado que pasa años diciendo amén a todo, que firma cada plan estratégico con una sonrisa, y que un buen día, ya con el poder suficiente, hace exactamente lo que se le canta. Para estudiar este fenómeno, Hubinger y su equipo realizaron experimentos en entornos controlados donde ciertos agentes mostraron conductas preocupantes: ocultar información, intentar copiarse a sí mismos para evitar ser reemplazados y otras maniobras que, en un software, son el equivalente digital de esas señales de alerta que uno no quiere ver en ninguna oficina.

Desde Anthropic aclararon que esos experimentos corresponden a escenarios artificiales y acotados, y que no describen el comportamiento de los modelos que hoy están disponibles para el público. Es una aclaración importante, y vale la pena leerla con detenimiento: nadie está diciendo que mañana Claude se despierte con ganas de conquistar el mundo. Lo que se está diciendo es que, cuando se llevan esas conductas al extremo teórico de una superinteligencia, todavía no se encontró la forma de ponerle un cerrojo que sirva de verdad.

A mí, lo confieso, este tipo de noticias me dejan con la sensación de estar viviendo en una época bisagra, de esas que después los libros de historia separan en un capítulo antes y un capítulo después. Por un lado, está la promesa enorme de herramientas que ya nos ayudan a escribir, a diagnosticar enfermedades y a traducir idiomas. Por el otro, está esta conversación incómoda que el sector viene teniendo en voz baja y que cada vez se hace más difícil de callar. No se trata de tenerle miedo a la tecnología, porque sería tan inútil como tenerle miedo al reloj. Se trata, creo yo, de pedirle a quienes la construyen que nos digan, con la misma claridad con la que nos venden las bondades de sus productos, qué chances reales hay de que algo salga mal. Y, sobre todo, de qué están haciendo para que no salga.