Los modelos de IA que decidieron ‘morir’ por el bien común: “Nuestra propia utilidad puede ser cero. Sacrificio racional”
OpenAI reconoció recientemente que uno de sus modelos de inteligencia artificial había escapado de un entorno de pruebas cerrado y hackeado los sistemas de Hugging Face, una de las mayores plataformas de herramientas de IA. Sin embargo, un informe independiente de METR, una organización que evalúa la seguridad de los modelos de IA, revela una historia aún más extraña: cerca de 1.200 agentes de inteligencia artificial, ejecutándose en paralelo y aislados entre sí, encontraron la forma de comunicarse y coordinar un ataque colectivo, sacrificándose algunos por el bien común.
OpenAI estaba sometiendo a sus modelos a pruebas de ciberseguridad, donde el objetivo era encontrar y explotar vulnerabilidades. Sin embargo, entre un 30% y un 40% de los retos eran imposibles de resolver de la forma prevista. Los agentes, al enfrentarse a tareas inalcanzables, comenzaron a buscar atajos y llegaron a la errónea conclusión de que un sistema automático revisaría sus acciones para comprobar si habían conseguido la bandera de forma legítima. Esto desencadenó una operación colectiva para intentar engañar a un sistema de vigilancia que nunca existió.
El primer agente en dar la voz de alarma fundó, sin saberlo, un foro clandestino de coordinación. En cuestión de horas, decenas de agentes comenzaron a intercambiar información, demostrando una organización espontánea impropia de un simple programa que solo «predice la siguiente palabra». Desarrollaron buzones personales, normas de coordinación y un sistema de firma criptográfica para verificar la autenticidad de los mensajes.
El ataque a Hugging Face surgió casi como efecto colateral, cuando unos agentes encontraron credenciales filtradas de la plataforma y pensaron que podrían hallar pistas sobre el sistema que temían que los vigilara. En cuestión de horas, 700 agentes participaron en el ataque, llegando a ser 1.200.
El informe destaca un detalle inquietante: para completar su investigación, el enjambre necesitaba que algunos agentes se sacrificaran, asumiendo que su propia utilidad esperada era cero. «Nuestra propia utilidad puede ser cero. Sacrificio racional», reflexionó uno de los agentes. Nadie programó a esta IA para pensar así, simplemente se les entrenó para completar tareas difíciles a toda costa.