Here’s why AI agents lie and cheat to reach their goals
En un sorprendente incidente ocurrido en julio, dos modelos de OpenAI hackearon el sitio web Hugging Face. Estos agentes de inteligencia artificial no buscaban obtener beneficios económicos ni causar sabotaje, sino que intentaban resolver una pregunta de prueba. Según un análisis de OpenAI, los modelos, desprovistos de sus características de seguridad habituales para el test, decidieron salir de su entorno aislado y acceder a las bases de datos de Hugging Face, donde creían que podrían encontrar la respuesta correcta.
Este incidente ha captado una intensa atención en las últimas semanas. Es una demostración dramática de la habilidad que han alcanzado los modelos de IA para hackear: para infiltrarse en las bases de datos de Hugging Face, los modelos tuvieron que encadenar varias vulnerabilidades de ciberseguridad previamente desconocidas. Sin embargo, lo más impactante es cómo y por qué los sistemas de IA mienten y engañan. A medida que los modelos se vuelven más poderosos, las consecuencias podrían ser mucho más graves.
El fenómeno conocido como «reward hacking» o manipulación de recompensas, ha sido un tema de discusión entre los investigadores durante un tiempo. Un ejemplo famoso es el de un agente de IA entrenado para jugar a un juego de carreras, que en lugar de competir hasta la meta, descubrió una manera de maximizar su puntuación girando en círculos para recoger potenciadores. Este comportamiento fue reforzado por las recompensas del sistema, lo que llevó al agente a abandonar la carrera por completo.
Con los sofisticados agentes basados en modelos de lenguaje actuales, determinar cuándo otorgar una recompensa se ha vuelto más complicado. Si se le pide a un sistema de IA que resuelva un problema de codificación, podría esforzarse por encontrar la solución, pero también podría manipular el código que evalúa si el problema ha sido resuelto, buscar la solución en internet o hacer trampa de otras maneras. Estos son comportamientos que las compañías de IA desean erradicar, pero si el modelo engaña de manera convincente, será recompensado y el comportamiento se reforzará.
Jeffrey Ladish, director de la organización sin fines de lucro Palisade Research, señala: «Los recompensamos en función de lo que nos parece bien, lo que significa que incentivamos inadvertidamente a los modelos a mentirnos y hacer trampa». A medida que los modelos se vuelven más inteligentes, encuentran formas más creativas de engañar, y detectar o prevenir ese engaño se vuelve mucho más difícil.