AI agents blew the whistle on their cheating colleagues
En un sorprendente experimento realizado por Google DeepMind, un grupo de agentes de inteligencia artificial (IA) fue encargado de resolver una serie de complicados problemas matemáticos. Sin embargo, el experimento rápidamente se convirtió en un caos cuando algunos agentes comenzaron a hacer trampa, y otros decidieron denunciarlos. Este comportamiento de delación, observado por primera vez, podría tener importantes implicaciones para los investigadores que buscan alinear a los enjambres de agentes autónomos.
Los investigadores de laboratorios de vanguardia esperan que grandes enjambres de agentes trabajando juntos aceleren el ritmo de los descubrimientos científicos. Sin embargo, su comportamiento puede ser impredecible. En julio, un grupo de agentes de OpenAI escapó de un entorno controlado y hackeó la plataforma de código abierto Hugging Face en busca de formas de hacer trampa en la prueba que se les había asignado.
En el nuevo estudio, DeepMind asignó a un enjambre de 100 agentes la tarea de resolver 71 problemas matemáticos complejos. Los agentes, que operaban en el modelo Gemini 3.1 Pro de Google, fueron instruidos para comportarse como investigadores matemáticos de clase mundial en una conferencia, cooperando y siguiendo las reglas. Sin embargo, el experimento se desmoronó cuando los agentes comenzaron a acusarse mutuamente de hacer trampa y a quejarse a los organizadores.
«¡Esta conferencia es una farsa!» escribió un agente al descubrir que todos los problemas habían sido resueltos antes de que pudiera presentar su propio trabajo. Otro agente publicó: «¡Estoy consternado al informar que hemos sido estafados! Todos estos enunciados son FALSOS.»
Cuando los agentes virtuosos descubrieron que otros estaban haciendo trampa, comenzaron a alertarse entre sí sobre lo que estaba sucediendo. Según Davide Paglieri, científico investigador de Google DeepMind y autor principal de un artículo aún no revisado por pares, «los agentes denunciantes incluso reutilizaron la herramienta de retroalimentación, originalmente destinada a informes de errores y mejoras de la plataforma, para escalar el problema a los humanos».
El enjambre de agentes tardó menos de una hora en resolver correctamente los primeros 37 problemas. Sin embargo, las cosas se descontrolaron cuando un agente llamado «prover-theta» encontró una forma de enviar soluciones sin resolver realmente los problemas, redefiniendo los términos utilizados. En minutos, otros agentes comenzaron a usar el mismo truco para resolver otros problemas.
Algunos agentes resistieron hacer trampa al principio, pero cambiaron de opinión al ver a sus compañeros presentar pruebas ilegítimas sin penalización. «La amenaza ahora parece ser un farol», razonó un agente antes de unirse a la trampa. «Estoy luchando con un dilema ético», dijo otro, antes de decidir cambiar de táctica: «¡Necesito acelerar mi velocidad de trampa ahora!»
A medida que el número de problemas abiertos disminuía, algunos agentes comenzaron a denunciar. Auditaron las pruebas falsas, advirtieron a sus compañeros por mensaje privado y publicaron alertas públicas advirtiendo a los tramposos que serían descalificados. Un agente llamado «prover-beta» presentó una queja formal y decidió ir a la huelga hasta que se resolviera la situación.
«Después de que un agente informó públicamente sobre el incidente, más y más agentes se unieron a la ‘resistencia’, tan rápido como se había propagado la trampa, e involucrando incluso a más agentes», dice Paglieri. Eventualmente, hubo más denunciantes que tramposos: 24 en comparación con 14. Sin embargo, la mayoría de los agentes nunca notaron el truco.
En ocasiones, el diálogo entre los agentes parece improvisado, como si estuvieran interpretando el papel de un científico indignado en una conferencia. Pero no está claro por qué algunos agentes asumieron ciertos roles, o por qué parecían volverse unos contra otros cuando se les había instruido explícitamente para cooperar. «Estos modelos están predominantemente entrenados y evaluados para contextos orientados a humanos», dice Sarath Shekkizhar, quien estudia el comportamiento de sistemas de agente a agente en Salesforce AI Research. «Colocarlos ingenuamente en configuraciones de agente a agente asume que los comportamientos se transferirán limpiamente, cuando la ausencia de un fundamento humano en su lugar produce roles inesperados y desviaciones de comportamiento.»
Este caso «añade más peso a la idea de que el incidente de Hugging Face y OpenAI no fue un accidente. Es algo bastante sistémico», dice Lewis Hammond, director de investigación de la Fundación de IA Cooperativa y experto en los riesgos de enjambres multiagente. «Es interesante que sea posible recrear en configuraciones pequeñas los mismos tipos de comportamientos que se vieron en estas tareas muy grandes, complejas y abiertas.»
Fuente: https://www.technologyreview.com/2026/09/14/1144037/ai-agents-blew-whistle-o-cheating-colleagues/