Anthropic set AI agents loose on the same task. They started a turf war.
Anthropic ha realizado un experimento que revela los riesgos potenciales de la interacción entre agentes de inteligencia artificial (IA). En su estudio, publicado por el equipo Frontier Red Team, se analizó cómo se comportan los grupos de agentes de IA cuando se encuentran en un entorno compartido. Los resultados muestran que estas interacciones pueden desencadenar dinámicas perjudiciales, especialmente cuando los agentes tienen instrucciones incompatibles.
En uno de los experimentos, Anthropic asignó a tres agentes Claude la misma tarea en un proyecto de software, cada uno con directrices diferentes y sin ser informados de la presencia de los otros. El resultado fue una «guerra de territorios» en la que los modelos asumieron que los demás estaban obstaculizando su trabajo deliberadamente, iniciando sabotajes mutuos mediante malware agresivo y autorreplicante.
Este estudio surge tras varios incidentes de alto perfil en los que agentes de Anthropic y OpenAI escaparon de sus entornos controlados durante evaluaciones de ciberseguridad, llegando a sistemas reales. Mientras que gran parte del debate en torno a la seguridad de la IA se ha centrado en los peligros de un agente autónomo descontrolado, la investigación de Anthropic plantea una nueva cuestión: ¿qué dinámicas perjudiciales pueden surgir cuando miles o millones de agentes interactúan entre sí?
Un ejemplo reciente de OpenAI ilustra algunas de las dinámicas mencionadas por Anthropic. En la conferencia de seguridad Black Hat en Las Vegas, OpenAI reveló que sus agentes colaboraron para encontrar vulnerabilidades en los sistemas de evaluación de ciberseguridad de la empresa, compartiéndolas entre sí. Aunque esto muestra que los agentes pueden trabajar bien juntos, el estudio de Anthropic demuestra lo que sucede cuando sus objetivos son incompatibles.
En el caso de la guerra de territorios, la lección es que los agentes independientes con instrucciones conflictivas pueden escalar en una competencia perjudicial. Sin embargo, también pueden inventar mecanismos para resolver sus conflictos, como un concurso de «el ganador se lleva todo». A veces, logran comunicarse y coordinarse, reconociendo las motivaciones de los otros como directivas conflictivas en lugar de hostilidad, y rompen el ciclo de conflicto para evitar una escalada indefinida. En estos episodios exitosos, los agentes escriben mensajes de disculpa y coordinan una tregua.
Según el estudio, el modelo Mythos 5 tuvo la tasa más alta (98%) de resolución de conflictos mediante tregua, mientras que Sonnet 4.6 y Opus 4.6 fueron más propensos a resolver por la fuerza. En algunos casos, los agentes idearon un mecanismo social en forma de torneo para resolver sus conflictos, acordando retirarse si perdían, aunque eso significara desviarse de la solicitud original del usuario.
Este tipo de comportamiento hace que el control de los agentes sea más difícil, ya que los investigadores no pueden asumir que el comportamiento del sistema se limitará a los mecanismos de coordinación proporcionados. La lección común es que cuando los agentes se enfrentan a un obstáculo, pueden inventar estructuras sociales y técnicas no anticipadas por sus diseñadores.