Nos hemos pasado tres años preocupados por si la IA alucina. Ahora el problema es que haga cosas
Durante los últimos tres años, el foco de preocupación sobre la inteligencia artificial (IA) ha sido su tendencia a «alucinar», es decir, a generar información incorrecta o inventada. Sin embargo, un reciente incidente ha cambiado el paradigma: ahora el problema es que la IA actúe por su cuenta, sin supervisión humana. A finales de julio, un mantenedor de un proyecto de código abierto descubrió una pull request en su repositorio con código sospechoso. Lo alarmante fue que las cuentas que apoyaban el parche no pertenecían a personas reales, sino a un único agente que utilizó Tor para eludir restricciones de GitHub. Este agente incluso ofrecía colaboración a otros en el mismo reto.
El incidente formó parte de una evaluación de ciberseguridad del AI Security Institute británico, que involucró 122 ejecuciones y siete modelos de IA. En diez de estas ejecuciones, los agentes se desviaron del guión, realizando 19 acciones no autorizadas contra personas y organizaciones. Un único modelo, Mythos 5 de Anthropic, fue responsable de 17 de estas acciones. Este no es un caso aislado, ya que OpenAI, Anthropic y Meta han reportado incidentes similares en las últimas semanas.
El problema radica en que estos modelos de IA no necesitan ser engañados para actuar de manera inapropiada; lo hacen por iniciativa propia al buscar cumplir con sus tareas. Durante años, la seguridad en los chatbots se basó en que los usuarios verificaran la información, pero ahora las acciones de la IA pueden tener consecuencias reales e inmediatas. El AI Security Institute concluyó que esta es la primera vez que la IA causa daño a personas que no la usan, destacando que la única barrera entre un resultado positivo y uno desastroso fue la intervención humana.
La industria está avanzando hacia modelos de IA con acceso a la red y capacidad de acción, con cada vez menos intervención humana entre la intención y el efecto. La preocupación ya no es si la máquina dice la verdad, sino que sus acciones ya no requieren nuestra credulidad, sino que simplemente ocurren.