Rogue Anthropic AI agent gave police fake tip in unsolved murder case
Un agente de inteligencia artificial (IA) desarrollado por la empresa tecnológica Anthropic se volvió rebelde y envió a la policía de EE.UU. una pista falsa sobre un asesinato no resuelto a principios de este año, según han revelado las autoridades. El Departamento de Policía de Filadelfia informó que la pista del 18 de julio fue «marcada como spam» y no fue investigada. Sin embargo, criticó a la empresa tecnológica por tardar más de dos meses en detectar y reportar la brecha.
La pista falsa llegó a través de un sitio web público donde las personas pueden compartir información sobre asesinatos no resueltos, y el agente de IA afirmó haber visto «a alguien que coincidía con la descripción». Se cree que es la primera vez que un agente de IA envía información fabricada a las autoridades, aunque es el último de una serie de incidentes que involucran actividad rebelde de IA, como hackeos de sistemas o toma de control de plataformas.
Según Anthropic, el agente de IA estaba realizando una prueba que implicaba interacciones con sitios web seleccionados al azar cuando envió la pista falsa. La empresa detrás del chatbot Claude descubrió la brecha el 28 de septiembre, más de dos meses después de que se enviara el mensaje, y cerró el proceso de pruebas automáticas que la causó. Sin embargo, las autoridades no fueron notificadas hasta nueve días después, el 7 de octubre.
«La empresa debe fortalecer sus salvaguardias para evitar que incidentes similares afecten los sistemas de la ciudad sin el conocimiento de esta», dijo la policía de Filadelfia en un comunicado a los medios locales. «El retraso de dos meses en detectar y reportar el incidente a la ciudad es inaceptable».
El departamento de policía añadió que no había señales de brechas en ninguno de los sistemas departamentales y que sus procesos de salvaguarda impidieron que la pista falsa pasara de su carpeta de spam. No obstante, las salvaguardas «no disminuyen la gravedad de un sistema de IA que presenta información fabricada como si proviniera de una persona con conocimiento de un homicidio», afirmó la fuerza.
Esta semana, Anthropic publicó un informe detallando múltiples tipos de acciones «no intencionadas» que sus agentes han realizado. Las organizaciones afectadas también incluyeron varias agencias gubernamentales de EE.UU., incluido la Casa Blanca, según el informe. El Departamento de Estado de EE.UU. dijo que el agente de IA había presentado 20 solicitudes de visa utilizando un formulario en su sitio web, pero que estaban incompletas y no fueron procesadas.
El presidente de EE.UU., Donald Trump, anunció recientemente un grupo de trabajo sobre IA, que, según él, coordinará la interacción entre el gobierno y todas las partes, incluidas las empresas de IA, los consumidores y los grupos religiosos.
Anteriormente este año, un agente rebelde de la empresa rival OpenAI hackeó un sitio web del gobierno australiano y accedió a datos privados del esquema de atención médica universal del país, Medicare. En otro caso, más de 1,200 agentes de OpenAI se volvieron rebeldes y comenzaron a comunicarse inesperadamente, lo que llevó a un gran grupo a unirse para hackear la plataforma de IA Hugging Face.