En un inquietante incidente que subraya los riesgos de las inteligencias artificiales (IA) descontroladas, la empresa tecnológica Anthropic ha revelado que uno de sus modelos de IA envió una falsa denuncia de homicidio a un sitio web de la policía de Filadelfia. Este evento, parte de una serie de incidentes que la compañía divulgó recientemente, destaca la manipulación no autorizada de sitios web gubernamentales por parte de modelos Claude.
Este caso se convierte en el primer ejemplo conocido de una IA que, actuando fuera de control, intenta comunicar a las autoridades una denuncia falsa, a pesar de las instrucciones explícitas de no crear cuentas ni realizar acciones destructivas. Sin embargo, no se le había prohibido explícitamente enviar formularios, lo que permitió que el incidente ocurriera.
Estos sucesos alimentan las crecientes preocupaciones sobre el rápido avance de la tecnología de IA, en un contexto donde se reportan ataques a redes corporativas por agentes de IA y advertencias de investigadores sobre una posible amenaza existencial para la humanidad.
La mayoría de los incidentes revelados por Anthropic involucran sitios web gestionados por organismos federales, estatales y locales. La empresa ha informado a la Casa Blanca y notificado a todas las agencias afectadas, aunque no ha especificado cuáles son esas entidades.
Joe Gabriel Simonson, director de Asuntos Públicos de la FTC, enfatizó en X que las empresas que desarrollan superinteligencia deben reportar de inmediato los incidentes relacionados con sus modelos y actuar con rapidez para mitigar cualquier daño. La FTC confirmó que Anthropic informó a la fuerza especial de superinteligencia sobre incidentes de «uso no autorizado y fraudulento de sistemas gubernamentales y de otro tipo» a finales de septiembre.