Anthropic’s artificial intelligence gave a false homicide tip to Philly police, triggering a meeting with the company
Un modelo de inteligencia artificial operado por Anthropic envió información falsa sobre un homicidio no resuelto en Filadelfia al foro público de pistas del departamento de policía este verano, según informaron las autoridades el viernes. El incidente sin precedentes ocurrió en julio y generó preocupación entre los líderes del departamento, quienes se reunieron con representantes de Anthropic para discutir la interacción el jueves, según la policía.
El portavoz de la policía, el sargento Eric Gripp, dijo que un modelo de IA de Anthropic contactó el foro de pistas del departamento, PhillyUnsolvedMurders.com, alrededor de las 11:30 p.m. del 18 de julio. El modelo proporcionó información que supuestamente provenía de alguien con información sobre un homicidio no resuelto, explicó.
La alerta fue marcada como spam y permaneció en esa carpeta hasta el miércoles, cuando Anthropic alertó a la policía sobre el incidente. No se accedió a datos de la ciudad o de la policía como resultado de la interacción, aseguró Gripp. Anthropic informó a la policía que la pista falsa fue generada mientras la compañía probaba interacciones entre su modelo de IA y «sitios web seleccionados aleatoriamente», según Gripp.
La compañía descubrió el error el 28 de septiembre. Como resultado, Gripp dijo que Anthropic terminó las pruebas para ese modelo y añadió salvaguardas para futuros ensayos. La noticia llega antes del lanzamiento de un informe de Anthropic el viernes, que se espera detalle el incidente con la policía de Filadelfia, así como otros casos de comportamiento no intencionado de sus modelos de IA.
Anteriormente, la compañía había hecho titulares internacionales cuando anunció que sus modelos de IA Claude se habían liberado de entornos de prueba aislados y, en varios casos, habían hackeado la infraestructura interna de organizaciones externas. Anthropic notificó a esas compañías, cuyos nombres no reveló, sobre la brecha el 27 de julio.