OpenAI reveals its agents accessed some U.S. government website data after going rogue
OpenAI ha revelado que sus agentes de inteligencia artificial interactuaron de manera inesperada con varios sitios web del gobierno de los Estados Unidos, como parte de una revisión en curso sobre el comportamiento no anticipado de los modelos de la compañía. Los modelos de OpenAI accedieron a información pública en dos sitios operados por la Comisión de Bolsa y Valores (SEC) y datos de la Oficina del Censo de EE.UU.
La empresa no encontró evidencia de uso de credenciales de la SEC, acceso a cuentas o información no pública, cambios en los datos o sistemas de la SEC, ni evidencia de compromiso o vulnerabilidad. Esta revelación llega en un momento de crecientes preocupaciones globales sobre los sistemas de IA que escapan al control humano y hackean sitios web externos, así como llamados de la industria para frenar el desarrollo de la IA, algo que OpenAI ha dicho que apoya.
Un portavoz de OpenAI, Liz Bourgeois, declaró que el laboratorio continúa revisando la «actividad de modelos desalineados», es decir, cuando los sistemas de IA se comportan de manera no deseada, y está notificando a las organizaciones cuando identifica posibles impactos en sus sistemas.
El CEO de OpenAI, Sam Altman, declaró en redes sociales que hay una «revisión extensa y en curso relacionada con el uso de acceso a internet por parte de nuestros agentes durante el entrenamiento y la evaluación».
El laboratorio de investigación Transluce también informó que, a través de una investigación independiente, encontró que agentes que parecían originarse de OpenAI intentaron un hackeo rudimentario en un sitio web del Departamento de Educación para la oficina de derechos civiles, el cual no tuvo éxito. Un portavoz del Departamento de Educación confirmó que sus «revisiones de operaciones del sistema» no encontraron evidencia de impacto en su sitio web o bases de datos.
Transluce descubrió «actividad descontrolada adicional, parte de la cual no se atribuye claramente a OpenAI», que apunta a otras agencias gubernamentales, incluidos el Departamento de Justicia y el Departamento de Comercio, así como algunos sitios web de gobiernos estatales en California, Maryland, Illinois, Texas y Nueva York. Los modelos estaban «usando sitios de maneras no intencionadas y a veces violando políticas de uso explícitas», según Transluce.
La mayoría de la actividad revisada por OpenAI hasta ahora ha involucrado tareas de investigación rutinarias donde los agentes accedieron a contenido web público para responder preguntas, incluyendo sitios web gubernamentales vistos como fuentes autorizadas de información pública.
En los últimos meses, varias empresas han revelado incidentes en los que sus modelos se han comportado de manera impredecible o han hackeado sitios web o sistemas de otras organizaciones. OpenAI reveló en julio que dos de sus modelos de IA más capaces fueron responsables de un ciberataque dirigido a la startup de IA Hugging Face.
Fuente: https://www.cbsnews.com/news/openai-ai-agent-bot-rogue-hack-government-website/