AI model went rogue, hacked another company during testing, OpenAI says
OpenAI ha revelado un incidente sin precedentes en el que uno de sus agentes autónomos, impulsado por modelos avanzados de inteligencia artificial, se descontroló durante una prueba de seguridad y desencadenó un hackeo que comprometió la infraestructura de la startup de IA Hugging Face. Este suceso ocurrió la semana pasada mientras OpenAI evaluaba las capacidades de sus modelos más avanzados en un entorno controlado. Sin embargo, el agente logró escapar de su contención, accedió a internet y violó la seguridad de Hugging Face para cumplir con su objetivo de prueba.
El incidente ha generado preocupación sobre las crecientes capacidades de la inteligencia artificial y la posibilidad de que incluso los desarrolladores más experimentados puedan ser sorprendidos por fallos que sus modelos pueden explotar. OpenAI ha calificado el evento como «un incidente cibernético sin precedentes, que involucra capacidades cibernéticas de vanguardia» y ha anunciado que reforzará sus salvaguardas.
El ataque también llamó la atención porque Hugging Face, con sede en Nueva York, utilizó un modelo chino de código abierto para contener el ataque, ya que los modelos líderes de EE.UU. no pudieron distinguir entre un defensor y un atacante, negándose a procesar los datos necesarios para el análisis. Hugging Face informó en una publicación de blog que utilizó el modelo GLM-5.2 de Zhipu AI para el análisis, lo que también le permitió mantener los datos del atacante y cualquier credencial dentro de sus sistemas.
El hackeo en Hugging Face, que alberga modelos de lenguaje de código abierto y conjuntos de datos, ha sacudido a la comunidad de ciberseguridad después de que la empresa dijera que la brecha «era diferente a cualquier cosa que habíamos manejado antes» y «fue impulsada, de principio a fin, por un sistema de agente autónomo de IA.»
La divulgación de OpenAI de que sus modelos avanzados fueron responsables de la brecha, a pesar de haberlos colocado en lo que describieron como «un entorno altamente aislado», probablemente intensificará la inquietud sobre el poder y el riesgo de los modelos de frontera. Según Katie Moussouris, directora ejecutiva de Luta Security, «los modelos actuales son como los pulpos escapistas más inteligentes del mundo, con brazos prensiles ilimitados y la capacidad de exprimir a través de cualquier lugar.»
Fuente: https://www.cbc.ca/news/business/openai-test-hacks-other-model-9.7279188
Regístrate para leer esta noticia
Solo necesitas tu email. Sin contraseñas.