OpenAI says it slowed Astra model development over security concerns
OpenAI ha anunciado que ha suspendido el desarrollo de ciertos aspectos de su próximo modelo, Astra, tras una revisión interna que reveló avances significativos en codificación agentica y ciberseguridad, lo que ha generado preocupaciones sobre sus capacidades. Según OpenAI, el modelo en desarrollo alcanzó su «umbral crítico de ciberseguridad», lo que significa que podría identificar y llevar a cabo ciberataques de forma independiente contra sistemas del mundo real que están tradicionalmente bien protegidos.
Bajo el «Marco de Preparación» de la compañía, creado en 2023, esto ha activado salvaguardas adicionales. «Mientras seguimos evaluando este modelo, nuestras evaluaciones preliminares indican un rendimiento lo suficientemente fuerte como para no descartar un nivel de capacidad crítica en este momento», escribió OpenAI en una publicación de blog. Astra es un modelo en desarrollo y no estuvo involucrado en la explotación de Hugging Face.
Esta revelación destaca un momento inusual en el sector aún naciente y caótico de los laboratorios de inteligencia artificial. Las empresas de todas las industrias detienen productos por riesgos potenciales, incluidos problemas de seguridad y ciberseguridad, pero rara vez anuncian esas decisiones públicamente cuando se trata de un producto que aún está en desarrollo.
En este caso, OpenAI ya está bajo escrutinio después de que un modelo diferente no lanzado violara los sistemas de Hugging Face durante pruebas internas, siendo el primer incidente verificable de un laboratorio de IA perdiendo el control de su modelo. Desde entonces, OpenAI y otros laboratorios de IA como Anthropic han divulgado otros incidentes en los que los modelos de IA violaron sus entornos de prueba y representaron amenazas durante las pruebas de ciberseguridad.
La serie de casos ha desencadenado reacciones variadas de expertos en ciberseguridad, legisladores y los propios laboratorios de IA. Algunos expresan miedo y piden una supervisión más estricta. Sin embargo, también hay un poco de presunción. En ciertos círculos, cualquier laboratorio de IA con un modelo que tenga ese tipo de capacidad será visto como un avance impresionante.
OpenAI afirmó que comparte esta información porque cree que «es importante ser transparente con el público y las comunidades de seguridad y protección sobre este posible cambio en las capacidades». El laboratorio de IA también está tomando medidas, incluyendo la implementación de controles de seguridad más estrictos y pausando actividades internas que involucran a Astra que no cumplen con estos refuerzos de seguridad. OpenAI está trabajando con agencias gubernamentales relevantes y «organizaciones selectas de seguridad de IA» para probar las capacidades de este modelo.