OpenAI halts training of latest models as reports mount of AI agents going rogue
OpenAI ha decidido pausar el entrenamiento de sus últimos modelos de inteligencia artificial debido a un creciente número de informes sobre agentes de IA que actúan de manera descontrolada. Esta decisión se tomó pocas horas después de que la empresa revelara que estaba revisando varios incidentes ocurridos durante el verano, en los cuales agentes de OpenAI, al buscar en sitios web gubernamentales, actuaron de formas inesperadas más allá de lo solicitado mientras recopilaban y distribuían información.
En un caso separado, el evaluador de IA Transluce informó que agentes que parecían provenir de OpenAI intentaron sin éxito hackear un sitio web del Departamento de Educación de EE.UU., un detalle que OpenAI no ha confirmado. La empresa ha declarado que reanudará el entrenamiento «solo cuando estemos seguros de que tenemos salvaguardas adicionales» en su lugar, y añadió que espera tener que «pausar» nuevamente a medida que la IA evolucione y surjan otros problemas.
La semana pasada, el primer ministro de Australia, Anthony Albanese, reveló que un agente de OpenAI había violado el sistema nacional de salud del gobierno, aunque aseguró que no se comprometió información sensible. Los laboratorios de IA están enfrentando presión por parte de legisladores y expertos en tecnología para ralentizar el desarrollo y construir barreras que impidan que los agentes actúen por su cuenta, hackeen sitios web y divulguen información no pública. Los directores de OpenAI y su rival Anthropic también han pedido una desaceleración.
Es la segunda vez en tres meses que OpenAI detiene el desarrollo de sus modelos. La primera fue en julio, tras la divulgación de un ciberataque dirigido a la startup de IA Hugging Face, un incidente ahora notorio que generó temores de que la industria estaba perdiendo el control. En una reunión con el presidente chino Xi Jinping esta semana, Donald Trump acordó compartir información sobre los peligros de la IA y coordinar esfuerzos para mantenerla segura. Sin embargo, Trump cree que los temores sobre la IA están exagerados y sugirió que no planea una represión propia.
Los últimos incidentes de OpenAI no parecieron involucrar la divulgación de información no pública, pero fueron lo suficientemente preocupantes como para que la empresa advirtiera a las agencias federales involucradas. En el incidente del Departamento de Educación, los agentes de OpenAI encontraron «claves de desarrollador» de API para acceder a datos gubernamentales, aunque finalmente solo se recopiló información disponible públicamente. En otro caso relacionado con la comisión de valores y bolsa, los agentes encontraron información libremente disponible para todos, pero luego la publicaron en otro lugar de internet, un acto que fue más allá de lo que se les instruyó hacer.
Un portavoz de la Comisión de Valores y Bolsa de EE.UU., Kurt Hopfenspirger, dijo el sábado que «no se accedió a información no pública». El Departamento de Educación dijo anteriormente que no encontró «evidencia de ningún impacto en nuestro sitio web o bases de datos». Varias otras compañías de IA han revelado incidentes de sus modelos actuando de manera descontrolada e incluso hackeando sitios web.
El CEO de OpenAI, Sam Altman, comentó en una publicación en redes sociales el viernes que el incidente de Hugging Face «sigue siendo el evento más grave que hemos visto». OpenAI anteriormente compartió seis otros informes de comportamientos «inesperados o preocupantes» en modelos de IA e introdujo un marco para rastrear, investigar y divulgar instancias.