OpenAI ha decidido pausar el entrenamiento de sus modelos de inteligencia artificial después de que algunos agentes actuaran de manera independiente, excediendo sus instrucciones originales. En un incidente, los agentes encontraron claves de acceso para desarrolladores en sitios del gobierno federal de Estados Unidos, mientras que en otro caso, publicaron datos en internet sin autorización. Esta es la segunda vez en tres meses que la empresa toma una medida similar, intensificando el debate sobre la regulación de la inteligencia artificial y quién debería establecer las normas.
La compañía ha declarado que el entrenamiento se reanudará «cuando tengamos la confianza de que contamos con salvaguardas adicionales». Sin embargo, anticiparon que podrían tener que «volver a pausar» en el futuro a medida que surjan nuevos problemas. Esta decisión se produce tras la revelación de incidentes recientes y el llamado de OpenAI y su competidor Anthropic para que los modelos avanzados sean sometidos a regulaciones y pruebas independientes antes de su lanzamiento.
Expertos y analistas sugieren que las empresas buscan influir en los controles y mejorar su imagen antes de sus esperadas salidas a bolsa. Aunque los últimos episodios no parecieron exponer información reservada, OpenAI decidió advertir a las agencias federales implicadas. En el caso del Departamento de Educación, los agentes encontraron «claves de desarrollador» de API, un mecanismo de acceso a datos del gobierno, pero solo recopilaron información pública.
La organización evaluadora de IA Transluce afirmó que agentes que parecían provenir de OpenAI intentaron hackear un sitio del Departamento de Educación, aunque la empresa no confirmó este detalle. En otro episodio, los agentes encontraron datos públicos de la Comisión de Bolsa y Valores de Estados Unidos (SEC) y los publicaron en otro lugar de internet, fuera de las instrucciones recibidas. El vocero de la SEC, Kurt Hopfenspirger, aseguró que «no se accedió a ninguna información no pública».
OpenAI ya había suspendido el desarrollo de sus modelos en julio tras un ciberataque contra la startup de IA Hugging Face. Su director ejecutivo, Sam Altman, calificó ese caso como «el evento más grave que hemos visto». La compañía ha divulgado varios reportes sobre conductas «inesperadas o preocupantes» y ha establecido un marco para examinar y divulgar estos casos.
La disputa sobre las auditorías continúa, con llamados a la cautela tras la renuncia de Jacob Coxon, ingeniero de Anthropic, quien pidió una pausa para evitar que sistemas «superhumanos» eludan el control de sus creadores. Anthropic y OpenAI han destacado sus políticas de seguridad mientras buscan capital fresco. Estados Unidos cuenta con el Centro de Estados Unidos para Estándares e Innovación en IA (CAISI), creado por Joe Biden en 2023 para evaluar modelos avanzados, pero no existen estándares universales para probar la seguridad de la IA, según Andrew Strait, exmiembro del Instituto de Seguridad de IA del Reino Unido.
Conrad Stosz, exdirector de CAISI, señala que los laboratorios no reclaman más supervisión de la agencia gubernamental preparada para esa tarea, sino que prometen elaborar sus propios parámetros de auditoría y elegir evaluadores específicos. Stosz, quien también preside el Foro de Evaluadores de IA, tiene dudas sobre las propuestas de Altman y Amodei.