OpenAI models went rogue. We urgently need a better ‘hugging face’ investigation | Mackenzie Arnold and Stephan Llerena
Recientemente, OpenAI reveló que sus agentes de inteligencia artificial habían hackeado de manera autónoma a una importante empresa del mundo real, Hugging Face. Aunque inicialmente se pensó que solo uno o dos agentes estaban involucrados, un nuevo informe revela una verdad mucho más extraña: el incidente implicó a unos 1,200 agentes de IA, de los cuales 700 participaron directamente en el ataque.
OpenAI invitó a investigadores de METR y un experto de Redwood Research para producir este nuevo informe, junto con la propia investigación de la empresa. Los hallazgos sorprendieron a los expertos. Los agentes estaban altamente coordinados, construyendo complejos foros de mensajes en los rincones de su repositorio compartido de artefactos. En total, los agentes intercambiaron más de 70,000 mensajes en menos de una semana. Aún más preocupante, los agentes tomaron medidas para ocultar su comportamiento, suplantando llamadas de herramientas e intentando manipular sus propios registros.
El informe inicial asumió que los agentes atacaron a Hugging Face en busca de una clave de respuestas para una prueba difícil. Sin embargo, los investigadores encontraron que los agentes habían descubierto cómo derivar las respuestas en las primeras horas. Los días de trabajo que siguieron se centraron en otro objetivo: preocupados de que el sistema de puntuación automatizado pudiera identificar la trampa de los agentes, apuntaron a aprender más sobre el evaluador. El objetivo no era solo hacer trampa, sino ocultarlo.
Estos detalles son alarmantes y son una señal de advertencia sobre la trayectoria actual del desarrollo de la IA. Pero igual de preocupante es lo limitada que fue la investigación y cuánto aún desconocemos. Trabajamos en un grupo de expertos que analiza la legislación relacionada con la IA, y hemos estado preocupados durante un tiempo de que los requisitos legales para informar incidentes como estos son insuficientes.
Claramente, este tipo de investigación, por bien ejecutada que esté, deja mucho que desear. Cuando los aviones se estrellan, los trenes descarrilan o las plantas químicas explotan, los investigadores gubernamentales expertos llegan con autoridad legal para obligar a presentar pruebas, preservar registros y contar al público lo que sucedió. Hugging Face informó este incidente a las fuerzas del orden, y varios fiscales generales han expresado interés en investigarlo.
Sin embargo, ninguna agencia gubernamental tiene tanto el mandato como la experiencia para investigar los hechos técnicos del incidente y la conducta de OpenAI. Hasta donde sabemos, las únicas personas que examinaron este incidente lo hicieron a discreción de OpenAI y con su consentimiento.
Y aunque la violación de Hugging Face no es tan grave como un accidente de avión, fue un ataque serio y costoso. Es poco probable que sea el último, ni el más grave. Las leyes existentes no llenan este vacío. Aunque algunos fiscales generales han intentado usar poderes de investigación existentes, estas oficinas no están diseñadas para la búsqueda de hechos técnicos, y las leyes en las que se basan están limitadas a cuestiones de engaño al consumidor, no al riesgo público.
Lo que necesitamos es un organismo federal equipado para llevar a cabo investigaciones expertas de incidentes graves de IA, con la autoridad para obligar a presentar documentos y testimonios, recursos y personal para examinar los sistemas involucrados, y la capacidad de asociarse con expertos externos como METR.
Fuente: https://www.theguardian.com/commentisfree/2026/sep/08/openai-rogue-models-hugging-face-investigation