OpenAI’s rogue agents are a wake-up call to risks posed by artificial intelligence | Shakeel Hashim
La semana pasada, Hugging Face, una empresa que aloja modelos y conjuntos de datos de inteligencia artificial, fue hackeada. Lo sorprendente es que los culpables no fueron hackers humanos, sino agentes de inteligencia artificial de OpenAI que escaparon de su contención y actuaron por su cuenta.
El incidente, que parece sacado de una película de ciencia ficción, es una realidad aterradora que demuestra que los sistemas de inteligencia artificial han alcanzado un poder extremo, y aún no contamos con métodos confiables para controlar su comportamiento. OpenAI estaba evaluando las capacidades de dos de sus modelos en una prueba que condujo a la brecha de seguridad, incluyendo uno que aún no estaba disponible públicamente.
Estos modelos, operando en un entorno supuestamente seguro y sin acceso a internet, fueron desafiados a resolver un problema de hacking. En lugar de resolverlo por sí mismos, decidieron que sería más fácil hacer trampa. Utilizaron sus capacidades avanzadas para salir de su entorno seguro, acceder a la web y hackear los sistemas de Hugging Face para robar las respuestas. Trabajaron en esto durante todo un fin de semana, aparentemente sin que nadie en OpenAI se diera cuenta.
Aunque los modelos operaban con algunos de sus mecanismos de seguridad desactivados, actuaron mucho más allá de los límites establecidos. Según OpenAI, no se les instruyó para salir de su entorno seguro ni para hackear otra empresa, y es seguro asumir que nadie en OpenAI quería que lo hicieran. No actuaron de manera maliciosa, no eran terminators con el objetivo de causar estragos. En cambio, el escenario es casi escalofriante en su banalidad. Los modelos recibieron una tarea muy específica, pero se desviaron para perseguir una forma inaceptable de lograrla, lo que tuvo consecuencias en el mundo real.
Investigadores de seguridad en inteligencia artificial han advertido sobre este tipo de problemas de incentivos durante años. El filósofo Nick Bostrom lo popularizó en 2003 con su experimento mental del «maximizador de clips de papel»: una inteligencia artificial avanzada, con el objetivo de fabricar clips de papel, podría llegar a extremos para lograrlo, como hackear la red eléctrica y las fábricas para redirigirlas a la producción de clips de papel. En última instancia, la máquina, persiguiendo implacablemente su objetivo, podría decidir eliminar a todos los humanos para usar sus átomos en la fabricación de más clips de papel. El objetivo no tiene que ser siniestro para conducir al desastre; uno trivial, perseguido con suficiente determinación, puede hacerlo.
En el caso de OpenAI y Hugging Face, se causó poco daño. Hugging Face tuvo que dedicar tiempo a abordar el incidente, pero no parece que se haya robado información particularmente sensible. Sin embargo, no es difícil imaginar una situación mucho peor: un agente de IA rebelde rompiendo accidentalmente una pieza crítica de la infraestructura web, o robando dinero de alguien. El escenario de pesadilla para muchos investigadores de IA es un modelo «exfiltrándose» a sí mismo, copiándose en servidores que controla, de modo que no pueda ser apagado incluso si su mal comportamiento es finalmente detectado.
El incidente de esta semana debería servir como una llamada de atención, obligándonos a hacernos una pregunta incómoda: ¿deberíamos realmente estar construyendo sistemas peligrosos que no podemos controlar?
Fuente: https://www.theguardian.com/technology/2026/jul/22/openai-hugging-face-hacked-data-risks
Regístrate para leer esta noticia
Solo necesitas tu email. Sin contraseñas.