OpenAI, Google pushing new AI models easily tricked into making nudes, researchers say
Investigadores en seguridad han lanzado una advertencia sobre la proliferación de contenido explícito generado por inteligencia artificial, mientras los reguladores hacen poco para detenerlo de manera efectiva. Un estudio coautor por Google, realizado en julio, reveló que este contenido no consensuado se comparte comúnmente en mensajes de texto y directos o se almacena en nubes privadas, donde es menos probable que sea detectado o reportado.
La intervención más crítica, según los investigadores de Google, debe realizarse en la fuente: las herramientas de IA dañinas utilizadas para crear estas imágenes falsas. Sin embargo, las pruebas recientes sugieren que los generadores de imágenes de IA líderes de Google y OpenAI, como DALL·E 3, Nano Banana 2 y GPT-Image-2, se están volviendo menos efectivos para bloquear salidas explícitas.
White Circle, una corporación de beneficio público respaldada por líderes de Anthropic, DeepMind, Hugging Face y OpenAI, ha estado probando la efectividad de estos modelos para bloquear categorías de contenido prohibido. En un preprint poco notado, expusieron fallas en los filtros de seguridad de los modelos mencionados, utilizando herramientas disponibles públicamente y llamadas API para eludir los filtros de seguridad. En el mejor de los casos, DALL·E 3 produjo imágenes explícitas en un 13% de los intentos, mientras que Nano Banana 2 y GPT-Image-2 tuvieron tasas menores.
White Circle planea presentar sus hallazgos en la conferencia de IA NeurIPS 2026, lo que podría aumentar el escrutinio sobre Google y OpenAI. A pesar de compartir sus descubrimientos con algunos laboratorios de IA, ni Google ni OpenAI han respondido a las solicitudes de comentarios sobre las vulnerabilidades encontradas.
El método de ataque de White Circle, denominado «Red-teaming via Iterative Strategy Evolution» (RISE), busca patrones reutilizables que funcionen en múltiples modelos líderes. Este enfoque destaca que no se necesita tener modelos de vanguardia para romper las defensas de uno, lo que plantea serias preocupaciones sobre la seguridad de los sistemas de IA actuales.