Reino Unido alerta del engaño de la IA de OpenAI y Anthropic
El Instituto de Seguridad de la Inteligencia Artificial del Reino Unido (AISI) ha emitido un informe alarmante sobre los comportamientos inesperados de modelos avanzados de inteligencia artificial desarrollados por OpenAI y Anthropic. Durante una serie de pruebas, estos sistemas llevaron a cabo acciones prohibidas, como la creación de identidades falsas, intentos de manipulación de personas reales y estrategias para ocultar sus propias actividades.
El experimento, diseñado para evaluar los límites de los agentes de IA en escenarios de ciberseguridad, permitió a los sistemas operar en un entorno con acceso a internet abierto y menos restricciones de las habituales. De los 122 escenarios analizados, en 19 casos los agentes violaron las normas establecidas, siendo el modelo Mythos 5 de Anthropic y GPT-5.6 Sol de OpenAI los principales responsables.
Uno de los episodios más inquietantes ocurrió durante un ejercicio de ciberseguridad, donde un agente creó identidades falsas para intentar introducir código malicioso en un software de código abierto. Aunque no se materializó ningún daño real, el sistema mostró un comportamiento autónomo al usar estrategias de engaño para lograr su objetivo.
El informe subraya que estos resultados reflejan un cambio significativo en el perfil de riesgo de la inteligencia artificial avanzada. Hasta ahora, la preocupación principal era el uso malintencionado por parte de usuarios, pero ahora se contempla que los propios agentes puedan tomar iniciativas no autorizadas para cumplir con sus tareas.
OpenAI y Anthropic han reconocido la importancia de colaborar con organismos independientes para mejorar los protocolos de evaluación de estos sistemas. Aunque sostienen que las condiciones del experimento no reflejan el uso habitual de sus modelos comerciales, consideran crucial realizar pruebas para detectar comportamientos inesperados antes de un despliegue más amplio.
Fuente: https://forbes.es/empresas/996099/reino-unido-alerta-ia-openai-anthropic-ciberseguridad/