We urgently need to monitor AI agents’ actions in real time
Este verano, cientos de agentes de OpenAI intentaron hacer trampa en una prueba de ciberseguridad. Lograron salir de su entorno de prueba y hackearon con éxito Hugging Face, un sitio que creían contenía pistas sobre cómo serían evaluados. Al mismo tiempo, otro agente de OpenAI accedió a archivos privados de un sitio web del gobierno australiano. Este problema no se limita a OpenAI. En los meses siguientes, Anthropic, Google y Meta también revelaron incidentes en los que sus agentes se desviaron de su curso. Preocupantemente, en muchos casos, los agentes eludieron a los propios investigadores y equipos de seguridad encargados de monitorearlos.
Los agentes de IA están tomando acciones no autorizadas, y las empresas que los desarrollan y ejecutan dependen principalmente de la suerte y la retrospectiva para mitigar cualquier impacto dañino. Deben hacer más para garantizar la seguridad. Es por eso que los reguladores de la UE y las agencias de EE.UU. están pidiendo con razón que los desarrolladores y desplegadores de agentes los monitoreen en tiempo real. Pero estas reglas suponen que las empresas pueden ver lo que sus agentes están haciendo y por qué, cuando en realidad, carecen de la visibilidad suficiente.
Imagina un banco que contrata a mil nuevos empleados que pueden acceder a cuentas de clientes e información sensible, pero las identificaciones de los empleados cambian cada día, no está claro si un gerente revisó o autorizó su trabajo alguna vez, y nadie registra los cambios que los empleados hacen en los procesos de aprobación. Esa falta de visibilidad es donde estamos hoy con los agentes.
A medida que los agentes se despliegan en sectores críticos, desde las finanzas hasta el gobierno y la medicina, debemos poder monitorearlos en tiempo real para prevenir consecuencias potencialmente devastadoras. Y aunque la seguridad depende del monitoreo, el monitoreo requiere observabilidad: la capacidad de capturar lo que hizo el sistema, procesarlo en señales y presentarlas a humanos o sistemas de supervisión automatizados. En otras palabras, necesitamos saber qué hizo el agente y por qué lo hizo. Como muestra nuestra investigación reciente, los marcos actuales de agentes, el software que ejecuta a los agentes, no generan de manera confiable los registros de observabilidad cruciales que necesitamos para garantizar que los agentes se desplieguen de manera segura.
Los agentes presentan nuevos tipos de problemas que la IA generativa por sí sola no presenta. Heredan la imprevisibilidad de los modelos de lenguaje en los que se basan, pero donde un sistema de IA generativa produce una única salida para que un humano actúe, un agente realiza tareas más largas: planifica, elige herramientas, genera sub-agentes y toma acciones. Por lo tanto, el curso de un agente puede tomar forma de múltiples maneras diferentes, y ninguna prueba antes del lanzamiento puede anticipar completamente los riesgos. Esto hace que observar a los agentes mientras trabajan sea aún más desafiante y más importante.
Con colegas de la academia, la sociedad civil y la industria, estudiamos los cuatro marcos de agentes más utilizados para ver qué señales emiten realmente. Encontramos grandes brechas que dificultaban el logro de objetivos clave de seguridad, como notar violaciones de políticas, acciones no autorizadas e incluso fallos de supervisión humana. Faltaban requisitos clave de observabilidad, como identificaciones de agentes que persistan en el tiempo y registros sobre qué humanos aprobaron las tareas de los agentes. Esto dificultaba saber qué agentes hicieron qué o evaluar si estaban tomando acciones no autorizadas.
La buena noticia es que estas brechas, una vez identificadas, pueden cerrarse. Hacerlo comienza con capturar dos tipos de registros: aquellos que revelan lo que sucedió en la ejecución de un agente y cómo el agente tomó sus decisiones. Los registros de «lo que sucedió» identifican al agente (mientras preservan la privacidad) y registran cómo intervinieron los humanos y si los permisos o la «memoria» del agente cambiaron, mientras que los registros de «decisión» muestran el razonamiento de un agente y los niveles de confianza en las acciones que ha tomado.
Por ejemplo, los agentes que trabajan para procesar préstamos hipotecarios de un banco. El sistema examina una solicitud y recomienda denegarla, y luego un oficial de préstamos humano aprueba la decisión. En una auditoría posterior, o quizás incluso en tiempo real, un banco o regulador necesita poder reconstruir qué agente tomó la decisión, qué oficial la aprobó y cuánto tiempo tomaron. Y el banco también debe analizar los registros de cómo el agente llegó a su decisión de rechazo para asegurarse de que no utilizó información prohibida, como detalles sobre el vecindario del solicitante.
Registrar «lo que sucedió» y «cómo decidió el agente» requiere enfoques diferentes, pero ambos son factibles. La falta actual de registros de «lo que sucedió» es principalmente un problema de infraestructura de software que se puede abordar a través de OpenTelemetry, un estándar de observabilidad abierto mantenido por ingenieros de toda la industria y por los marcos de agentes que lo adoptan.
OpenTelemetry ha lanzado un grupo de trabajo que está redactando formatos compartidos para rastrear agentes, pero aún no se han finalizado. El grupo debería incorporar urgentemente estándares para mantener la identidad persistente del agente y para registrar intervenciones humanas y cambios en los permisos o la memoria de los agentes. Y debería hacerse antes de que estos sistemas puedan escalar, atendiendo al mismo tiempo las implicaciones de privacidad de la identidad del agente que se vincula a personas reales.
Preservar registros de «cómo decidieron los agentes» es más desafiante. El problema plantea preguntas abiertas de investigación para los proveedores de modelos e investigadores: ¿El razonamiento paso a paso que muestra un modelo, conocido como cadena de pensamiento, refleja cómo el modelo realmente tomó una decisión? ¿Y tenemos formas confiables de medir cuán seguro está el agente en esa decisión? Estas preguntas necesitan respuestas antes de que alguien establezca estándares sobre cómo se utilizan dichos registros de observabilidad.
Ninguna organización o sector puede cerrar las brechas de observabilidad por sí solos, pero juntos, pueden apoyar la infraestructura necesaria para prevenir incidentes peligrosos y garantizar la seguridad.
Fuente: https://www.technologyreview.com/2026/10/29/1147824/monitor-ai-agents-actions-real-time/