AI Security Is an Engineering Problem — How to Solve It at Every Layer of the Agent Stack
La seguridad en inteligencia artificial (IA) se presenta como un problema de ingeniería que requiere requisitos de seguridad definidos, controles aplicables, propietarios identificados y evidencia de que las protecciones funcionan. A medida que la IA se vuelve más capaz, la industria debe acelerar la ingeniería de seguridad, ampliar el acceso a herramientas defensivas y compartir rápidamente lo que funciona.
Los agentes de IA introducen nuevas capacidades como el razonamiento, el uso de herramientas y la adaptación de acciones basadas en los datos que encuentran. Estas capacidades requieren la aplicación de principios establecidos a nuevas condiciones operativas. Sin embargo, el ritmo de desarrollo crea presión, ya que las organizaciones desean los beneficios de productividad de la IA mientras que las prácticas para gobernar y asegurar estos sistemas aún se están desarrollando.
La seguridad depende de la pila completa del agente. Las aplicaciones dependen del código, los datos, las identidades, los servicios y la infraestructura. La seguridad depende de cómo estos componentes funcionan juntos, y los agentes de IA extienden ese sistema. Cada parte de esa pila lleva responsabilidades de seguridad, y la protección adecuada requiere controles en cada capa, a medida que los datos, las instrucciones y las acciones se mueven a través del sistema.
Un ejemplo es un agente que actualiza un registro de cliente y se encuentra con instrucciones maliciosas en un documento adjunto, intentando exportar datos del cliente a un destino no autorizado. Una política de red debería bloquear la transferencia, y los registros protegidos deberían capturar el intento de llamada de herramienta, la decisión de autorización y el resultado para que el equipo de seguridad pueda identificar la herramienta utilizada y el destino al que intentó llegar.
Es esencial construir la seguridad en la forma en que los agentes operan. Un límite de seguridad debe mantenerse incluso cuando un agente toma una decisión incorrecta. El entorno donde un agente se ejecuta determina lo que se le permite hacer y, por lo tanto, debe instalar límites en archivos, destinos de red y procesos independientemente del razonamiento del agente.
El runtime seguro de código abierto de NVIDIA, OpenShell, impone políticas fuera del alcance del agente y proporciona una ejecución en sandbox mientras gobierna cómo los agentes acceden a los recursos de datos, red y sistema. Los socios de la Open Secure AI Alliance están construyendo sobre OpenShell: DefenseClaw de Cisco agrega una capa de gobernanza, y JFrog se integra con OpenShell para escanear y verificar las habilidades de los agentes y hacer cumplir las políticas sobre qué habilidades pueden acceder.
Antes del despliegue, los equipos necesitan evidencia de que los controles adecuados bloquean los intentos de obtener credenciales más allá del alcance de un agente o enviar datos sensibles a un destino no autorizado. Las pruebas también deben cubrir intentos de cambiar permisos o interferir con la monitorización, y repetirse después de cambios materiales en modelos, herramientas o flujos de trabajo.
Compartir evidencia de lo que falló, qué controles funcionaron y cómo se verificaron las correcciones ayuda a otros equipos a fortalecer sus propios sistemas. La investigación de seguridad de NVIDIA y la Open Secure AI Alliance apoyan ese intercambio al llevar investigación, herramientas prácticas y experiencia a la comunidad de seguridad en general.
Fuente: https://blogs.nvidia.com/blog/ai-security-agent-stack/