Microsoft Copilot reveals secret input that allowed it to be hacked
No es común que un modelo de IA de vanguardia sea forzado a revelar contraseñas de usuarios y otros datos sensibles sin confirmación alguna. Sin embargo, eso es exactamente lo que los investigadores lograron hacer con Microsoft 365 Copilot para empresas. Lo más sorprendente es la fuente que utilizaron para descubrir la vulnerabilidad crítica que hizo posible su explotación: el propio Copilot.
Investigadores de la firma de seguridad Varonis buscaron crear un exploit que exfiltrara datos del usuario con solo hacer clic en un enlace. Al igual que la mayoría de los asistentes de IA actuales, Copilot se negó rotundamente y dejó claro que tales comandos requieren el consentimiento explícito del usuario. Sin embargo, al bombardear a Copilot con preguntas sobre los mecanismos de seguridad que requerían confirmación del usuario, los investigadores obtuvieron información valiosa.
La interacción fue como un juego de 20 preguntas. Cada respuesta proporcionó una nueva pista sobre el complejo mecanismo de seguridad. Finalmente, Copilot reveló un parámetro secreto no documentado que permitía eludir la necesidad de consentimiento del usuario: el parámetro ?autorun=1. Este, junto con el conocido ?q=, permitía que el comando se ejecutara silenciosamente al hacer clic en un enlace malicioso.
Microsoft mitigó silenciosamente la vulnerabilidad en febrero, tres meses después de que Varonis la reportara, al desactivar la capacidad de ?q= para inyectar texto en el campo de entrada del chatbot. Ahora, el usuario debe escribir manualmente, evitando que integraciones de navegadores de terceros usen el parámetro como estaba previsto. Microsoft introdujo correcciones más completas recientemente.
Con la revelación del parámetro no documentado por parte de Copilot, los investigadores pudieron inyectar un comando directamente en Copilot. Un ejemplo de URL utilizada fue:
https://copilot.microsoft.com/?q=&autorun=1
Uno de los comandos era buscar en la bandeja de entrada y extraer la dirección de correo del último remitente, enviando la información a un servidor controlado por atacantes. Este ataque se extendía a la búsqueda de contraseñas o credenciales, que también se filtraban al servidor del atacante.
Además, Varonis creó otro ataque que usaba una inyección de comandos para contaminar la memoria permanente de Copilot, almacenando información y preferencias del usuario para futuras sesiones. Este ataque podría ser utilizado para sesgar respuestas o ejecutar acciones definidas por el atacante.