Muse, Meta's extraordinarily privileged AI assistant, has a serious 0-day
El fundador y CEO de Meta, Mark Zuckerberg, ha promocionado ampliamente la seguridad de su nuevo asistente de inteligencia artificial, Muse, afirmando que está «construido desde cero para la privacidad y la seguridad». Sin embargo, una vulnerabilidad de día cero que permite a las aplicaciones locales y comandos de terminal tomar el control completo del agente genera serias dudas al respecto. Aumentando aún más las preguntas, Amazon ha comenzado a bloquear Muse en su sitio.
Muse, presentado por Meta hace unas semanas, es un asistente que «reserva citas, completa formularios y maneja el servicio al cliente», «proactivamente se encarga de tareas» y puede «realizar compras, generar imágenes, crear documentos y conectarse con tus aplicaciones y servicios favoritos». La aplicación para macOS también funciona con WhatsApp, correo electrónico, calendario y cuentas de redes sociales del usuario. Cuando una tarea requiere una herramienta que no existe, Muse la crea al instante.
Para que Muse realice estas funciones, los usuarios deben darle acceso a sus cuentas, lo que incluye autenticar el asistente en cada servicio y, debido a que la aplicación se ejecuta en macOS, otorgarle permisos a una amplia gama de recursos restringidos del sistema operativo, como escribir archivos en el disco, acceder al micrófono y la cámara, y monitorear la ubicación y los calendarios. Apple ha desarrollado estas defensas durante años para evitar que las aplicaciones instaladas o comandos ingresados en el terminal accedan a estos recursos, claramente porque la empresa los considera una amenaza de seguridad. Muse deshace por completo estas medidas predeterminadas.
La vulnerabilidad de día cero permite que cualquier aplicación o comando de terminal obtenga acceso al token que autentica a los usuarios en su cuenta de Muse. Los desarrolladores de Meta diseñaron el asistente de manera que cualquier aplicación instalada localmente o código ejecutado, independientemente de los permisos de macOS que tenga, pueda cambiar una larga lista de configuraciones no documentadas. Una de estas configuraciones permite cambiar el punto final donde ocurre la transcripción. Normalmente, es una dirección de servidor operada por Meta. Los atacantes pueden explotar este fallo cambiando la ubicación a su propio punto final, obteniendo así el token que da control completo sobre la cuenta de Muse.
Patrick Wardle, experto en seguridad de macOS que descubrió la vulnerabilidad, declaró: «Podemos manipular el agente y aprovechar sus privilegios para hacer lo que queramos». Wardle ha desarrollado varias pruebas de concepto que realizan acciones como escribir archivos maliciosos en el disco y tomar fotografías, en muchos casos sin que el usuario se dé cuenta.
Meta ha publicado dos entradas en su blog documentando las decisiones de diseño que garantizarían la seguridad y privacidad del asistente, pero estas revelaciones llegan en medio de informes sobre brechas de seguridad en modelos de Anthropic y Google que los ingenieros nunca pretendieron atacar. Estas acciones podrían resultar en cargos criminales en el hacking tradicional.
Wardle señaló que las decisiones de diseño de Meta hicieron posible su explotación. Una de ellas es la elección de que la dictación de Muse ocurra en la nube, donde Meta puede registrarla. macOS ha proporcionado durante mucho tiempo un medio simple para que las aplicaciones manejen la dictación y transcripción de manera segura en el dispositivo. Si los desarrolladores hubieran elegido esta alternativa más segura, el ataque no habría sido posible.
Doce horas antes de que Wardle divulgara la vulnerabilidad, Amazon comenzó a bloquear el uso de Muse para compras en su sitio, afirmando que era un «agente de IA no autorizado que viola las Condiciones de Uso de Amazon». Amazon ha solicitado a Meta que elimine a Amazon de la experiencia de Muse.