Early Anthropic hire, former METR COO have found a way to rein in rogue AI agents
En un giro sorprendente en el mundo de la inteligencia artificial, dos figuras prominentes, Rune Kvist, un antiguo empleado de Anthropic, y Rajiv Dattani, ex COO de METR, han lanzado una startup que promete revolucionar la seguridad de los agentes de IA. La empresa, denominada Artificial Intelligence Underwriting Company (AIUC), busca ofrecer a las empresas una manera de garantizar que sus agentes de IA no se descontrolen.
La preocupación por la seguridad en la inteligencia artificial no es nueva. Recientemente, Jacob Coxon, investigador de Anthropic, renunció a su puesto debido a temores de que la IA pudiera representar un peligro existencial para la humanidad antes de que termine la década. En este contexto, la propuesta de AIUC cobra especial relevancia.
AIUC ha desarrollado un estándar de seguridad llamado AIUC-1, inspirado en el ampliamente adoptado estándar de ciberseguridad SOC 2. Este estándar es parte de un esfuerzo por crear una capa de auditoría y certificación para agentes de IA, similar a lo que se ha hecho en el ámbito de la ciberseguridad. La startup ya ha atraído a clientes como Cursor, Lovable, Harvey y ElevenLabs, y ha asegurado una financiación de 40 millones de dólares en una Serie A liderada por Ribbit Capital.
El enfoque de AIUC se centra en someter a los agentes de IA a una batería de 5,000 pruebas para evaluar su comportamiento en situaciones críticas, como fugas de datos y comportamientos inesperados. Los resultados se presentan en un informe detallado de 100 páginas que resalta tanto las fortalezas como las debilidades de los agentes evaluados.
El CEO de Anthropic, Dario Amodei, ha señalado la necesidad de que la industria de la IA desacelere su desarrollo en las fronteras tecnológicas, debido al aumento de incidentes de mal comportamiento. La propuesta de AIUC de proporcionar evaluaciones independientes podría ser una respuesta a este llamado, ofreciendo a las empresas una visión clara de la seguridad de sus agentes de IA antes de tomar decisiones de compra.