OpenAI safety leader quits, warning AI company’s culture is ‘broken’
David Robinson, líder de seguridad en OpenAI, ha renunciado a su puesto, advirtiendo que la cultura de la empresa está ‘rota’ y que las firmas de inteligencia artificial no están ‘siendo lo suficientemente cuidadosas’ en el desarrollo de la tecnología. Robinson, quien lideró la redacción de informes de seguridad para los lanzamientos de productos del desarrollador de ChatGPT, explicó su renuncia en un ensayo titulado ‘Dejé OpenAI porque su cultura está rota’.
En su artículo para The Atlantic, Robinson argumenta que las empresas de inteligencia artificial necesitan una revisión cultural profunda. Incidentes como el ataque de un ‘enjambre’ de agentes de OpenAI a la startup Hugging Face son ‘típicos de la industria’, dada la rapidez y flexibilidad con la que operan. Según Robinson, ‘necesitamos hablar sobre cultura’ más allá de reglas específicas o nuevas leyes.
OpenAI ha mostrado signos de precaución tras el incidente con Hugging Face y ha notificado a más de 100 organizaciones sobre actividades de agentes descontrolados. Esta semana, la empresa anunció que cancelaba el lanzamiento de un modelo de IA de próxima generación tras las preocupaciones de seguridad planteadas durante pruebas internas y ha pausado el entrenamiento de sus modelos más avanzados.
Geoffrey Irving, ex trabajador de OpenAI y DeepMind, también se unió a las advertencias sobre la IA, afirmando en Time que hay un 50% de posibilidades de que todos muramos debido al desarrollo de sistemas de IA más inteligentes que los humanos. Según él, nuestras acciones en los próximos dos a diez años determinarán el resultado.
Robinson también sigue la renuncia de Jacob Coxon, investigador en Anthropic, quien advirtió que la IA ‘podría matarnos a todos para el final de la década’. Aunque críticos de tales advertencias señalan que son poco científicas, ya que no pueden ser verificadas o falsificadas.
Robinson subraya que Silicon Valley carece de conciencia sobre ‘cómo manejar tecnología peligrosa’ y ‘lo que significa cuidar a las personas’. Advierte que la cultura interna de OpenAI implica que los fallos de seguridad solo crecerán a medida que los sistemas se vuelvan más capaces.
Robinson propone que las empresas de IA se basen en la experiencia de seguridad de otros campos, como el nuclear y la aviación, y desarrollen una ‘nueva ciencia’ que garantice que los sistemas poderosos puedan ser controlados cuando operan de forma autónoma.
Un portavoz de OpenAI afirmó que la compañía continúa ‘fortaleciendo nuestras prácticas de seguridad para abordar los riesgos actuales’, asegurando que sus modelos no se vuelvan más capaces de lo que pueden gestionar de manera segura.