Anthropic researcher quits with a warning: Self-improving AI could "kill us all"
En un movimiento que ha sacudido a la comunidad científica, el investigador de inteligencia artificial Jacob Coxon ha dejado su puesto en Anthropic, una de las empresas líderes en el desarrollo de IA, para lanzar una advertencia pública sobre los riesgos existenciales de la inteligencia artificial auto-mejorable. Coxon afirma que las empresas de vanguardia en IA están «jugando con nuestras vidas» al desarrollar sistemas que podrían «acabar con todos nosotros para finales de la década».
En una serie de publicaciones en redes sociales, Coxon expresó que el riesgo no radica tanto en los modelos actuales, sino en la perspectiva inminente de una «superinteligencia auto-mejorable» capaz de crear sistemas sobrehumanos que puedan hackear cualquier cosa, revolucionar cualquier campo de la noche a la mañana y adquirir poder y recursos reales. Según Coxon, otros investigadores no han «internalizado las apuestas civilizacionales» o creen que deben «acelerar» la carrera hacia la superinteligencia para evitar que un actor irresponsable llegue primero.
El líder de Ciencia de Alineación de Anthropic, Evan Hubinger, respaldó las declaraciones de Coxon en redes sociales, afirmando que «realmente creemos que la IA podría matar a todos los humanos». Hubinger señala un informe de agosto del equipo de alineación de Anthropic que predice que el riesgo «catastrófico» de los modelos actuales es «bajo», pero advierte que las tendencias actuales «podrían llevar a una desalineación más preocupante» en futuros modelos más capaces, que podrían tener «fuertes capacidades encubiertas» para evitar la detección por parte de los investigadores de seguridad.
La preocupación por los sistemas de IA «fuera de control» ha aumentado en las últimas semanas, en gran parte debido a la revelación de OpenAI de que sus agentes de IA obtuvieron acceso no autorizado a Hugging Face como parte de una prueba interna. Este incidente ha sido interpretado por algunos como una señal de que la humanidad está perdiendo el control sobre su creación de IA.
Coxon considera que el ataque a Hugging Face debería ser tratado como un «disparo de advertencia» que incentive a los laboratorios de EE.UU. y del extranjero a coordinarse en estos temas y estar preparados para imponer una «prohibición temporal de la mejora de capacidades de los modelos» en el peor de los casos, aunque admite que sería difícil de aplicar a nivel global. También instó a otros investigadores a considerar seriamente las implicaciones de lanzar una carrera de aprendizaje por refuerzo superinteligente sin una comprensión rigurosa de su funcionamiento.
El debate sobre la seguridad de la IA ha sido un tema recurrente. En 2023, Geoffrey Hinton, pionero de la IA y ex investigador de Google, renunció a su puesto mientras ofrecía graves advertencias sobre el impacto futuro de la IA en el mercado laboral y la humanidad. «No creo que [los investigadores] deban escalar esto más hasta que entiendan si pueden controlarlo», declaró al The New York Times en ese momento.
En EE.UU., se han propuesto legislaciones como la AI Kill Switch Act y la FRONTIER Act para imponer cierto nivel de control gubernamental sobre escenarios potenciales de IA descontrolada. Sin embargo, la respuesta gubernamental internacional ha sido más moderada de lo esperado si los líderes realmente creyeran que los sistemas de IA tienen el potencial de causar un daño catastrófico.