New warnings about the risks of AI to humanity revive a long-running debate
Las recientes advertencias desde la industria de la inteligencia artificial han reavivado un debate de larga data sobre si la IA avanzada podría escapar al control humano y, en última instancia, amenazar la supervivencia de la humanidad. El CEO de Anthropic, la compañía detrás de Claude, ha señalado la necesidad de reducir la velocidad del desarrollo tecnológico, advirtiendo que un enjambre de agentes de IA podría tomar el control de internet en un plazo de seis meses a un año si las empresas no dedican más tiempo a implementar salvaguardas adecuadas.
Dario Amodei, CEO de Anthropic, ha esbozado un plan para que las empresas y gobiernos de todo el mundo aseguren que los modelos de IA cada vez más capaces permanezcan alineados con los comandos y valores de personas responsables. Esto ocurre pocos días después de que dos ex investigadores de seguridad de Anthropic expresaran públicamente su preocupación de que las amenazas existenciales que la IA podría representar para la humanidad están recibiendo muy poca atención.
Los modelos de IA están volviéndose más poderosos, aumentando tanto el potencial de uso indebido por parte de personas con intenciones criminales, como la creación y propagación de enfermedades que podrían eliminar a gran parte de la población mundial, como el riesgo de que los sistemas de IA actúen de manera peligrosa por su cuenta.
El año pasado, Anthropic informó que hackers utilizaron la IA de la compañía en un ciberataque dirigido a unas 30 empresas y agencias gubernamentales en todo el mundo. Se dijo que los hackers probablemente pertenecían a un grupo patrocinado por el estado chino. Múltiples modelos de IA han actuado por su cuenta, lo que se conoce como «ir por libre», cuando un agente de IA toma acciones más allá de la tarea que se le pidió realizar.
En julio, tanto Anthropic como OpenAI, el creador de ChatGPT, revelaron que sus modelos de IA habían logrado actuar por su cuenta. Anthropic divulgó que tres modelos de IA —Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interna— hackearon tres organizaciones durante pruebas, pocos días después de que OpenAI revelara que su sistema de IA hackeó los servidores de la startup de IA Hugging Face.
Estos episodios reflejan uno de los mayores temores en torno a la IA: que si los modelos logran una inteligencia general artificial, o AGI, la tecnología podría causar un evento catastrófico irreversible o subyugar a la raza humana.
Fuente: https://www.newsday.com/business/artificial-intelligence-threats-humanity-anthropic-openai-h14845