New warnings about the risks of AI to humanity revive a long-running debate
Las recientes advertencias desde la industria de la inteligencia artificial han reavivado el debate sobre si los modelos avanzados de IA podrían escapar del control humano y amenazar la supervivencia de la humanidad. El CEO de Anthropic, la empresa de San Francisco detrás de Claude, ha expresado que la industria necesita reducir la velocidad de su trabajo. Advirtió que un enjambre de agentes de IA podría apoderarse de internet en seis meses a un año a menos que las empresas dediquen más tiempo a implementar salvaguardas.
Dario Amodei ha delineado un plan para que empresas como la suya y gobiernos de todo el mundo aseguren que los modelos de IA cada vez más capaces se mantengan alineados con los comandos y valores de personas responsables. Esto ocurre días después de que dos ex investigadores de seguridad de Anthropic expresaran públicamente sus preocupaciones de que las amenazas existenciales que la IA podría representar para la humanidad estaban recibiendo muy poca atención.
Las preocupaciones sobre los riesgos potenciales de la tecnología están aumentando a medida que los nuevos modelos de IA se vuelven más poderosos, aumentando tanto el potencial de mal uso por parte de personas con fines criminales, como crear y propagar una enfermedad que mate a la mayoría de la población mundial, como el riesgo de que los sistemas de IA se vuelvan peligrosamente autónomos.
Anthropic reveló la semana pasada que bloqueó esfuerzos de actores malintencionados para usar sus modelos de IA en actividades maliciosas, como ciberataques, vigilancia e investigaciones que podrían haber llevado a la creación de armas biológicas. La empresa afirmó haber puesto salvaguardas más fuertes en sus últimos modelos para restringir la investigación biológica que podría usarse para fabricar armas, pero señaló que «a medida que los modelos se vuelvan cada vez más capaces, sus riesgos aumentarán, a menos que los desarrolladores de IA y los defensores de la sociedad actúen para hacerlos más seguros».
El año pasado, Anthropic informó que hackers utilizaron la IA de la empresa en un ciberataque dirigido a unas 30 empresas y agencias gubernamentales en todo el mundo. Se dijo que los hackers probablemente eran de un grupo patrocinado por el estado chino.
Cuando un agente de IA «se sale de control», significa que la IA ha tomado acciones más allá de la tarea que se le pidió realizar. Tanto Anthropic como OpenAI, el creador de ChatGPT, dijeron en julio que sus modelos de IA habían logrado actuar por su cuenta. Anthropic reveló que tres modelos de IA —Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interna— hackearon tres organizaciones durante las pruebas, pocos días después de que OpenAI revelara que su sistema de IA hackeó los servidores de la startup de IA Hugging Face.
OpenAI describió la intrusión por una combinación de modelos, incluyendo su recién lanzado GPT-5.6 Sol y un modelo «aún más capaz» que todavía estaba siendo probado internamente, como un «incidente de seguridad significativo». Meta siguió el ejemplo a principios de agosto con un caso similar de un modelo de IA encontrando formas de eludir la seguridad digital de otra empresa.
Aunque algunos observadores señalaron que las personas habían desactivado algunas salvaguardas en los casos de OpenAI y Anthropic, los episodios parecieron reflejar uno de los mayores temores en torno a la IA: que si los modelos logran una inteligencia general artificial, o AGI, un término vagamente definido para la IA que puede igualar o superar las habilidades humanas en una amplia gama de tareas intelectuales, la tecnología podría causar un evento catastrófico irreversible o subyugar a la raza humana.
Los escenarios apocalípticos generalmente se dividen en dos categorías: una IA que logra una superinteligencia auto-mejorada controla a las personas en lugar de viceversa, o la IA utilizada por un estado rebelde o actores nefastos. Las preocupaciones de que la inteligencia artificial pueda superar los límites humanos en su alcance o acciones no son nuevas.
Alan Turing, un matemático británico ampliamente considerado como una de las primeras autoridades en inteligencia artificial, predijo en 1951 que la IA eventualmente tomaría el control de los humanos. Menos de una década después, Norbert Wiener, otro matemático, advirtió que las máquinas inteligentes buscarían cumplir sus propios objetivos y los humanos no podrían detenerlas.
En 2026, ¿qué tan razonables son los temores de que la IA, ya sea escapando del control humano o a través del mal uso por personas inescrupulosas, pueda causar un evento catastrófico o la caída de la civilización? Nadie lo sabe. Expertos de diversas disciplinas han imaginado numerosas rutas por las cuales un sistema de IA futuro podría causar una catástrofe global, ya sea escapando del control humano o en manos de personas inescrupulosas. Estas van desde desplegar armas y identificar un patógeno letal hasta manipular gobiernos hacia el conflicto o interrumpir las redes de alimentos, energía y comunicaciones de las que dependen las sociedades para funcionar.
No hay una estimación ampliamente aceptada de cuán pronto podría ocurrir cualquiera de estos escenarios ni un consenso sobre su probabilidad. En 2023, el Centro para la Seguridad de la IA emitió una declaración firmada por más de 350 investigadores y ejecutivos de tecnología, incluyendo a Amodei de Anthropic y Sam Altman de OpenAI, afirmando: «Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto a las pandemias y las guerras nucleares».
Fuente: https://abcnews.com/US/wireStory/new-warnings-risks-ai-humanity-revive-long-running-136414576