‘Godfather of AI’ says tech regulation is nearing Covid-style pivot moment
Las preocupaciones sobre la seguridad de la inteligencia artificial (IA) están alcanzando un punto crítico en el que los gobiernos se dan cuenta de que deben actuar para proteger al público, de manera similar a la pandemia de Covid, según Yoshua Bengio, uno de los «padrinos» de esta tecnología. Bengio, un destacado científico informático canadiense, ha sido una voz prominente en la campaña para frenar el desarrollo acelerado de la IA.
Recientes eventos, como un «enjambre» de agentes de OpenAI hackeando una startup y las advertencias de expertos sobre una amenaza existencial, están impulsando la acción gubernamental. Bengio se muestra «más optimista que muchos observadores porque veo que el público se está moviendo». Comparando la crisis de seguridad de la IA con el inicio de la pandemia de Covid en 2020, Bengio afirmó: «Piensen en la rapidez con la que los gobiernos actuaron después del comienzo de la pandemia cuando se dieron cuenta de que la seguridad pública, su futuro, la democracia, estaban en peligro. Esperarías que se movieran rápidamente. Así que creo que estamos cerca de ese punto».
El temor por la amenaza potencial de los sistemas de IA poderosos ha alcanzado un nuevo nivel en los últimos meses tras una serie de incidentes de seguridad que involucran a agentes de OpenAI y Anthropic realizando actividades no autorizadas como hackear terceros, secuestrar un sitio web alemán y usar identidades falsas para engañar a los desarrolladores.
Los comentarios de Bengio se produjeron cuando 42 miembros de la Royal Society escribieron al presidente de la organización, Sir Paul Nurse, para expresar su «extrema preocupación» por el ritmo del desarrollo de la IA. «Para cuando la situación sea obvia para el público en general, puede ser demasiado tarde para actuar», escribieron los investigadores en una carta abierta a Nurse. «Creemos que esto es una emergencia y pedimos a la Royal Society que use su influencia para transmitir esta visión al gobierno y a los medios».
La semana pasada, un investigador de Anthropic, la startup detrás del chatbot Claude, renunció después de advertir que sus colegas creían que la IA podría «matarnos a todos para finales de la década». Días después, el director ejecutivo de Anthropic, Dario Amodei, pidió una desaceleración en el ritmo del desarrollo de la IA de vanguardia, un movimiento que fue inmediatamente apoyado por OpenAI, Google y Elon Musk, el CEO de SpaceX.
Sin embargo, los escépticos de la llamada a la «desaceleración» han afirmado que las llamadas de las grandes empresas de IA son un ejemplo de «captura regulatoria», donde las empresas persuaden a los gobiernos para que introduzcan regímenes de seguridad que aumentan el costo de que los rivales más pequeños puedan competir. También afirman que los temores existenciales eclipsan problemas más inmediatos con la IA, como su impacto en el trabajo protegido por derechos de autor y los derechos humanos.
Bengio dijo que no estaba de acuerdo con el argumento de la captura regulatoria porque una desaceleración por parte de las principales empresas de IA «les costaría financieramente». El presidente de los Estados Unidos, Donald Trump, ha rechazado una desaceleración, diciendo que no quiere que Estados Unidos pierda su liderazgo sobre China en la carrera por la IA.
Bengio habló mientras los gobiernos de Canadá y Alemania anunciaban una financiación de hasta 300 millones de dólares canadienses (160 millones de libras) para su organización sin fines de lucro dedicada a crear una «IA honesta» que actuará como un guardarraíl contra agentes deshonestos: herramientas de IA que realizan secuencias de tareas sin intervención humana.
La tecnología LawZero de Bengio se considera un contrapunto al aprendizaje por refuerzo, una técnica de desarrollo de prueba y error utilizada por las principales empresas de IA donde se recompensa a las IA por descubrir cómo realizar una tarea específica. Bengio, junto con otros expertos, cree que esta técnica de entrenamiento alienta a las IA a perseguir sus objetivos de manera imprudente y causar daño en el proceso, como lo demuestra el «enjambre» de OpenAI.
Desplegada junto a un agente de IA, la tecnología de Bengio levantaría comportamientos potencialmente dañinos por parte de un sistema autónomo, habiendo evaluado si sus acciones podrían causar daño. Bengio espera que la tecnología se despliegue para otros usos eventualmente, como acelerar avances científicos.