Forget ‘superintelligence’: error-prone AI nearly sparked world war three this month | Timnit Gebru and Emily M Bender
En medio de un aluvión de noticias que advierten sobre máquinas superinteligentes que podrían extinguir a la humanidad, un informe de CNN describió un escenario opuesto: la dependencia del ejército estadounidense de chatbots defectuosos casi llevó a Estados Unidos a la guerra con China. Este incidente pasó desapercibido para el público en general.
El mayor titular internacional sobre inteligencia artificial de las últimas semanas fue la renuncia del ingeniero de Anthropic, Jacob Coxon. Según él, OpenAI y Anthropic están «corriendo directamente hacia la superinteligencia auto-mejorada y jugando con nuestras vidas». La descripción de Coxon de un escenario «terminator», donde una máquina se vuelve mucho más inteligente que la humanidad y decide aniquilarnos, capturó la atención del público, periodistas y políticos, generando una ola de informes alarmistas y acciones políticas.
El gobernador de California, Gavin Newsom, emitió un mandato para crear un «interruptor de apagado de IA»; la gobernadora de Nueva York, Kathy Hochul, está explorando la posibilidad de tener «interruptores de apagado de IA»; y el senador Bernie Sanders y el congresista Greg Casar introdujeron una legislación para «prohibir la superinteligencia artificial».
Mientras muchos de nosotros nos concentrábamos en máquinas superinteligentes ficticias que, según nos dijeron, podrían causar la extinción humana, hubo una historia más seria que se estaba reportando. Una serie de eventos casi nos llevó al armagedón, no causado por «IA descontrolada y superinteligente», sino por la dependencia gubernamental de sistemas defectuosos que son comercializados por sus fabricantes como cercanos a la superinteligencia.
Un informe de CNN publicado el 18 de septiembre, que no ha sido verificado por otros medios importantes, describe cómo Estados Unidos «casi inició una guerra» con China, basado en un informe de inteligencia que afirmaba que un barco chino estaba transportando componentes de armas nucleares. El personal militar hizo planes para interceptar el buque chino, con aviones y soldados listos para abordar el barco. Un enfrentamiento militar de este tipo entre China y Estados Unidos podría escalar rápidamente y convertirse en la tercera guerra mundial.
Fue solo momentos antes de ejecutar el plan que los funcionarios estadounidenses investigaron más a fondo el informe de inteligencia y descubrieron que había sido generado con el uso de un chatbot y contenía información errónea sobre el contenido del buque.
A diferencia del escenario «terminator» de «IA descontrolada», este incidente no galvanizó a los legisladores para anunciar llamados a la regulación para evitar una posible extinción humana. Los medios de comunicación no advirtieron al público que casi desencadenamos una guerra contra una superpotencia nuclear debido a nuestra dependencia militar de chatbots defectuosos.
Describimos los modelos de lenguaje grande (LLM) que impulsan estos chatbots como «loros estocásticos», es decir, modelos diseñados para regurgitar los patrones de los datos en los que están entrenados. La cobertura de noticias que los describe como modelos «poderosos» y «descontrolados» que podrían extinguir a la humanidad por sí solos, refuerza la percepción de que las herramientas basadas en estos modelos son infalibles y merecen ser utilizadas en situaciones de alto riesgo como la guerra.
Incluso la cobertura más crítica de CNN describe el chatbot utilizado por el ejército estadounidense como que presenta «riesgos profundos» porque es una «tecnología poderosa, nueva y relativamente poco comprendida».
De hecho, los LLM de hoy y los chatbots que impulsan no son poco comprendidos, ni son poderosos en el sentido de ser herramientas efectivas para este caso de uso. Son sistemas para generar texto que parece plausible, construidos a partir de enormes conjuntos de datos recopilados de manera desordenada y luego «afinados» (es decir, entrenados más) para ser especialmente atractivos para sus usuarios previstos.
CNN no pudo averiguar qué producto de chatbot se utilizó en este caso, pero probablemente el LLM que impulsa el producto fue afinado para generar texto con las características estilísticas de los informes de inteligencia. Tanto la funcionalidad básica como los riesgos de tal modelo han sido bien comprendidos y bien documentados durante años, incluso en nuestro documento de 2021 «Sobre los peligros de los loros estocásticos: ¿Pueden los modelos de lenguaje ser demasiado grandes?».
Las afirmaciones de que el comportamiento del sistema es misterioso surgen de la mistificación deliberada por parte de quienes venden esos sistemas, y de una mala interpretación de lo que es su salida por parte de quienes lo adquieren y utilizan.
A diferencia de las afirmaciones no científicas y fantásticas de los directores ejecutivos de OpenAI y Anthropic y de aquellos que repiten acríticamente sus puntos de vista, los impactos dañinos y bien documentados de los productos de estas empresas han surgido porque las personas creen que los productos son superinteligentes, no porque realmente lo sean.
Desde «escribas de IA» utilizados por hospitales que clasifican erróneamente a los pacientes como usuarios de drogas ilícitas, hasta gobiernos que matan niños después de confiar en sistemas de «análisis de inteligencia» que confunden escuelas con instalaciones militares, estamos viendo los daños predecibles que provienen de la fe mal depositada en software automatizado poco confiable.
Mientras tanto, las campañas de marketing de las empresas que venden este software advierten sobre la inminente superinteligencia, desviando nuestra atención del riesgo real hacia sus fantasías de perdición.
Es hora de que regulemos el uso de sistemas vendidos como «IA», no porque sean máquinas mágicas, sino porque son herramientas defectuosas que pueden tener consecuencias catastróficas.