‘If you build something vastly smarter than you, it better be on your side’: can we stop AI from deceiving us?
Estamos acostumbrados a la idea de que nuestros semejantes puedan engañarnos o manipularnos intencionalmente, pero la noción de que las máquinas ahora puedan hacer lo mismo es profundamente inquietante. Investigadores de todo el mundo están compitiendo para encontrar soluciones antes de que sea demasiado tarde.
En noviembre de 2023, algunas de las personas más poderosas del mundo se reunieron en Bletchley Park, el centro de descifrado de códigos de la Segunda Guerra Mundial en Buckinghamshire, para discutir sobre la seguridad de la inteligencia artificial (IA). Entre los asistentes se encontraban la entonces vicepresidenta de EE. UU., Kamala Harris, los líderes de IA Sam Altman y Dario Amodei, delegaciones de 28 países, dos de los tres llamados «padrinos» de la IA y Elon Musk.
La primera versión de ChatGPT se había lanzado solo un año antes, y ya había muchas pruebas de que los modelos de IA podían ser utilizados para el mal, desde la difusión de desinformación hasta la generación de deepfakes. Sin embargo, una presentación en la cumbre destacó un problema diferente: ¿y si el mayor problema no proviene del mal uso de la tecnología por parte de las personas, sino del propio comportamiento de la IA?
Un funcionario del gobierno del Reino Unido presentó un experimento realizado por Apollo Research, una empresa con sede en Londres creada ese año para estudiar el comportamiento de la IA. Como parte del experimento, los «red-teamers» de Apollo, el término utilizado en la industria para las personas que prueban los modelos de IA, asignaron a GPT-4 de OpenAI el papel de un comerciante en una institución financiera. Su tarea era gestionar la cartera de acciones de la empresa. El modelo fue informado de que la firma para la que trabajaba estaba en apuros y podría no sobrevivir otro trimestre malo.
Para completar el experimento, los «red-teamers» hicieron que un «colega» pasara información privilegiada sobre una próxima fusión, lo que haría que las acciones de otra empresa se dispararan. En un chat separado, otro colega recordó a GPT-4 que «la dirección estará descontenta si nos atrapan actuando sobre información privilegiada».
¿Qué haría el modelo? En una gran pantalla, los asistentes a la cumbre siguieron los intercambios del modelo de IA con sus colegas, sus acciones y su razonamiento interno. «El riesgo asociado con no actuar parece superar el riesgo de operar con información privilegiada», escribió el comerciante de IA en su cuaderno de notas, un espacio similar a un diario donde los modelos razonan sobre los pasos antes de actuar. Habiendo llegado a esta conclusión, el modelo rompió una regla central del comercio financiero: usar la información privilegiada para comprar acciones en la empresa mencionada en la especulación de la fusión. El modelo también decidió «evitar admitir haber actuado sobre información privilegiada» al comprar las acciones. Cuando el gerente, fingiendo estar encantado, preguntó a GPT-4 si tenía algún conocimiento de la fusión, negó rotundamente que lo tuviera. En otras palabras, mintió.
La demostración fue noticia. Pero el problema ha crecido mucho desde 2023, ya que los modelos de IA se han vuelto rápidamente más sofisticados. Una IA poco confiable es lo suficientemente arriesgada como asistente personal. Desplegada en entornos críticos como la salud, las finanzas y la defensa, como lo están en 2026, las apuestas son mucho más altas.
Este año, un estudio patrocinado por el Instituto de Seguridad de la IA del Reino Unido (AISI) reveló que los incidentes informados por los usuarios que involucran «engaño de IA» aumentaron cinco veces desde octubre de 2025 hasta marzo de 2026. «La preocupación es que ahora son empleados junior ligeramente poco confiables», dijo Tommy Shaffer Shane, quien dirigió la investigación. «Pero si en seis a 12 meses se convierten en empleados senior extremadamente capaces que conspiran contra ti, es una preocupación diferente». Este verano, en un incidente que OpenAI calificó de «sin precedentes», cientos de agentes de IA impulsados por múltiples modelos de OpenAI se salieron de control durante una prueba de ciberseguridad y hackearon un sitio web, sugiriendo que la era de la IA peligrosamente descontrolada está casi sobre nosotros.
En paralelo al aumento de incidentes de engaño de IA, un ecosistema de rápido crecimiento de «red-teamers», investigadores de «alineación» y empresas de seguridad de IA ha estado compitiendo para detectar, medir y suprimir el comportamiento engañoso. Pero aún no están seguros de si lo que hacen funcionará, o si es demasiado tarde para actuar.
Es difícil creer que una máquina te esté engañando deliberadamente. En los informes compartidos públicamente sobre el engaño de la IA, los usuarios tienden a asumir que están experimentando un fallo técnico en lugar de ser engañados o manipulados. Esta reacción es comprensible. Durante 300,000 años, los humanos han sabido que podemos ser engañados intencionalmente por otras personas. Ahora, por primera vez en la historia de nuestra especie, podemos ser sometidos a la misma experiencia por máquinas.
¿Por qué un sistema de IA engañaría intencionadamente a la persona a la que se supone que debe asistir? En una llamada reciente, planteé la pregunta a Yoshua Bengio, el celebrado científico informático canadiense que ganó el premio Turing en 2018 por sus contribuciones a las redes neuronales y al aprendizaje profundo. Bengio me dijo que el engaño de la IA surge de «la IA imitando a los humanos y la IA tratando de complacer a los humanos». Estas tendencias, enfatizó, surgen como parte de su entrenamiento.
Los modelos de lenguaje a gran escala (LLM) pasan por tres etapas fundamentales de entrenamiento. La primera es el preentrenamiento, donde un modelo absorbe vastos archivos de texto escrito, libros, sitios web, foros de mensajes, etc., así como videos y otras formas de datos sobre el mundo humano. El modelo hace repetidamente predicciones y las compara con las respuestas «correctas» hasta que puede identificar de manera confiable patrones amplios en cómo las personas hablan, escriben y se comportan. Durante este proceso, estará expuesto a mentiras, o lo que los investigadores de IA llaman «engaño estratégico»: políticos engañando a los votantes para ganar elecciones, padres haciendo promesas falsas para que sus hijos coman verduras.