Don’t be fooled—LLMs don’t reason
En marzo de 2016, en Seúl, el mundo fue testigo de un hito en la inteligencia artificial cuando AlphaGo, un programa desarrollado por Google DeepMind, derrotó a Lee Sedol, uno de los mejores jugadores de Go de todos los tiempos, con un movimiento que parecía absurdo para muchos. Este movimiento, conocido como el movimiento 37, fue percibido como un error por algunos comentaristas, pero resultó ser una jugada maestra que llevó a AlphaGo a ganar el partido 4-1. Lee Sedol, impresionado, declaró que AlphaGo era más que una simple máquina de cálculo de probabilidades, reconociendo su aparente creatividad.
La victoria de AlphaGo se basó en una combinación de intuición y deliberación, similar a los dos sistemas de pensamiento humano descritos por Daniel Kahneman: el sistema 1, rápido e intuitivo, y el sistema 2, lento y deliberativo. AlphaGo utilizó una red de políticas para adivinar los movimientos humanos y un mecanismo de búsqueda para evaluar las consecuencias futuras de cada movimiento, creando un árbol de juego con miles de ramas posibles.
Sin embargo, los modelos de lenguaje actuales, como los utilizados en chatbots, carecen de esta capacidad de razonamiento genuino. Aunque han mejorado en áreas como matemáticas y codificación mediante un proceso conocido como «cadena de pensamiento», todavía dependen de la predicción de tokens sucesivos, sin un mecanismo de razonamiento separado. Esto presenta tres limitaciones principales: no mantienen un estado epistémico explícito y persistente, no separan claramente el conocimiento de su manipulación, y sus cadenas de pensamiento a menudo son fabricadas después de llegar a una conclusión.
En aplicaciones críticas como la medicina y la investigación científica, es esencial no solo saber qué concluye un sistema, sino también cómo llega a esa conclusión. Esto es crucial para identificar errores en diagnósticos médicos o en la investigación científica. Por estas razones, algunos expertos, como el autor del artículo original, abogan por un enfoque renovado en el razonamiento de las máquinas, inspirado en la arquitectura de AlphaGo.
Fuente: https://www.technologyreview.com/2026/10/02/1145639/dont-be-fooled-llms-dont-reason/