Cuando tres números bastan: la inteligencia artificial empieza a abandonar la nube
En los últimos años, nos hemos acostumbrado a que los modelos de inteligencia artificial sean enormes y dependan de la nube para su funcionamiento. Sin embargo, los avances en cuantización están abriendo la puerta a una ejecución local más eficiente, lo que podría ofrecer ventajas significativas en términos de coste, control y privacidad. Este cambio de paradigma plantea la posibilidad de utilizar arquitecturas de un bit, como las propuestas por Microsoft Research con BitNet b1.58 en 2024.
Tradicionalmente, los modelos de lenguaje de gran tamaño (LLM) han utilizado miles de millones de parámetros almacenados en números de coma flotante de 16 bits. Esto los hace demasiado grandes para ser ejecutados en dispositivos como teléfonos móviles o laptops. Sin embargo, con modelos ternarios que utilizan solo tres valores posibles (1, 0 y -1), es posible reducir drásticamente el tamaño y la complejidad de estos modelos. Estos «modelos de 1.58 bits» han demostrado ser capaces de mantener un rendimiento sorprendente mientras reducen el consumo de memoria y energía.
El desarrollo de Microsoft ha logrado aceleraciones significativas en arquitecturas ARM y reducciones de consumo energético de hasta un 70%. Esto se debe a que los modelos más pequeños reducen el tráfico entre la memoria y el procesador, un cuello de botella crítico en la generación de token a token. Además, el uso de Mixture-of-Experts (MoE) permite activar solo una pequeña fracción de los parámetros relevantes para cada token, desacoplando la capacidad del coste computacional.
DeepGrove ha presentado recientemente Maple-Preview, un modelo que combina ternarización, MoE y software especializado. Aunque todavía está en fase de prueba, Maple-Preview establece una nueva frontera entre memoria, velocidad y prestaciones, mostrando que un modelo de unos 5GB puede abordar tareas de razonamiento complejas.
Este avance podría cambiar la forma en que utilizamos los modelos de inteligencia artificial, permitiendo arquitecturas híbridas donde un modelo personal funcione permanentemente en dispositivos locales. Aunque los centros de datos seguirán siendo necesarios para entrenar modelos de frontera, la posibilidad de una IA más descentralizada y accesible está cada vez más cerca.