La inferencia de IA ya gasta más que el entrenamiento. Es un cambio de paradigma del sector (y malo para ti)
La inteligencia artificial (IA) está experimentando un cambio significativo en su estructura de costos, con la inferencia superando al entrenamiento en términos de gasto. Este fenómeno, que marca un nuevo paradigma en el sector, tiene implicaciones profundas para las grandes tecnológicas y el mercado global.
Desde la popularización de herramientas como ChatGPT, el término «entrenamiento» ha sido central en el desarrollo de la IA. Sabíamos que el entrenamiento era costoso debido a los equipos necesarios y al consumo de recursos naturales y energéticos. Sin embargo, nos encontramos ahora en una era donde la inferencia comienza a tomar protagonismo.
Un informe reciente de Gartner destaca que el gasto en infraestructura para inferencia superará al de entrenamiento por primera vez en 2026. Este año, se espera que el gasto en AI-optimized IaaS alcance los 42,000 millones de dólares, con 23,300 millones destinados a la inferencia y 19,000 millones al entrenamiento. Esto representa un crecimiento del 96% respecto al año anterior, y la inferencia ocupará el 55% del presupuesto de IaaS.
Este cambio de paradigma implica que la IA ya no es solo un «proyecto de inversión», sino un «gasto continuo». Las gigantes tecnológicas como Meta, Google, Amazon y Microsoft deben adaptar sus presupuestos para centrarse en el coste por token, la eficiencia energética y la latencia. La inferencia, que requiere velocidad y baja latencia, está obligando a los proveedores de servicios en la nube a rediseñar sus sistemas para ser más eficientes.
Además, este cambio está impulsando el desarrollo de nuevos dispositivos diseñados para la inferencia local. Nvidia, por ejemplo, ha lanzado su estación de trabajo DGX Spark, mientras que Microsoft y Nvidia colaboran en portátiles con capacidades de inferencia mejoradas. Se espera que los fabricantes de PC y portátiles incorporen NPUs, CPUs y GPUs que ejecuten modelos de forma eficiente y local, aunque seguirán apoyándose en la nube para tareas más exigentes.
Este apetito por la inferencia está afectando también al mercado de componentes, un tema que ha sido abordado en numerosas ocasiones en los últimos meses.