NVIDIA NVLink Fusion Expands With NVHBM Custom High-Bandwidth Memory
La próxima ola de inteligencia artificial (IA) está imponiendo nuevas demandas a la infraestructura tecnológica. A medida que los agentes de IA y las cargas de trabajo de billones de parámetros se vuelven comunes, el rendimiento de la infraestructura de IA depende no solo del cálculo, sino de cómo se diseñan conjuntamente el cálculo, la memoria, el almacenamiento, la red y el software como un sistema unificado.
Para ayudar a los hiperescaladores e innovadores de IA a construir la próxima generación de infraestructura de IA semi-personalizada, NVIDIA ha ampliado hoy su NVLink Fusion con NVHBM, una tecnología de memoria de alto ancho de banda de última generación que ofrece un mayor rendimiento y eficiencia de memoria a las XPUs. Esta tecnología será validada y ofrecida por socios líderes en memoria, extendiendo esta capacidad avanzada a los clientes de NVLink Fusion.
Las arquitecturas HBM tradicionales colocan el controlador de memoria en el dado de la XPU, consumiendo un valioso espacio de silicio que podría dedicarse al cálculo. NVHBM, construida sobre la misma tecnología que NVIDIA usará para futuras GPUs, integra el controlador de memoria personalizado de NVIDIA en la base del dado HBM.
Al integrar el controlador de memoria en la pila 3D HBM en lugar de la XPU, NVHBM ofrece hasta un 30% más de ancho de banda de memoria y un 15% menos de consumo de energía HBM, y libera hasta un 25% más de área en el dado de cálculo de XPU en comparación con el estándar HBM4E.
NVIDIA está estableciendo una implementación estándar de NVHBM, disponible a través de múltiples proveedores de memoria. Esto reduce el esfuerzo de ingeniería requerido para integrar y calificar la memoria entre múltiples proveedores, proporcionando a los clientes de NVLink Fusion un camino más rápido para llevar al mercado chips de IA personalizados.
Amazon, a través de Annapurna Labs, será el primero en trabajar con NVHBM como parte de su colaboración más amplia con NVIDIA en torno a NVLink Fusion. Annapurna Labs apoyará NVLink Fusion con sus chips Trainium de próxima generación, comenzando con Trainium4, lo que permitirá que los chips de Amazon y las GPUs de NVIDIA trabajen juntos con una arquitectura común a escala de rack.
«NVHBM representa un nuevo enfoque arquitectónico para avanzar en el rendimiento y la eficiencia de la memoria de alto ancho de banda», dijo Nafea Bshara, vicepresidente de Annapurna Labs en Amazon. «Esperamos que esta colaboración tecnológica beneficie los futuros diseños de infraestructura de AWS».
NVLink Fusion permite a los socios conectar XPUs y CPUs personalizadas a la plataforma a escala de rack de NVIDIA. Los socios pueden acceder a chiplets NVLink de NVIDIA, NVLink-C2C, Interruptores NVLink y sistemas y racks NVIDIA MGX, así como a un amplio ecosistema de socios de CPU, diseñadores ASIC, fabricantes de sistemas y proveedores de tecnología.
Ofrecido con cada generación de la arquitectura del sistema a escala de rack de NVIDIA, NVLink Fusion permite a los hiperescaladores y empresas nativas de IA enfocar sus recursos de ingeniería en la innovación de XPU mientras utilizan una pila tecnológica probada para redes de escala y sistemas y software a escala de rack, creando un camino más rápido y con menos riesgos para desplegar infraestructura de IA semi-personalizada.
Fuente: https://blogs.nvidia.com/blog/nvlink-fusion-nvhbm-custom-high-bandwidth-memory/