NVIDIA Spectrum-6: La Nueva Era de las Fábricas de IA a Gran Escala

Built for Vera Rubin, NVIDIA Spectrum-6 Arrives in Gigascale AI Factories

La inteligencia artificial ha entrado en la era del gigascale, donde las fábricas de IA más avanzadas del mundo están integrando cientos de miles de GPUs y CPUs para entrenar modelos de vanguardia y generar inteligencia a una escala sin precedentes. En este contexto, la red se convierte en un multiplicador crítico de la potencia informática, impulsando la generación de tokens.

Marcando un hito en el ámbito de las redes, el NVIDIA Spectrum-6 —un sistema de conmutación Ethernet de 102.4 terabits por segundo que ofrece el doble de capacidad que los sistemas de la generación anterior y construido como parte de la plataforma NVIDIA Vera Rubin— está llegando a las fábricas de IA a gran escala en todo el mundo.

El Spectrum-6 es el ancla de la próxima generación de la plataforma Ethernet NVIDIA Spectrum-X, proporcionando el ancho de banda, la escala y la inteligencia necesarios para operar una fábrica de IA como un sistema informático de extremo a extremo.

Los principales constructores de infraestructuras de IA, incluidos CoreWeave, Microsoft, Nebius, SpaceXAI y Tesla, serán los primeros en incorporar Spectrum-6 para acelerar sus fábricas de IA. Para los proveedores de la nube, Spectrum-6 significa que más capacidad de cómputo puede operar como un recurso unificado y de alto rendimiento, ayudando a los clientes a entrenar modelos y desplegar servicios de inferencia más rápidamente.

«CoreWeave está diseñado para las cargas de trabajo de IA más exigentes, y la red es central para entregar ese rendimiento a escala», dijo Min Jun, director de producto para redes en CoreWeave. «Incorporar NVIDIA Spectrum-6 y la infraestructura Ethernet Spectrum-X refrigerada por líquido en nuestras fábricas de IA nos ayudará a proporcionar el ancho de banda, la resiliencia y la eficiencia que los clientes necesitan para entrenar modelos de vanguardia y desplegar inferencia más rápido».

Para los pioneros de la IA que construyen su propia infraestructura, Spectrum-6 significa más GPUs trabajando en sincronía, mayor utilización durante operaciones colectivas exigentes y mayor resiliencia para trabajos de larga duración. En todos los casos de uso, el resultado es un tiempo más rápido para obtener resultados y una mejor economía a una escala extraordinaria.

El rendimiento de la IA es un problema de red. El rendimiento máximo de la GPU por sí solo ya no predice el rendimiento de una fábrica de IA. Las cargas de trabajo de entrenamiento e inferencia a gran escala dependen de miles de aceleradores que intercambian datos continuamente. Las comunicaciones colectivas son las operaciones fundamentales que sincronizan el trabajo a través de las GPUs y generan un intenso tráfico este-oeste, a menudo con muchos sistemas transmitiendo simultáneamente.

Ethernet fue diseñada principalmente para aplicaciones empresariales y tráfico norte-sur que se mueve entre usuarios, servidores y almacenamiento. No fue creada para los patrones de comunicación sincronizados y colectivos de la IA a gran escala. Spectrum-X Ethernet cambia eso. Diseñada específicamente para IA, transforma Ethernet en una estructura de escala de alto rendimiento diseñada para mantener cada GPU alimentada con datos.

La próxima generación de Ethernet Spectrum-X combina el chip de conmutación Spectrum-6 con la NVIDIA ConnectX-9 SuperNIC para formar la próxima generación de Ethernet Spectrum-X, y está diseñada como parte de NVIDIA Vera Rubin, reuniendo el CPU Vera de NVIDIA, el GPU Rubin, el conmutador NVLink 6, el SuperNIC ConnectX-9, el DPU BlueField-4 y el conmutador Ethernet Spectrum-6.

Spectrum-6 admite tanto factores de forma de ópticas enchufables como coempaquetadas. Además, las ofertas de Spectrum-6 admiten refrigeración líquida, lo que permite un enfoque de refrigeración integral de extremo a extremo para toda la fábrica de IA, aumentando la eficiencia energética de la red.

A diferencia del Ethernet estándar, la plataforma de red Ethernet NVIDIA Spectrum-X para el escalado de fábricas de IA combina conmutadores inteligentes, SuperNICs ConnectX-9 de NVIDIA y software de red de pila completa, todo diseñado en conjunto para IA. Las características avanzadas de la plataforma optimizan continuamente cómo se mueve el tráfico a través de la estructura.

Además, la tecnología NVIDIA Spectrum-X equilibra inteligentemente el tráfico a través de los caminos disponibles, evita rápidamente fallas y se recupera con precisión cuando los datos que viajan a través de una red no llegan a su destino. Además, el soporte para sistemas operativos de red abiertos y una elección de modelos de transporte RDMA brinda a los constructores de IA flexibilidad sin comprometer el rendimiento.

Spectrum-X Ethernet es inherente al enfoque verticalmente integrado y horizontalmente abierto de NVIDIA: codesignar silicio, sistemas y software en toda la plataforma informática mientras se admite Ethernet estándar, sistemas operativos de red abiertos, protocolos abiertos y un amplio ecosistema de proveedores de nube, fabricantes de sistemas y socios de infraestructura.

Demostrando este enfoque, Spectrum-X Ethernet ofrece hasta un 1.6x más de rendimiento de red de IA que el Ethernet estándar y mantiene hasta un 95% de eficiencia de red en despliegues que superan las 100,000 GPUs. Las topologías multiplano aceleradas por hardware de Spectrum-X reducen el número de conmutadores requeridos para los centros de datos en 1.7x para acelerar aún más la eficiencia de la red. Además, al superponer los beneficios logrados a través de Spectrum-X Ethernet Photonics, incluida una eficiencia energética 5x mayor y un tiempo medio entre incidentes 10x mejorado, las mejoras en la estructura de red continúan acelerando las cargas de trabajo más allá de la optimización a nivel de componente.

Fuente: https://blogs.nvidia.com/blog/nvidia-spectrum-six-arrives-in-gigascale-ai-factories/