NVIDIA Vera Rubin aborda la memoria de la IA con un rendimiento 30 veces mayor

El 5 de noviembre, NVIDIA detalló cómo su próxima plataforma NVIDIA Vera Rubin NVL72 elude el muro de memoria de la IA, ofreciendo hasta 30 veces más rendimiento de agentes por dólar, mientras que la capacidad de memoria de alto ancho de banda (HBM) por GPU aumenta solo alrededor del 3 %. Dirigida a equipos de infraestructura empresarial y desarrolladores de IA que manejan flujos de trabajo de agentes con millones de tokens, la arquitectura se aleja de apilar memoria costosa en aceleradores individuales. En cambio, centra la atención en la eficiencia de todo el sistema, incluso cuando la persistente escasez de suministro de HBM y el aumento de los precios de los componentes hacen que la expansión de memoria por fuerza bruta sea insostenible.

La crisis de la caché KV en la IA de agentes

En las cargas de trabajo estándar de inferencia, la costosa HBM de la GPU debe albergar tanto los pesos principales del modelo como la caché activa de clave-valor (KV), que almacena el contexto conversacional necesario para procesar las solicitudes entrantes. Mientras que las interacciones básicas de los chatbots consumen reservas de memoria relativamente predecibles, los agentes autónomos de IA mantienen continuamente los historiales de interacción a través de llamadas repetidas al modelo y a herramientas. En entornos empresariales exigentes, estas huellas contextuales pueden aumentar hasta 3 millones de tokens. La adopción generalizada de la generación aumentada por recuperación (RAG) exacerba esta presión al inyectar grandes lotes de documentos corporativos directamente en los prompts, consumiendo rápidamente la memoria de alta velocidad de la GPU.

Escapar del muro de memoria mediante el codiseño de la pila completa

NVIDIA compara la capacidad de HBM con un almacén y el ancho de banda de memoria con sus muelles de carga: no importa cuán espacioso sea el almacén, si los datos no pueden cruzar el umbral lo suficientemente rápido, el sistema choca contra un muro físico de memoria donde los gigabytes adicionales no logran producir un rendimiento de inferencia adicional. Para abordar este límite estructural, NVIDIA está implementando una estrategia de codiseño de la pila completa. Al diseñar las GPU, las CPU, la red de interconexión, el almacenamiento local y el software de ejecución como un sistema estrechamente acoplado, los datos se comprimen y organizan sistemáticamente en niveles para que cada byte realice un trabajo de computación útil.

En la práctica, este flujo de memoria por niveles equilibra el acceso de alta velocidad con capas de almacenamiento de menor costo en todo el rack del centro de datos:

• Los formatos de precisión reducida NVFP4 comprimen los pesos estáticos del modelo y las cachés KV dinámicas en huellas de memoria sustancialmente más pequeñas.
• Las configuraciones a escala de rack NVL72 distribuyen los enormes parámetros del modelo entre hasta 72 GPU interconectadas para eliminar los cuellos de botella de los componentes individuales.
• Los subsistemas de memoria de la CPU Vera proporcionan almacenamiento intermedio LPDDR de alta capacidad directamente adyacente al clúster de GPU para contextos pausados o en segundo plano.
• El software de ejecución de inferencia Dynamo identifica los datos de contexto inactivos y los descarga en el almacenamiento de contexto CMX, recuperándolos antes de que la GPU reanude la ejecución.
• Las cargas de trabajo de indexación de RAG se mantienen en los dominios de la CPU y el almacenamiento en lugar de ocupar permanentemente la HBM premium de la GPU.

Medir la eficiencia de los tokens por encima de la capacidad bruta

El impacto operativo de esta arquitectura multinivel se refleja en las pruebas de rendimiento de procesamiento, no en la capacidad bruta del hardware. Según los datos citados del benchmark AgentX de SemiAnalysis, ejecutado a 125 tokens por segundo por usuario, la plataforma Vera Rubin NVL72 genera hasta 30 veces más rendimiento de agentes por dólar que la plataforma GB300 NVL72, a pesar de ofrecer solo un aumento estimado del 3 % en la capacidad de HBM por GPU.

Una progresión arquitectónica similar aparece en los niveles de plataforma anteriores: bajo un objetivo de carga de trabajo de 100 tokens por segundo por usuario, la GB300 NVL72 ofrece hasta un aumento de 10 veces en el rendimiento por dólar en comparación con la plataforma H200 de la generación anterior. Estas métricas indican que las ventajas competitivas en la infraestructura de IA están dejando atrás el tamaño bruto de la VRAM integrada y se centran en qué tan eficientemente se puede convertir cada byte y vatio en tokens de salida activos.

A medida que los agentes autónomos de IA exigen ventanas de contexto más largas e integración de herramientas, ¿espera que la organización por niveles y la compresión a nivel de sistema mantengan económica la inferencia en la nube, o la capacidad física de memoria eventualmente forzará concesiones drásticas? Comparta su perspectiva sobre cómo su equipo se prepara para estos desafíos de escalabilidad.