英伟达提出缓解AI内存瓶颈的全栈方案

英伟达发布技术解读，提出协同设计 GPU、CPU、网络、存储和软件来缓解 AI 内存瓶颈，并给出不同平台的吞吐量对比。方案包括用 NVFP4 压缩模型权重和 KV 缓存，将不活跃上下文迁移至 CMX 上下文存储，并在复用前取回。 英伟达称，在每用户每秒 125 token 条件下，Vera Rubin NVL72 的每美元智能体吞吐量较 GB300 NVL72 最高提升 30 倍，而每 GPU 的 HBM 容量约增加 3%；在每用户每秒 100 token 条件下，GB300 NVL72 较 H200 的每美元吞吐量最高提升 10 倍。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。