驱动之家 11-06
英伟达详解AI内存全栈协同设计:Agent吞吐量提升30倍 HBM容量仅增3%
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

快科技 11 月 6 日消息,英伟达发布博客文章,详解其 AI 内存全栈协同设计策略。文章强调,随着大模型参数规模、上下文长度和智能体(Agent)应用持续扩张,AI 基础设施的内存压力正在加剧,单纯增加 GPU 内存容量已不足以解决问题。

英伟达提出,通过协同设计 GPU、CPU、网络、存储和软件,并结合模型权重量化、KV Cache 压缩与分层存储、检索数据优化等技术,可以提高整个 AI 基础设施的内存利用效率。

英伟达披露,从 Blackwell Ultra 到 Vera Rubin 平台,单颗 GPU 的 HBM 容量仅增加约 3%,在特定 Agent 工作负载下,每美元可实现的吞吐量最高可提升 30 倍。

该策略的核心,是将 AI 工厂的内存和存储视为一个整体的数据层级,而不是一味追求将更多数据塞进速度最快、成本最高的 GPU 内存,从而以更低的单位成本处理更多 AI 任务。

英伟达指出,大模型参数规模不断扩大,上下文窗口越来越长,加上 Agent 需要在多轮推理和工具调用之间持续保留历史信息,正在给 GPU 高带宽内存(HBM)带来更大压力。

其中,KV Cache(键值缓存)是推理过程中重要的内存消耗来源。它保存模型处理请求时已经计算过的上下文信息,使模型在后续生成内容时不必重复处理相同信息。

对于 Agent 而言,一次任务可能涉及多轮模型推理、工具调用和结果返回,历史上下文会不断累积,KV Cache 也随之扩大。

英伟达称,部分 Agent 任务轨迹涉及的处理上下文规模已经达到 300 万 Token。此外,检索增强生成(RAG)技术需要将企业文档转换为向量表示,并在模型推理时检索相关内容,这也会增加需要处理和保留的数据量。

英伟达强调,推理过程中,模型权重和 KV Cache 都需要占用 HBM,而 HBM 恰恰是 AI 工厂中速度最快、成本最高、供应也最受限制的内存层级。单纯增加 HBM 容量并不能解决所有问题。

英伟达将 HBM 比作仓库,将内存带宽比作仓库的装卸码头:更大的仓库能够容纳更多货物,但如果装卸速度跟不上,增加仓储空间也无法提高实际吞吐量。

在 AI 推理中,更多 HBM 确实可以容纳更多用户的模型工作负载和 KV Cache,但所有用户仍然需要共享 GPU 计算资源和内存带宽。

一旦计算能力或带宽成为瓶颈,额外增加的内存容量就可能无法得到充分利用,反而增加成本和功耗。因此,英伟达认为,真正重要的不是单纯增加内存容量,而是让不同类型的数据进入最合适的存储层级,在需要时及时调回 GPU,以提高整个系统的利用效率。

针对模型权重占用大量 HBM 的问题,英伟达提出通过 NVFP4 低精度格式压缩模型权重,并利用 NVLink 实现跨 GPU 分布式存储。

具体而言,NVFP4 可以将模型权重压缩至 4 位精度,相比 FP8 进一步减少存储空间。

英伟达称,越来越多模型开发商开始采用 NVFP4 格式发布模型权重,包括 Black Forest Labs、Thinking Machines Lab、Reflection、Meta 等机构和公司的部分模型。

在硬件层面,英伟达通过 NVLink 构建 NVL72 机架级 GPU 互联系统,允许模型权重分布在最多 72 颗 GPU 之间,使单颗 GPU 只需存储模型的一部分,从而释放更多 HBM 空间,用于容纳 KV Cache 和服务更多并发用户。

这意味着,英伟达试图通过低精度量化和机架级互联共同解决模型权重占用内存的问题,而不是仅仅依赖单颗 GPU 不断增加 HBM 容量。

相比模型权重,KV Cache 带来的挑战更加动态。随着 Agent 持续推理、调用工具和等待外部结果,部分上下文需要保留,但并非所有信息都需要始终占用速度最快的 GPU 内存。

对此,英伟达提出从压缩、暂存和分层卸载三个方面优化 KV Cache。

首先,NVFP4 同样可以用于压缩 KV Cache,相比 FP8 减少其内存占用,使更多上下文能够留在 GPU 的 HBM 中。

其次,Vera CPU 负责加速工具调用,缩短 Agent 等待外部工具执行结果时 KV Cache 处于闲置状态的时间。与此同时,Vera CPU 配备大容量 LPDDR 内存,并通过 NVLink-C2C 与 Rubin GPU 连接,可以为暂时不活跃的上下文提供距离 GPU 较近的存储空间,需要时再快速调回。

第三,英伟达 Dynamo 推理软件可以将暂时不活跃的 KV Cache 从 GPU 内存卸载至 CMX 上下文内存存储平台。CMX 是一种面向大容量、低成本数据存储设计的层级,每比特存储成本远低于 HBM,并能够在上下文再次被调用前将数据调回。

与本地 SSD 不同,CMX 可以跨服务器共享;与传统企业存储不同,它不需要为这些短生命周期的上下文承担长期数据保护所带来的额外开销。

英伟达还通过 Dynamo 的 KV Cache Reuse 功能,将 GPU 内存、CPU 内存和存储中的 KV Cache 作为一个系统级资源统一管理,使已经计算过的上下文能够在整个系统内复用,减少重复计算。

除了模型权重和 KV Cache,英伟达还针对检索增强生成(RAG)带来的内存压力提出优化方案。

RAG 需要将企业文档转换为向量嵌入(Embedding),并建立可供检索的向量索引,以便模型根据用户问题从庞大的知识库中提取相关信息。这些向量数据如果全部放在 GPU 的 HBM 中,会进一步挤占模型推理所需的宝贵内存。

英伟达提出通过 NeMo Retriever 和 cuVS 分别优化向量数据及索引的存储。

其中,NeMo Retriever 模型能够生成更小的向量嵌入,同时提高检索准确性,减少需要存储和传输的数据量;cuVS 则支持在 CPU 内存和存储层级构建、运行大型向量索引,使整个企业知识库不必占用 GPU 的 HBM。

只有真正被检索出来、模型需要处理的相关文本片段,才会进入模型上下文。通过这一方式,英伟达希望减少模型权重、闲置上下文和 RAG 数据对 HBM 的占用,将更多 GPU 内存留给实际推理任务和并发用户。

英伟达公布的性能数据,是此次全栈协同设计文章最值得关注的部分。公司援引 SemiAnalysis AgentX 基准测试中的 DeepSeek V4 Pro 工作负载,比较不同代际 AI 计算平台的吞吐量与成本效率。

具体来看,在每位用户每秒 100 个 Token 的服务速度下,英伟达 GB300 NVL72 相较 H200 平台,每美元可实现的吞吐量最高提升 10 倍,同时单颗 GPU 的 HBM 容量大约翻倍。

在每位用户每秒 125 个 Token 的服务速度下,Vera Rubin NVL72 相较 GB300 NVL72,每美元可实现的吞吐量最高提升 30 倍,而单颗 GPU 的 HBM 容量仅增加约 3%。

这意味着,在英伟达强调的特定 Agent 推理场景中,性能和成本效率的提升远远超过了单纯增加内存容量所能带来的收益。

通过压缩模型权重和 KV Cache、将闲置上下文卸载至更低成本的存储层级,以及优化 GPU、CPU 和网络之间的数据调度,系统能够从相近规模的内存资源中获得更多有效计算产出。

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

英伟达 ai 吞吐量 gpu 基础设施
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…