跳到正文
热点事件观察中

英伟达发布全栈协同设计内存优化技术解读

2 篇报道2 个报道来源2 天前更新

先了解这件事

AI 综述

2026年11月5日,英伟达发布技术解读,指出随着大模型参数规模、上下文长度和智能体应用快速增长,GPU显存正面临前所未有的压力。针对这一瓶颈,英伟达提出“全栈协同设计”方案:通过NVFP4低精度格式压缩模型权重与KV缓存;NVL72系统将权重分散至最多72颗GPU;Vera CPU的LPDDR内存用于缓冲暂停上下文;Dynamo软件将不活跃上下文迁移至CMX存储。据2026年11月6日IT之家报道,该方案下HBM仅增约3%,每美元智能体吞吐量最高提升30倍。同日英伟达官方博客(一手来源)给出更具体的适用范围:从Blackwell Ultra到Vera Rubin平台,每GPU的HBM容量仅增约3%,而SemiAnalysis AgentX上的智能体吞吐每美元最高提升30倍。目前进展仍为技术解读发布,尚无实际部署或第三方验证信息。

AI 根据报道生成 · 2 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月6日
  1. IT之家
    英伟达全栈协同设计破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍

    英伟达提出"全栈协同设计"方案应对 AI 内存瓶颈,通过 NVFP4 低精度格式压缩模型权重与 KV 缓存、NVL72 系统将权重分散至最多 72 颗 GPU、Vera CPU 的 LPDDR 内存缓冲暂停上下文、Dynamo 软件迁移不活跃上下文至 CMX 存储。

  2. NVIDIA Blog
    NVIDIA 如何用全栈协同设计解决 AI 内存挑战

    NVIDIA 通过全栈协同设计缓解 AI 内存压力:从 Blackwell Ultra 到 Vera Rubin 平台,每 GPU 的 HBM 容量仅增约 3%,而 SemiAnalysis AgentX 上的智能体吞吐每美元最高提升 30 倍。

本事件热度走势

可比范围当前
3
可比范围峰值
1811月6日 08:00
近 24 小时变化
-73%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。