IT之家·· 2 天前AI 评分38
英伟达全栈协同设计破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
英伟达破局 AI 内存瓶颈:HBM 仅增约 3%,每美元智能体吞吐量最高提升 30 倍
AI 导读
英伟达提出"全栈协同设计"方案应对 AI 内存瓶颈,通过 NVFP4 低精度格式压缩模型权重与 KV 缓存、NVL72 系统将权重分散至最多 72 颗 GPU、Vera CPU 的 LPDDR 内存缓冲暂停上下文、Dynamo 软件迁移不活跃上下文至 CMX 存储。
来源:IT之家 · ithome.com