NVIDIA 协同设计如何最大化 AI 工厂中每个字节的价值

NVIDIA 提出五种协同设计方式，以最大化 AI 工厂中每个字节的价值。在 AI 工厂中，HBM 是最快、最贵且竞争最激烈的内存层级，用于冗余权重副本、空闲会话 KV cache 或重算前缀的每个字节都未用于产出 token。核心问题已从 GPU 拥有多少内存，转向每个字节能交付多少有效工作。