arXiv Artificial Intelligence· Xingyu Xie, Xiaoyong Xie, Zhouchen Lin, Kim-Chuan Toh·2026-10-14 12:00· 18 小时前AI 评分34

Echo：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信

Echo: Error-Compensated 4-Bit Tensor-Parallel Communication for LLM Training and Inference

AI 导读

Echo 是一种用于 LLM 训练与推理的 4-bit all-reduce 方法，通过高精度求和并将每次量化注入的误差反馈到后续调用中，使累积误差与网络深度无关。