Echo：误差补偿的4比特张量并行通信
热点事件持续更新
Echo：误差补偿的4比特张量并行通信
1 篇报道1 个报道来源18 小时前更新
先了解这件事
AI 综述
2026年10月14日，Xingyu Xie等作者在arXiv提交论文，提出Echo——一种用于LLM训练与推理的4-bit all-reduce方法。据该论文，Echo通过高精度求和并将每次量化注入的误差反馈到后续调用中，使累积误差与网络深度无关。论文称，Echo无需FP8或FP4硬件；在A100 GPU上，对1 GB消息，Echo比16-bit NCCL all-reduce快2.09倍；在Qwen3-8B上，其七个基准的平均准确率与16-bit推理相差在0.4个百分点以内；在10B token预训练中，其最终损失比16-bit训练高出不到0.9%。上述性能与精度数据均出自该论文自述，尚待独立验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月14日 12:00
Echo：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信报道时间线
沿着报道，了解事件的不同侧面。
10月14日
- arXiv Artificial IntelligenceEcho：面向 LLM 训练与推理的误差补偿 4-Bit 张量并行通信
Echo 是一种用于 LLM 训练与推理的 4-bit all-reduce 方法，通过高精度求和并将每次量化注入的误差反馈到后续调用中，使累积误差与网络深度无关。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。