arXiv Artificial Intelligence· Han Wang, Zhitao Wang, Natalia Frumkin, Xuanwu Yin, Alireza Khodamoradi, Dong Li, Emad Barsoum·2026-10-26 12:00· 2 小时前AI 评分38

在 MXFP4 中训练 MoE LLM：ALTO 如何缩小与 BF16 的差距

Training an MoE LLM in MXFP4: How We Closed the Gap to BF16

AI 导读

开源训练配方 ALTO 让 200 亿参数的 MoE 模型 GPT-OSS-20B 在 MXFP4 格式下训练，C4 验证损失在 16,128 步时达 3.3350，仅比 BF16 基线 3.3283 高 0.007，弥补了无去振荡方案约 50% 的差距。

来源：arXiv Artificial Intelligence · arxiv.org

部署工程数据与训练论文研究 #论文/研究 #数据/训练 #部署/工程 #arXiv