ALTO 开源配方缩小 MXFP4 训练 MoE 与 BF16 差距
热点事件持续更新
ALTO 开源配方缩小 MXFP4 训练 MoE 与 BF16 差距
1 篇报道1 个报道来源1 小时前更新
先了解这件事
AI 综述
2026 年 10 月 26 日，arXiv 人工智能板块报道，Han Wang 等作者提出并发布开源训练配方 ALTO，用于在 MLPerf Small MoE Training 基准下以 MXFP4 微缩放格式训练 200 亿参数 MoE 模型 GPT-OSS-20B。报道称，该配方使 C4 验证损失在 16,128 步时达到 3.3350，仅比 BF16 基线 3.3283 高 0.007，弥补了无去振荡方案约 50% 的差距。报道同时说明，所有实验均在 AMD MI300 硬件上使用模拟 MXFP4 内核，实际运行时间尚未优化。目前进展停留在该单篇报道所述实验与配方发布层面，尚无后续跟进报道。
AI 根据报道生成 · 1 小时前更新
最新进展10月26日 12:00
在 MXFP4 中训练 MoE LLM：ALTO 如何缩小与 BF16 的差距报道时间线
沿着报道，了解事件的不同侧面。
10月26日
- arXiv Artificial Intelligence在 MXFP4 中训练 MoE LLM：ALTO 如何缩小与 BF16 的差距
开源训练配方 ALTO 让 200 亿参数的 MoE 模型 GPT-OSS-20B 在 MXFP4 格式下训练，C4 验证损失在 16,128 步时达 3.3350，仅比 BF16 基线 3.3283 高 0.007，弥补了无去振荡方案约 50% 的差距。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。