重估扩散语言模型预训练算力差距

2026年10月15日，arXiv Artificial Intelligence 刊出 Guanghan Wang 等作者的论文，重新检验了“扩散语言模型（DLM）预训练算力约为自回归语言模型（ARM）16 倍”这一结论。作者认为，该结论所依据的方法已落后于当前 DLM 实践：它用证据下界（ELBO）给模型打分，并训练全序列、仅解码器模型。改用模型自身解码顺序下的精确似然、块扩散训练与编码器-解码器架构后，论文报告算力倍数降至 12.8 倍；块大小为 32 时为 7.8 倍，块大小为 8 和 4 时进一步降至 4.6 倍和 3.0 倍。目前进展为：原有 16 倍差距的说法被重新评估，新方法下差距随块大小缩小而明显收窄。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。