arXiv Artificial Intelligence· Guanghan Wang, Bing He, Zhan Shi, Benoit Dumoulin, Hanqing Lu, Volodymyr Kuleshov·· 18 小时前AI 评分37
重新审视扩散语言模型与自回归语言模型的 16 倍预训练算力差距
Revisiting the 16x Pretraining Compute Gap between Diffusion and Autoregressive Language Models
AI 导读
一项研究重新检验了"扩散语言模型（DLM）预训练算力约为自回归语言模型（ARM）16 倍"的结论，认为其方法已落后于当前 DLM 实践。改用模型自身解码顺序下的精确似然、块扩散训练与编码器-解码器架构后，算力倍数降至 12.8 倍，块大小 32 时为 7.8 倍，块大小 8 和 4 时进一步降至 4.6 倍和 3.0 倍。
来源：arXiv Artificial Intelligence · arxiv.org