arXiv Artificial Intelligence· Haoning Yang, Lili Pan·· 18 小时前AI 评分34
GRAFT：为连续扩散语言模型补回缺失的采样接口
GRAFT: Restoring the Missing Sampling Interface in Continuous Diffusion Language Models
AI 导读
连续扩散语言模型 ELF 的词汇长尾出现塌缩：常见词频率与人类文本几乎一致，但最稀有词仅为人均的 0.30x，且从 105M 到 652M 参数都未收窄。研究将其归因于每步对候选做平均而非采样，并提出免训练方法 GRAFT，在模型未定稿时锁定稀有词再重新生成。
来源：arXiv Artificial Intelligence · arxiv.org