arXiv Artificial Intelligence· Miao Li, Hanyang Jiang, Hengyu Fu, Baihe Huang, Yating Liu, Yuhang Cai, Changkun Guan, Zhongzhu Chen, Jiecheng Lu, Michael A. Boateng, Pascal Van Hentenryck·· 18 小时前AI 评分22
匹配画布而非仅匹配答案：面向扩散语言模型的可预测性感知 SFT
Match the Canvas, Not Just the Answer: Predictability-Aware SFT for Diffusion Language Models
AI 导读
针对扩散语言模型（DLM）中随机掩码导致的训练-推理不匹配问题，研究者提出可预测性感知画布选择与监督方法 PACS，用模型自身的可预测性选择每个样本的注意力可见输入长度，并在参考 token 被置信度引导揭示前对其进行监督。在推理与代码生成基准上，PACS 在对比的 SFT 方法中平均准确率最高，单项基准较原始 SFT 最高提升 12.84 个百分点。代码将在论文发表后发布。
来源：arXiv Artificial Intelligence · arxiv.org