arXiv Artificial Intelligence· Jiahao Kuang, Yangfan Gao, Tao Gui, Yuanbin Wu, Qi Zhang, Xuanjing Huang, Tao Ji·· 18 小时前AI 评分27
让 Diffusion LLM 多走几步:RePara 强化并行生成能力
A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs
AI 导读
对四个代表性 diffusion 大语言模型的固定配额评测显示,每步生成 16 个 token 时数学与代码任务得分全部低于 15%。为此提出的 RePara 通过组相对策略优化强化短连续 token 块,并降低 rollout 与对数概率重算开销。
来源:arXiv Artificial Intelligence · arxiv.org