跳到正文
arXiv Artificial Intelligence· Jiahao Kuang, Yangfan Gao, Tao Gui, Yuanbin Wu, Qi Zhang, Xuanjing Huang, Tao Ji·· 18 小时前AI 评分27

让 Diffusion LLM 多走几步:RePara 强化并行生成能力

A Few More Tokens Ahead: Reinforcing Parallelism in Diffusion LLMs

AI 导读

对四个代表性 diffusion 大语言模型的固定配额评测显示,每步生成 16 个 token 时数学与代码任务得分全部低于 15%。为此提出的 RePara 通过组相对策略优化强化短连续 token 块,并降低 rollout 与对数概率重算开销。

来源:arXiv Artificial Intelligence · arxiv.org