arXiv Artificial Intelligence· Minoo Ahmadi, Seyedarmin Azizi, Mehdi Kamal, Massoud Pedram·· 2 小时前AI 评分31
LP-SMC：为扩散 LLM 解码保留多样性的 SMC 重采样方法
Keep the Lineages Alive: Diversity-Preserving SMC for Diffusion LLM Decoding
AI 导读
研究者提出保谱系 SMC（LP-SMC），用 Chopthin 重采样加输入权重下限替代多项重采样，避免高权重粒子复制、低权重谱系被丢弃。在两个基座模型的数学推理与代码生成基准上，LP-SMC 使 oracle 覆盖率全部提升 1.8 至 25.6 个百分点，在 12 个设置中的 11 个提升端到端准确率，LLaDA-1.5 最高提升 7.9 个百分点、Dream-7B 最高 18.3 个百分点。
来源：arXiv Artificial Intelligence · arxiv.org