arXiv Artificial Intelligence· Liang He, SiYuan Ma, Qishi Zhan, Yongqi Fan, Mingyu Cao, Qizhen Lan, Zhaolu Kang, Xilu Wang·· 3 小时前AI 评分29
ValuSpec：树形投机解码在目标验证前的即插即用候选评估机制
ValuSpec: Plug-and-Play Candidate Valuation before Target Verification for Tree-Based Speculative Decoding
AI 导读
ValuSpec 是一种即插即用的候选评估机制，可在目标模型验证前从候选树中过滤低质量分支，无需参数训练，通过校准集上目标模型的贪心轨迹估计过滤阈值。在 HumanEval、GSM8K、Dolly 和 SpecBench 上，该方法在基于检索的树设置中实现最高 2.38 倍端到端加速；集成到 EAGLE-3 动态树框架后，在不修改其树构建策略的情况下加速最高达 2.78 倍。
来源：arXiv Artificial Intelligence · arxiv.org