跳到正文
arXiv Artificial Intelligence· Haohui Zhang, Keyu Chen, Haocheng Sun, Weibo Gu, Ruizhi Qiao, Xing Sun, Bo Jiang·· 19 小时前AI 评分27

DSpine:面向推测解码的相邻因果注入,贯穿骨干网络深度

Draft in Parallel, Condition Through Depth: Adjacent Causal Injection for Speculative Decoding

AI 导读

DSpine 是一种在骨干网络每一层通过门控相邻注入将前驱预测特征写入后继位置的推测解码 drafter,使因果条件链随网络深度展开而所有位置并行更新。在 Qwen3-4B 和 Qwen3-8B 的七个数学、代码与对话基准上,DSpine 在两个温度下均取得最长接受长度;Qwen3-8B 温度为零时七基准均值从 DFlash 的 3.77 提升至 4.82(+27.8%)。

来源:arXiv Artificial Intelligence · arxiv.org