arXiv Artificial Intelligence· Paul J\"unger, Justin Lovelace, Linxi Zhao, Dongyoung Go, Kilian Q. Weinberger·· 17 小时前AI 评分31
SARDI：用推测性 token 预测为扩散语言模型动态检索
Self-Augmenting Retrieval for Diffusion Language Models
AI 导读
SARDI 是一个面向扩散语言模型的免训练动态 RAG 框架，利用去噪过程中的推测性 token 预测提前浮现的实体线索来引导检索。在五个多跳问答基准上，它的表现优于免训练的扩散与自回归检索基线，吞吐量最高达 4 倍。该方法与检索器无关，适用于任何具备推理能力的离散扩散语言模型。
来源：arXiv Artificial Intelligence · arxiv.org