arXiv Artificial Intelligence· Zhaohui Zheng, Chenhang He, Jinrui Zhang, Ming-Ming Cheng, Lei Zhang·· 18 小时前AI 评分27
HaloBlock：为扩散大语言模型提速并提升解码质量
HaloBlock: Faster and Better Decoding for Diffusion Large Language Models
AI 导读
HaloBlock 是一种面向扩散大语言模型（dLLM）推理的难度感知自适应 halo 机制，利用双向累积熵刻画块解码难度，并在每个块两侧自适应分配双向 halo 区域以缓解边界上下文不连续。在 LLaDA-8B-Instruct、Dream-7B-Instruct 和 LLaDA-1.5 上，该方法在数学推理与代码生成基准上取得一致的准确率提升和更高的推理效率，源代码已公开。
来源：arXiv Artificial Intelligence · arxiv.org