arXiv Artificial Intelligence· Haowen Shi, Xuzhe Yan, Fahao Chen, Peng Li·2026-10-30 12:00· 17 小时前AI 评分31

基于预填充的解码长度预测存在根本性极限

On the Fundamental Limits of Prefill-Based Decoding Length Prediction

AI 导读

研究指出，仅用预填充阶段隐藏状态预测 LLM 解码 token 数的现有基准混淆了预测器质量与任务难度，模型、数据或采样配置一变，报告准确率即崩塌。作者将解码视为停止型随机过程，推导出每步停止概率随数百步递增、解码长度服从逐提示正态分布及仿射方差律 σ=αμ+b 的界限。