预填充解码长度预测的理论误差界

2026年10月30日，Haowen Shi 等作者在 arXiv 发表论文，讨论仅用预填充阶段隐藏状态预测大模型解码 token 数的根本性极限。研究指出，现有基准混淆了预测器质量与任务难度：当目标模型、数据集或采样配置变化时，即使预测器不变，报告准确率也会崩塌。作者将解码视为停止型随机过程，推导出每步停止概率随数百步递增、解码长度服从逐提示正态分布以及仿射方差律 σ=αμ+b 的界限。在模型、数据与采样条件固定时，MLP、EGTP、FiLM、soft-label 及混合专家等多种预测器设计均收敛到接近该界限的相似性能，表明系统误差主导模型误差。目前进展为论文发布及上述理论与实验结论。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。