自回归解码的鞅性质：刻画 LLM 生成的随机动力学

研究者将自回归解码的每步预测误差定义为采样 token 指示值与模型条件预测分布之差，证明其累积误差过程关于解码滤流构成鞅，条件一阶矩恒为零。该鞅序列的可预测二次变差可化简为 $\sum_t(1-p(y_t\mid y_{<t}))$，仅凭已实现 token 概率即可计算。在 Llama-3.x 与 Qwen2.5 系列（1B 至 72B 参数）上的白盒实验显示，实测二阶矩与理论预测高度吻合。