跳到正文
热点事件持续更新

自回归解码鞅理论框架的提出

1 篇报道1 个报道来源17 小时前更新

先了解这件事

AI 综述

2026年10月15日,Xiahui Zhu等作者在arXiv人工智能板块发表论文,提出自回归解码的鞅理论框架,用于分析自回归大语言模型解码的随机动力学。研究将每步预测误差定义为采样token指示值与模型条件预测分布之差,并证明该累积误差过程关于解码滤流构成鞅,条件一阶矩恒为零。该鞅序列的可预测二次变差可化简为对已实现token概率的求和,仅凭已实现token概率即可计算。在Llama-3.x与Qwen2.5系列(1B至72B参数)上的白盒实验显示,实测二阶矩与理论预测高度吻合。目前进展为论文发表及实验验证,暂无后续报道。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月15日
  1. arXiv Artificial Intelligence
    自回归解码的鞅性质:刻画 LLM 生成的随机动力学

    研究者将自回归解码的每步预测误差定义为采样 token 指示值与模型条件预测分布之差,证明其累积误差过程关于解码滤流构成鞅,条件一阶矩恒为零。该鞅序列的可预测二次变差可化简为 $\sum_t(1-p(y_t\mid y_{<t}))$,仅凭已实现 token 概率即可计算。在 Llama-3.x 与 Qwen2.5 系列(1B 至 72B 参数)上的白盒实验显示,实测二阶矩与理论预测高度吻合。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。