扩散语言模型生成困惑度指标遭质疑

2026年10月23日，arXiv 人工智能板块发布 Antonio Franca 与 Alexander Tong 的论文，分析扩散语言模型（DLM）无条件文本生成评测中常用的生成困惑度（gen-PPL）指标。研究指出，gen-PPL 不能可靠衡量生成质量：它会被“始终输出打分器最可能序列”的采样器刷低，而这类文本本身并不连贯。研究者在 LM1B 和 OpenWebText 上构造了四个免训练采样器，在非退化 unigram 熵条件下达到或超过已训练模型的 gen-PPL，以此说明该指标的缺陷。论文据此提出基于压缩的分布差异指标，作为替代评测方向。目前事件进展停留在论文发布与指标分析层面，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。