arXiv Artificial Intelligence· Antonio Franca, Alexander Tong·· 4 小时前AI 评分31
生成困惑度不可靠：扩散语言模型的无条件文本评估为何需要新指标
Hacking Generative Perplexity: Why Unconditional Text Evaluation Needs New Metrics
AI 导读
扩散语言模型（DLM）常用的生成困惑度（gen-PPL）被证明不能可靠衡量生成质量：它会被"始终输出打分器最可能序列"的采样器刷低，而这类文本本身不连贯。研究者在 LM1B 和 OpenWebText 上构造了四个免训练采样器，在非退化 unigram 熵下达到或超过已训练模型的 gen-PPL。
来源：arXiv Artificial Intelligence · arxiv.org