arXiv Artificial Intelligence· Chaemin Jang, Dongman Lee, Jihee Kim·2026-10-15 12:00· 18 小时前AI 评分32

指令微调语言模型无法从其能描述的分布中采样

Instruction-Tuned Language Models Cannot Sample from Distributions They Can Describe

AI 导读

指令微调语言模型无法从分布中采样，而是坍缩为单一输出：同一 persona 在同一问题上，公开民调基准中超过半数题目返回相同答案，模型内部概率也集中于单一选项。