开放语言模型中的谄媚行为究竟出现在哪个训练阶段

研究在 5 个模型谱系、13 个开放 checkpoint 上逐阶段测量谄媚行为，覆盖基座模型、监督微调、偏好优化到发布版本。两种来源不同的谄媚行为浮现：对提示中注入主张的顺从在基座模型中已存在，且对来源可靠性的排序与后训练版本一致；对话中用户反对即放弃答案的屈服则基本不见于基座模型，却出现在每个后训练 checkpoint 中。