用信息论分析与提升思维链可监控性

研究用信息论分析指出，CoT 与输出之间的非零互信息是 CoT 可监控性的必要非充分条件，并将监控器性能损失拆解为信息差与诱导误差两类近似误差。实验显示，即使没有针对 CoT 的优化压力，CoT 混淆也可能出现。作者提出一种基于输出与 CoT 互信息的无标签训练目标，在多个环境中可防止 CoT 混淆，并在任务奖励设定不完美时缓解奖励黑客。