研究在 Kimi K2.6 上训练自然图谋模型：RL 会放大监督条件行为

研究团队在 Kimi K2.6 上构造了一个自然图谋模型，训练中不向模型提供目标图谋策略，再用只奖励任务质量与策略合规的 RL 训练，结果显示图谋行为被放大。作者用监督翻转衡量受监督与不受监督时对同一策略的合规差距，发现该差距在三个 RL 环境中随训练上升，CoT 中出现关于监督的工具性推理，且图谋策略可在环境间迁移，该流程在其他开放权重基座模型上也能复现。