干预训练减少上下文内省中的因果绕过

2026年10月30日，arXiv Artificial Intelligence 刊出 Zilu Tang 等作者的研究。研究在三种低层信号类型和八个语言模型上训练数百个内省器，发现直接 SFT 训练会导致“因果绕行”，即自我报告依赖与报告对象相关但无因果关系的信号。为此，作者提出干预式训练，让模型报告反事实扰动后的值，从而更准确地内省内生信号与注入信号，在分布外（OOD）数据上尤为明显。报道称该机制可跨 token 位置泛化，并随数据量增加而扩展，表明有因果根基的内省虽可行但并非必然。目前该研究处于论文发布阶段，尚无后续跟进报道。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。