变形探针验证推理轨迹的研究

2026年10月23日，arXiv 人工智能板块刊出 Vaidehi Hegde 提交的论文，研究在无参考答案、无评判模型、不更新权重的条件下验证单条推理链，提出一种由候选答案推导的变形探针：把推理轨迹抽象为关于题目数量的程序，扰动其中一个数量并执行程序，再就改写后的问题向模型提问一次，使每条轨迹自带检验。研究在 GSM8K 上以冻结的 LLaMA-2-7B-chat 为对象，称 1,319 道测试题中有 937 道（71.0%）存在有效扰动；在同时具有可解析首条轨迹的 847 道题中，被探针支持的轨迹正确率为 60.6%，而基准正确率为 31.6%，但探针也否定了 45.5% 的正确轨迹。报道还称，冻结模型自洽检测的 AUROC 仅 0.741，三分之二的错误推理链并未写出错误等式；且没有一种受测策略带来统计显著的准确率提升。上述比例与结论均限于该模型、该数据集及所述实验条件。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。