arXiv Artificial Intelligence· Vaidehi Hegde·· 4 小时前AI 评分31
检测不足以验证推理链:LLaMA-2-7B-chat 在 GSM8K 上的程序化假设检验
Detection Is Not Enough: Reasoning Traces as Testable Program Hypotheses
AI 导读
研究在无参考答案、无评判模型、不更新权重的条件下验证单条推理链,发现冻结的 LLaMA-2-7B-chat 在 GSM8K 上自洽检测的 AUROC 仅 0.741,三分之二的错误推理链并未写出错误等式。
来源:arXiv Artificial Intelligence · arxiv.org