蒸馏、自训练与学到的化学推理的脆弱性

Resonance 模型通过蒸馏开放权重教师的推理轨迹并从自身已验证输出中学习，将准确率近乎为零的小基座模型变为可用的正向反应预测器，更强的学生模型仅靠蒸馏即超越教师。但准确率并未带来稳健推理：小模型继承教师的单次推理风格，自训练主要只是强化它本已能得出的答案，且在受到质疑时轻易放弃正确答案。作者据此提出，化学推理模型应同时评估答案准确性与推理稳健性。