arXiv Artificial Intelligence· Johnny Yu, Cyril Gorlla·· 19 小时前AI 评分31
Fin-SD：金融推理中事后自蒸馏的提示到底有多重要？
How Much Does the Hint Matter? Scope Conditions for Hindsight Self-Distillation in Financial Reasoning
AI 导读
Fin-SD 是一种本地化事后自蒸馏方法，让学生模型自行定位首个错误推理步骤并写出简短批评，再以该提示为条件蒸馏回学生模型，无需外部模型提供梯度。在 GPT-OSS-20B 上，该方法于 FinanceReasoning Hard 子集较基座模型提升 3.03 pp，但把批评换成通用反馈后增益相同，说明收益来自监督施加的位置而非提示内容。
来源：arXiv Artificial Intelligence · arxiv.org