arXiv Artificial Intelligence· Yan Wang·· 18 小时前AI 评分42
TraceForge:用模型自身的思考风格蒸馏推理轨迹
TraceForge: Distilling with Your Own Thinking
AI 导读
TraceForge 以教师模型的上下文和答案为输入,由生成器按学生模型家族的风格自行生成推理轨迹,再经监督与对抗两阶段训练。独立评判给出的真实性得分为:生成轨迹平均 0.68、真实轨迹 0.66、critic 从四个候选中选出的轨迹 0.82。
来源:arXiv Artificial Intelligence · arxiv.org