arXiv Artificial Intelligence· Yuhang Yang, Mingxuan Xia, Chao Ye, Shuai Zhu, Shouqing Yang, Haobo Wang, Shenzhi Yang, Zhengqing Zang, Chenglong Wang·· 20 小时前AI 评分24
PreSO：面向同策略自蒸馏的特权表示隔离方法
PreSO: Privileged Representation Isolation for On-Policy Self-Distillation
AI 导读
PreSO 通过紧凑提示限制解特定细节进入特权表示偏移，并从跨问题池化的偏移中估计低秩子空间，将特权修正投影后叠加到学生无特权表示上作为蒸馏目标。在五个竞赛级数学基准上，PreSO 在 Qwen3-1.7B、4B、8B 上平均准确率分别较基座模型提升 6.8、9.0、10.0 分，且各规模最终检查点平均成绩均为最高。
来源：arXiv Artificial Intelligence · arxiv.org