PreSO：特权表示隔离的在线自蒸馏方法

2026年10月14日，arXiv 人工智能板块报道了 Yuhang Yang 等作者提出的 PreSO（Privileged Representation Isolation for On-Policy Self-Distillation，特权表示隔离的在线自蒸馏）方法。该工作针对同策略自蒸馏场景：PreSO 通过紧凑提示限制解特定细节进入特权表示偏移，并从跨问题池化的偏移中估计低秩子空间，将特权修正投影后叠加到学生的无特权表示上，作为蒸馏目标。报道称，在五个竞赛级数学基准上，PreSO 在 Qwen3-1.7B、4B、8B 三个规模上平均准确率分别较基座模型提升 6.8、9.0、10.0 分，且各规模最终检查点的平均成绩均为最高。目前该事件仅有这一篇报道，尚无后续跟进或相互矛盾的说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。