arXiv Artificial Intelligence· Zhichen Liu, Tianle Lun, Yang Xu, Zhibin Wen, Hao An, Yulin Ou, Jianhui Xu, Hao Zhang, Wenyi Fang, Yang Zheng·· 13 小时前AI 评分31
用轻量探针快速准确预测训练中 LLM 的下游性能
Fast and Accurate Probing of In-Training LLMs' Downstream Performances
AI 导读
研究者提出一种训练中评估新范式，用轻量探针以 LLM checkpoint 的内部表示为输入，直接预测其下游任务 pass@1 表现。在 OLMo3-7B、OLMo3-32B 和 Apertus-8B 的 checkpoint 上，探针平均 AUROC 超过 0.75，并具备由早期 checkpoint 预测后期表现的泛化能力。该方法将评估延迟从传统生成式评估的约 1 小时降至约 3 分钟。
推荐理由模型分析
针对训练中下游评测耗时过长、而训练损失又未必与下游表现一致的问题，作者用检查点内部表示训练轻量探针直接预测pass@1。在OLMo3-7B/32B和Apertus-8B上平均AUROC>0.75，且早期检查点可预测后期，延迟从约1小时降至约3分钟。适合训练侧工程师参考以缩短评测反馈周期，但结论限于所测模型与任务，探针精度仍需按场景验证。
来源：arXiv Artificial Intelligence · arxiv.org