arXiv Artificial Intelligence· Pingbang Hu, Xueshen Liu, Z. Morley Mao, Jiaqi W. Ma·· 19 小时前AI 评分31
Dr. Post-Training：从数据正则化视角重新理解 LLM 后训练
Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training
AI 导读
研究者提出 Dr. Post-Training 框架，将通用训练数据视为数据诱导的正则项，而非数据选择的候选池，从而防止模型对稀缺目标数据过拟合。该方法在每一步训练中用通用数据构造可行更新方向集合，再将目标数据指定的更新方向投影到该集合上，标准训练与现有数据选择方法均为其特例。
来源：arXiv Artificial Intelligence · arxiv.org