arXiv Artificial Intelligence· Jiaxing Wang, Zicheng Zhang, Deping Xiang, Jin Xu, Yong Li, Chao Liu, Pengzhang Liu, Qixia Jiang·· 19 小时前AI 评分35
数据整理如何提升 LLM 训练:区分“提升上限”与“加速收敛”
Advancement or Acceleration? How Data Curation Improves LLM Training
AI 导读
论文将数据整理的作用形式化为 advancement(提升可达性能)与 acceleration(用更少数据达到同等性能)两种,并证明 advancement 需要可修正的训练-目标差距。
来源:arXiv Artificial Intelligence · arxiv.org