跳到正文
arXiv Artificial Intelligence· Jiaxing Wang, Zicheng Zhang, Deping Xiang, Jin Xu, Yong Li, Chao Liu, Pengzhang Liu, Qixia Jiang·· 19 小时前AI 评分35

数据整理如何提升 LLM 训练:区分“提升上限”与“加速收敛”

Advancement or Acceleration? How Data Curation Improves LLM Training

AI 导读

论文将数据整理的作用形式化为 advancement(提升可达性能)与 acceleration(用更少数据达到同等性能)两种,并证明 advancement 需要可修正的训练-目标差距。

来源:arXiv Artificial Intelligence · arxiv.org