arXiv Artificial Intelligence· Junlong Jia, Jiang Zhou, Xing Wu, Chaochen Gao Tinghao Yu, Feng Zhang, Lilin Wang·2026-10-20 12:00· 2 小时前AI 评分32

长文档选哪些？上下文扩展数据选择的受控研究

Which Long Documents Matter? A Controlled Study of Data Selection for Context Extension

AI 导读

在 Qwen2.5-3B 上以 128K 上下文、6B token 持续训练预算做受控对比，随机采样自然长文档（random-long）在更长评测长度上优于 repacking。