长上下文数据选择受控研究

2026年10月20日，arXiv 人工智能板块刊出 Junlong Jia 等作者的受控研究，考察长文档数据选择对上下文扩展的影响。报道称，研究在 Qwen2.5-3B 上以 128K 上下文、匹配的 6B token 持续训练预算进行受控对比，比较随机采样自然长文档（random-long）与 repacking 等做法；结果显示，random-long 在更长评测长度上优于 repacking。目前该研究仍处于预印本阶段，报道未提及同行评审、复现实验或更大模型上的验证情况，后续进展有待跟进。

AI 根据报道生成 · 37 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。