arXiv Artificial Intelligence· Luyang Zhang, Jialu Wang, Bebei Li·· 20 小时前AI 评分24
Pick the Mixture, Not the Samples:面向 LLM 的组合式数据选择
Pick the Mixture, Not the Samples: Combinatorial Data Selection for LLMs
AI 导读
针对 LLM 微调数据选择中跨域互补与样本间非加性交互的问题,研究者将其形式化为组合式数据选择(CDS)框架,把样本打分与子集选择分离。基于此提出两阶段算法 Mixture-then-Select:先决定每个域抽取多少样本,再按归因分数在域内排序。实验显示其优于强基线 20% 至 54%,且在不同模型和数据池规模下均稳健,并可扩展到预算约束下的数据购买问题。
来源:arXiv Artificial Intelligence · arxiv.org