跳到正文
arXiv Artificial Intelligence· Chao Deng, Shaolei Zhang, Ju Fan, Xiaoyong Du·· 19 小时前AI 评分27

DataEvolver:通过多级自演化实现大语言模型自动数据准备

DataEvolver: Automatic Data Preparation for Large Language Models through Multi-Level Self-Evolving

AI 导读

DataEvolver 是一个通过多级自演化自动构建数据处理流水线的数据准备系统,在算子层面扩展算子库并优化逻辑计划以解决依赖冲突,在流水线层面将计划实例化为代码并利用试运行输出反馈迭代优化。在七个基准上,其数据质量显著提升,下游 LLM 性能相比原始数据训练平均提升约 10 分。

来源:arXiv Artificial Intelligence · arxiv.org