arXiv Artificial Intelligence· Zucan Lyu, Rui Tang, Jianlyu Chen, Peisheng Jin, Zheng Liu, Defu Lian·· 17 小时前AI 评分31
SYNTRA：自改进数据合成让嵌入模型跨领域跨任务扩展
Self-improving data synthesis can scale embedding models across domains and tasks
AI 导读
SYNTRA 是一种检索数据合成方法，通过自改进循环利用试验输出反馈迭代优化可复用的合成指令，仅需无标注语料和少量相关查询-文档对。在覆盖 15 个领域的 24 个检索数据集上，合成数据提升了多个主流嵌入模型在有监督和无监督任务上的表现，自改进在全部 6 项评测任务上增强检索，其中 4 项超过人工校准。在 MS MARCO 上，训练数据扩展至初始规模 32 倍时检索性能持续提升。
来源：arXiv Artificial Intelligence · arxiv.org