arXiv Artificial Intelligence· Weimin Lyu, Jingfen Zhang, Lingdao Sha, Peng sun, Xiaowei Chen, Vincent Gao, Rui Song·· 18 小时前AI 评分24
MoMaTune:先建模、再匹配、后微调,提升语言模型处理数值记录能力
MoMaTune: Model, Match, Then Tune Language Models for Numerical Records
AI 导读
MoMaTune 提出“Model、Match、Then Tune”两阶段后训练策略,针对数值记录中数值敏感性与字段间依赖监督不足的问题。在 169,285 条记录、340 个输入字段中 339 个为数值的八个公开数据集上,1.5B 参数下 Model 将八数据集掩码值填补聚合分从 0.106 提升至 0.401,三数据集正确上下文增益从 0.058 升至 0.167。
来源:arXiv Artificial Intelligence · arxiv.org