训练分布设计弥合组合泛化差距研究

2026年10月30日，arXiv 人工智能板块刊出 Davide Venuto 与 Leonardo Venuto 的研究，探讨 GPT-2 类 Transformer 的组合泛化差距能否通过训练分布设计弥合。研究采用从头训练的两跳推理受控实验，将 ID 与 OOD 原子事实按与组合电路第二跳检索位置对齐的格式呈现；在未改动架构、未加入 OOD 组合监督的条件下，模型把已学的 ID 组合行为迁移到留出的 OOD 原子事实。作者据此称，在该受控设定中观察到的组合性差距被弥合，并认为该差距并非架构固有限制。目前进展限于这一受控实验，报道未提及其他模型规模或任务上的验证。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。