arXiv Artificial Intelligence· Davide Venuto, Leonardo Venuto·· 17 小时前AI 评分31
Transformer 隐式推理：GPT-2 类模型的组合泛化差距如何弥合
Implicit Reasoning in Transformers: Bridging the Compositionality Gap in GPT-2-like Models
AI 导读
一项受控实验显示，GPT-2 类 Transformer 的组合泛化差距并非架构固有限制，可通过训练分布设计弥合。研究在从头训练的两跳推理设定中，将 ID 与 OOD 原子事实按与组合电路第二跳检索位置对齐的格式呈现，未改架构、未加 OOD 组合监督，模型即把已学的 ID 组合行为迁移到留出的 OOD 原子事实。
来源：arXiv Artificial Intelligence · arxiv.org