跳到正文
arXiv Artificial Intelligence· Jiaqi Zheng, Yi Hu, Yadong Mu, Muhan Zhang·· 18 小时前AI 评分27

基于超网络的持续学习中的知识交互:冲突与组合

Knowledge Interaction in Hypernetwork-based Continual Learning: Conflict and Composition

AI 导读

研究在基于超网络的持续学习框架中,冻结基座模型由共享网络根据上下文生成适配器,考察基座模型、参数更新与输入上下文三种知识来源的交互。知识冲突时模型优先跟随上下文,其选择更取决于知识呈现位置而非内容;上下文与适配器知识沿与干净隐状态正交的方向扰动基座表示,可据此导出控制模型跟随来源的引导向量。多跳推理中模型无法可靠组合三种来源的知识,关键失效来自超网络与基座模型及上下文的交互。

来源:arXiv Artificial Intelligence · arxiv.org