跳到正文
arXiv Artificial Intelligence· Jingtong Dou, Chuancheng Shi, Wenhua Wu, Wei Bao, Fei Shen, Zhiyong Wang, Tat-Seng Chua·· 18 小时前AI 评分28

SuperAI:跨异构基础模型的能力融合框架

SuperAI: Merging Capabilities Across Heterogeneous Foundation Models

AI 导读

SuperAI 是一个跨架构多模型融合框架,通过正交对齐低维任务相关表征,将多个源模型的互补能力注入宿主模型。它先用共享锚样本和 PCA 构建同维功能子空间,再以正交 Procrustes 映射对齐坐标,最后训练轻量残差 MLP 注入宿主模型。在 3 个宿主模型、15 个能力域上,其平均域得分高于所评估的跨架构融合方法,且随源模型数量增加更能保留通用能力。

来源:arXiv Artificial Intelligence · arxiv.org