arXiv Artificial Intelligence· Liang Nathan Zheng, Jiyuan Liu, Wenhao Liang, Wei Emma Zhang, Weitong Chen, Lin Yue·· 2 小时前AI 评分24
TWIN-MoE：面向不完整多模态学习的两阶段专家内插补网络
TWIN-MoE: Two-stage Intra-Expert Imputation Network for Incomplete Multimodal Learning
AI 导读
TWIN 提出两阶段专家内插补框架，用于不完整多模态学习：预插补在编码器嵌入空间生成上下文条件估计，并用观测 FIFO 队列维护的模态统计做径向软裁剪；后插补在 MoE 之后聚合同一样本内专家条件的观测表示。在四种缺失模态基准的自然、随机与非对称丢弃协议下，TWIN 取得 SOTA，且参数量明显少于同类基于 MoE 的插补方法。
来源：arXiv Artificial Intelligence · arxiv.org