跳到正文
arXiv Artificial Intelligence· Haowen Bai, Rui Gong$, Meichen Liu, Ming-Xuan Weng, Bihan Wen, Kim-Hui Yap·· 2 小时前AI 评分26

MM-LeJEPA:面向多模态联合嵌入预测架构的相关高斯正则化

MM-LeJEPA: Correlated Gaussian Regularization for Multimodal Joint-Embedding Predictive Architectures

AI 导读

MM-LeJEPA 将 LeJEPA 的任务假设扩展到多模态学习,推导出在固定总方差约束下最小化加权 Fisher 信息泛函的相关高斯目标。该方法通过解析变换把 SIGReg 适配到该目标,形成分布正则化与局部到全局预测的两项损失,仅新增目标跨模态相关性一个标量超参数。在公开音视频分类基准上,其结果与代表性开源方法相当,代码将发布。

来源:arXiv Artificial Intelligence · arxiv.org