用单纯形约束表示缩小多模态模型模态差距

研究提出将 CLIP、CLAP 等多模态对比模型的嵌入域从单位球面 S^{d-1} 改为概率单纯形 Δ^{d-1}，借助非负、单位质量约束作为跨模态校准。方法通过轻量 softmax 适配器与 Total Variation 相似度，在五个多模态检索基准上将质心 ℓ2 差距缩小 97–99%，检索性能匹配或超过标准无约束模型。