arXiv Artificial Intelligence· Wei-Yao Wang, Kazuya Tateishi, Shuyang Cui, Christian Simon, Takashi Shibuya, Shusuke Takahashi, Yuki Mitsufuji·· 3 小时前AI 评分34
OmniUE:跨文本、视频与音频的全交互通用嵌入模型
Omni-Interactive Universal Embedder
AI 导读
OmniUE 是首个全交互通用嵌入模型(Omni-Interactive Universal Embedder),通过专用可学习 token 的中间层表示,在文本、视频和音频之间学习统一嵌入空间,并支持以文本、视觉感兴趣区域和音频片段作为查询输入。
来源:arXiv Artificial Intelligence · arxiv.org