arXiv Artificial Intelligence· Songruo Chen, Yuqian Fu, Yu Li, Mingkang Dong, Sifan Zhou, Bin Ren, Xu Zheng, Tianwen Qian, Mohamed Elhoseiny, Yanwei Fu·· 18 小时前AI 评分28
EgoOmniWorld：以自我-动作-世界交互统一第一视角理解
EgoOmniWorld: Unifying Egocentric Understanding via Ego-Action-World Interactions
AI 导读
研究者提出 EgoOmniWorld 基准，以“自我-动作-世界”交互循环为统一原则，围绕 Node、Edge、Chain、Loop 四种交互结构组织第一视角视频理解任务。该基准包含 24,166 个 QA 组，其中训练样本 20,284 个、测试样本 3,882 个。实验显示开源与闭源多模态大模型在各交互结构上表现差异明显，基于该基准训练的模型可提升域内理解并泛化到现有第一视角基准。
来源：arXiv Artificial Intelligence · arxiv.org