arXiv Computer Vision· Shiyun Xiong, Dongming Wu, Peiwen Sun, Bokang Yang, Jiaxu Wang, Xiaolou Sun, Mingxing Wen, Xiangyu Yue·· 2 小时前AI 评分38
Unisense:统一多模态大模型框架实现具身多感官理解
Beyond Omni: A Unified MLLM for Embodied Sensory Understanding
AI 导读
Unisense 是一个统一具身 MLLM 框架,在共享多模态架构中支持多种物理感官模态,采用两阶段训练:先将感官表征与语言对齐,再在共享 LLM 内微调各模态专家。团队构建了覆盖 8 种感官模态、100 万样本的 Unisense-1M 语料,并在深度、点云、IMU、触觉、热成像、雷达、运动与嗅觉等 12 个基准上评测,多数基准表现优于通用与专用模型。
来源:arXiv Computer Vision · arxiv.org