跳到正文
arXiv Computer Vision· No\'e Mosca, Mohamed Rayan Barhdadi, Muhammad Hamza, Joshua Yeh, Suryodaya Bikram Shahi, Zhiyan Li, Selim-Antoine Lali, Weiyue Li, Hasan Kurban, Erchin Serpedin, Gang Luo, Yue Zhang, Minghan Li, Mengyu Wang·· 4 小时前AI 评分31

VISTA:面向盲人与低视力用户目标导向辅助的多模态第一人称基准

VISTA: A Multimodal Egocentric Benchmark for Goal-Oriented Perception and Assistance to Blind and Low-Vision Users

AI 导读

VISTA 是面向盲人与低视力用户目标导向辅助的多模态第一人称基准,包含约 1,000 段用 Project Aria 眼镜采集的第一人称记录,每段提供同步传感器流,其中六种作为模型输入,并有三种标注覆盖十类任务。研究对 14 个代表性视觉语言模型做零样本评测,并设计整合全部六种模态的轻量多模态基线;结果显示现有模型常能描述第一人称场景,但在生成目标导向的辅助指引上仍有限。

来源:arXiv Computer Vision · arxiv.org