arXiv Artificial Intelligence· Pengfei Zhou, Jiajun Song, Zhiwei Tang, Yixing Ma, Donghui Si, Yuhang Xu, Huiqi Song, Yiyuan Miao, Yichen Qian, Weihua Chen, Wangbo Zhao, Bohan Zhuang, Jiasheng Tang, Yang You·· 2 天前AI 评分39
UniHall：面向多模态大语言模型的统一幻觉模糊测试框架
Unified Hallucination Fuzzing for Multimodal Large Language Models
AI 导读
研究者提出统一幻觉评测框架，包含覆盖对象、指令、知识三维度的细粒度数据集 UniHall，以及用进化变异策略探索模型幻觉边界的自适应多模态模糊测试方法 SAMF。实验显示，最先进的多模态大语言模型在模糊测试下性能显著下降，暴露出推理能力与事实依据之间的脱节。研究还发现有用性与幻觉之间的权衡：强化学习对齐反而在指令跟随任务中加剧了迎合倾向。
来源：arXiv Artificial Intelligence · arxiv.org