arXiv Computer Vision· Thanh Nguyen, Hee Suk Yoon, Tung Minh Luu, Eunseop Yoon, Chang D. Yoo·· 20 小时前AI 评分27
基于指标驱动强化学习的 LVLM 图像描述物体幻觉抑制
Metric-Driven Reinforcement Learning for Object Hallucination Reduction in LVLM-Based Image Captioning
AI 导读
研究提出一种完全由 NLP 指标驱动的强化学习框架，用于减少 LVLM 图像描述中的物体幻觉。该框架引入 Object Consistency Score（OCS）衡量物体正确性与覆盖度，结合 KL 正则化提供更密集的 token 级指导，并设计轻量 PPO 变体在冻结的 LVLM 主干上微调 adapter。
来源：arXiv Computer Vision · arxiv.org