arXiv Artificial Intelligence· Zhengyang Luo, Xiaoyu Qiu, Zhiheng Tan, Yuchen Liang, Yingbin Liang, Liyue Shen·· 18 小时前AI 评分24
统一 VLM 内部机制研究：从注意力探测到 HeadTuned-CFG 引导微调
Understanding Unified VLMs: From Attention Probing to Guidance Tuning for Multimodal Generation
AI 导读
研究通过探测注意力头发现，统一 VLM 在 T2I 与 I2T 生成中均存在对条件变化敏感与不敏感的两类注意力头，该功能分化模式跨样本稳定。基于此提出免训练推理干预方法 HeadTuned-CFG，在注意力头级别选择并调节条件引导，在自回归与掩码扩散两类统一 VLM 的双向多模态生成上均取得一致收益，T2I 生成提升尤为显著。
来源：arXiv Artificial Intelligence · arxiv.org