arXiv Computer Vision· Miko{\l}aj Pi\'orczy\'nski, Wojciech Masarczyk, Damian S\'ojka, Sebastian Cygert, Bart{\l}omiej Twardowski·· 4 小时前AI 评分22
基于表征的测试时适应为何无法挽救多模态 LLM 的损坏鲁棒性
On the Limits of Representation-Based Test-Time Adaptation for Multimodal LLMs
AI 导读
研究发现，基于表征的测试时适应（TTA）无法恢复生成式多模态大语言模型（MLLM）在常见损坏下的准确率。即使违规使用目标数据做离线、样本盲的特征对齐，也只能带来边际提升。作者将失败归因于 MLLM 视觉 token 序列的损坏偏移近乎正交且铺满整个嵌入空间，而 CLIP 类模型在单一池化分类嵌入中共享同一域偏移方向。
来源：arXiv Computer Vision · arxiv.org