arXiv Artificial Intelligence· Yin Liu·· 13 小时前AI 评分40
看见还是数清：复杂度孪生揭示多模态 LLM 在图表上的失败点
Seeing vs. Counting: Complexity Twins Show Where Multimodal LLMs Fail on Diagrams
AI 导读
研究用同一张图上不同计数复杂度的问题（生成树对应行列式、简单路径为 #P-complete）配对，区分多模态 LLM 是看错还是算错。测试 Gemini、Gemma 和 Qwen3-VL 发现，Gemini 在思维链下多数能正确读取小图却数错，答案精确率随答案数值每增大一个数量级下降 2.38 倍，受答案规模影响远大于复杂度类别。
推荐理由模型分析
该研究用同一图形的不同计数复杂度问题配对，并通过转录探针和纯文本对照，把多模态大模型“看图”与“计算”的失败分开。结果显示Gemini在思维链下主要受答案规模而非复杂度影响，给出代码和精确转录后可在10×10网格上正确计数，且旋转副本二次读取把大网格准确率从57/96提到86/96。开发者可据此判断读图环节才是瓶颈，并尝试多视角读取与代码工具组合。
来源：arXiv Artificial Intelligence · arxiv.org