arXiv Computer Vision· Zichun Guo, Yuling Shi, Wenhao Zeng, Chao Hu, Haotian Lin, Terry Yue Zhuo, Jiawei Chen, Xiaodong Gu, Wenping Ma·· 4 小时前AI 评分31
ShredBench:评估多模态 LLM 在文档重建中的语义推理能力
ShredBench: Evaluating the Semantic Reasoning Capabilities of Multimodal LLMs in Document Reconstruction
AI 导读
ShredBench 是面向碎片化文档重建的 VRDU 基准,可从 Markdown 直接渲染碎片文档,并支持接入最新或未见文本源以避免训练数据污染。它覆盖英文、中文、代码、表格四种场景与 8、12、16 片三种碎片粒度,评测显示碎片化加剧时 NED 明显下降,现有 MLLM 在完整文档上有效但缺乏跨模态细粒度推理能力。
来源:arXiv Computer Vision · arxiv.org