arXiv Artificial Intelligence· Ritiz Tambi, Sahar Shayegan, Joshua Meyer, Sun Kim, Ali Khan, Victor Shih, Mehdi Jamei, Andi Partovi·· 17 小时前AI 评分38
TreasuryQA Bench：AI 智能体能否处理扫描财务档案？
TreasuryQA Bench: Can AI Agents Work an Archive of Scanned Financial Records?
AI 导读
TreasuryQA Bench 用 70 道题测试 AI 智能体在 1,435 份扫描版美国财政部出版物中检索并读取文件、给出精确数字的能力。表现最好的 Claude Opus 5.5 在 Claude Code 中解决 64.8% 的尝试，最差的 GPT-5.6 Terra 在 Codex 中仅 16.7%。所有智能体在扫描最模糊的文件上成功率都下降，失败多为读错数字而非拒答。
来源：arXiv Artificial Intelligence · arxiv.org