arXiv Artificial Intelligence· Sinuo Wang, Wentao Zhao, Jiacheng Lu, Rui Sun, Beidi Luan, Qiming Shi, Jing Li, Daxin Jiang, Zuo Bai·· 19 小时前AI 评分38
LiveSearch:把问题写成可执行验证代码的金融搜索智能体实时基准
LiveSearch: Questions as Executable Verifier Code for a Live Benchmark of Professional-Source Financial Search Agents
AI 导读
LiveSearch 是一个把每道题存为可执行验证代码的金融搜索实时基准,题目冻结、标准答案在评测时通过调用专业金融数据服务现场执行得出,并由每日任务自动重跑。在通用网页搜索下,六个当代工具调用模型取得 70.9% 至 76.7% 的答案准确率;连续三天内 70% 的在服问题标准答案发生变化,即使采用容差匹配,直接复用早前快照在一天内也会在多数问题上失败。
来源:arXiv Artificial Intelligence · arxiv.org