研究提出模型-执行框架交互评测框架

2026年10月26日，arXiv Artificial Intelligence 刊出 Shao Zhang 等作者的研究，提出一套评估 LLM 智能体表现的框架，用于衡量模型与执行框架（harness）的交互效果。该框架包含五项指标：有效完成率（VCR）、模型-框架适配度、跨模型适配度、交互残差和 Token 负载。研究在 OpenCode、Codex CLI、Pi CLI、DeepAgents 四个通用框架，以及四个核心模型和两个原生系统上开展实验，覆盖六项基准，共 111 种设置、52,168 条轨迹。结果显示，框架排名会随所用模型和基准的不同而变化，说明智能体表现不能只归因于模型或框架单方。报道未披露各指标的具体计算方式、实验时间范围及排名细节。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。