跳到正文
arXiv Artificial Intelligence· Ananto Nayan Bala, Faisal Muhammad Shah·· 2 天前AI 评分31

面向语言模型智能体系统的集合值路由:WildChat 基准与成本感知评估

Set-Valued Routing for Language-Model Agent Systems: A WildChat Benchmark and Cost-Aware Evaluation

AI 导读

研究将固定目录下的智能体路由建模为集合值语言理解任务,构建了覆盖 12 个能力定义智能体的 3,000 条 WildChat 提示词基准。微调文本编码器取得 89.59 F1,高于线性 SVM 的 71.79 和零样本 GPT-4o 的 41.51,在更难的语义分组划分下仍保持 88.02 F1。

来源:arXiv Artificial Intelligence · arxiv.org