arXiv Artificial Intelligence· Subhojyoti Mukherjee, Md Mehrab Tanjim·· 13 小时前AI 评分47
MoMHa:在准确率、安全性与 token 成本间多目标优化 LLM Harness
MoMHa: Multi-Objective Optimization of LLM Harnesses over Accuracy, Safety, and Tokens
AI 导读
Meta-Harness 将 LLM 外围 Python harness 的设计视为对准确率、行为安全与 token 成本三个目标的多目标搜索,由 Claude Code 作为智能体提议器完成。
推荐理由模型分析
把模型外围的 harness(提示构造、调用路由、输出解析)当作可搜索的设计对象,用智能体在准确率、行为安全与 token 成本三目标上联合搜索,而非只优化准确率。在 17 个域、12 个模型上,单阶段联合奖励方案优于两阶段消融和 DSPy 等基线,并在多数目标模型上无需重训即可迁移。适合做 LLM 应用编排与评测的开发者参考其多目标权衡方法和基线设置;结论限于所测基准与模型族。
来源:arXiv Artificial Intelligence · arxiv.org