arXiv Artificial Intelligence· Raffi Khatchadourian·· 18 小时前AI 评分31
DFAH:面向工具调用型 LLM 金融智能体的确定性-忠实性回放评估框架
Replayable Financial Agents: A Determinism-Faithfulness Assurance Harness for Tool-Using LLM Agents
AI 导读
研究者提出确定性-忠实性保障框架 DFAH,用于规范金融智能体回放实验的条件设定、执行记录保存与行为比对。基于 2,957 条合成合规分诊与数据操作任务的执行记录,某数据操作配置在 84% 的案例中重复了相同决策,但有序工具名序列仅在 26% 的案例中重复。框架区分最终决策、工具名集合与有序工具名三类比对层级,并将证据支持度作为独立评估目标。
来源:arXiv Artificial Intelligence · arxiv.org