arXiv Artificial Intelligence· Ruoxi Shang, Christina-Maria Androna, Orfeas Menis Mastromichalakis, Yu Feng, Aniruddhan Ramesh, Rico Angell, Shang Hong Sim, Chrysoula Zerva, Emmanouil Koukoumidis·· 3 小时前AI 评分48
AURA-Eval：评估 LLM 智能体轨迹中风险感知下行为的框架
AURA-Eval: Evaluation Framework for Acting Under Risk Awareness in LLM Agent Trajectories
AI 导读
AURA-Eval 框架通过截断工具使用轨迹至安全关键决策点，让模型生成下一步思考与动作，以评估智能体是否识别情境风险并调整行为。基于 157 条 R-Judge 种子轨迹构建 1,249 个评测项，覆盖六类风险机制，并评测 20 个前沿、开放权重与安全微调模型。
来源：arXiv Artificial Intelligence · arxiv.org