arXiv Artificial Intelligence· Jeffrey Olmo, David Zhang, Tyler Tracy·· 3 小时前AI 评分38
模拟控制评估(SCEs):用语言模型模拟工具响应替代环境
Simulated Control Evals
AI 导读
研究者提出模拟控制评估(SCEs),用语言模型模拟工具响应替代真实环境来开展 AI 控制评估。在 LinuxArena 上,SCEs 在 5% 审计预算下对五种监控器预测安全性的均方根误差为 3.6 个百分点,BashArena 为 10.1。SCEs 对攻击策略、攻击者推理和监控器推理分布的还原与真实执行的 KL 散度比 BashArena 低十倍以上,并解释了 78-85% 的环境间方差。
来源:arXiv Artificial Intelligence · arxiv.org