arXiv Artificial Intelligence· Roman Belaire, Arunesh Sinha, Pradeep Varakantham·2026-10-15 12:00· 19 小时前AI 评分27

用分层强化学习对对话大模型做红队测试

There are Levels to It: Red Teaming Dialogue With Hierarchical Reinforcement Learning

AI 导读

研究者提出一种新的红队测试范式，将红队测试形式化为分层强化学习框架下的马尔可夫决策过程，以最大化预期累积危害。其生成式智能体借助 token 级危害奖励学习多样化的多轮攻击，可持续发现绕过基线的漏洞，在稀疏奖励和长程规划下取得新的 SOTA。该工作被 NeurIPS 2026 收录。