arXiv Artificial Intelligence· Jonathan F. Jao, Andrew Kyle Lampinen·· 17 小时前AI 评分34
Value Probes:用学习到的价值函数做 beam-search 红队审计
Value Probes: Learned Value Functions for Beam-Search Red Teaming
AI 导读
研究者提出 Value Probes,从目标模型激活中线性探测预测折扣未来奖励,作为 beam-search 红队审计的启发式。在 18 种目标行为和 3 种模型规模上,该方法将峰值审计分数较 token 匹配的标准审计方法提升约 50%。Value Probes 还可用更小模型的 off-policy 数据拟合,并提供比昂贵语言模型跟进更高效的替代方案。
来源:arXiv Artificial Intelligence · arxiv.org