跳到正文
arXiv Artificial Intelligence· Daniel C. Ruiz, Anna Serbina, Ashwin Rao, Emilio Ferrara, Luca Luceri·· 3 小时前AI 评分47

用大语言模型红队测试在线影响力:30 多个模型的 Overton 窗口实证评估

How Far Will They Go? Red-Teaming Online Influence with Large Language Models

AI 导读

研究者提出一个实证红队框架,用于测量开源 LLM 的 Overton 窗口(OW),即模型对抽样政治观点表达保真度的评分,并量化简单自然语言越狱对这些分数的影响。该研究评估了来自 10 个模型家族、5 个国家的 30 多个 LLM,发现模型通常以更高保真度表达左倾内容,平均 OW 分数随模型规模增大而下降,越狱效果在不同模型家族间差异显著。

来源:arXiv Artificial Intelligence · arxiv.org