arXiv Artificial Intelligence· Angelika Romanou, Mark Ibrahim, Candace Ross, Chantal Shaib, Kerem Oktar, Samuel J. Bell, Anaelia Ovalle, Jesse Dodge, Antoine Bosselut, Koustuv Sinha, Adina Williams·· 3 小时前AI 评分44
Brittlebench：用提示词敏感性量化 LLM 鲁棒性
Brittlebench: Quantifying LLM robustness via prompt sensitivity
AI 导读
研究者提出 Brittlebench 评测流程，对主流基准施加语义保持扰动，发现模型性能最多下降 12%，且单次扰动就会在 63% 的情况下改变模型相对排名。对开源权重与商用模型的方差分解显示，语义保持的输入扰动最多可解释单个模型性能方差的一半。
来源：arXiv Artificial Intelligence · arxiv.org