Brittlebench：量化模型提示敏感性
热点事件持续更新
Brittlebench：量化模型提示敏感性
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月20日，arXiv Artificial Intelligence 刊出 Angelika Romanou 等作者的报道，研究者提出 Brittlebench 评测流程，用于量化前沿模型对提示变体的敏感性（即“脆弱性”），并称该框架可把数据本身造成的难度与提示相关的波动区分开。报道称，研究者对主流基准施加语义保持扰动后发现，模型性能最多下降 12%，单次扰动就会在 63% 的情况下改变模型的相对排名；对开源权重与商用模型的方差分解显示，语义保持的输入扰动最多可解释单个模型性能方差的一半。目前该工作处于论文发布阶段，报道未提及后续复现、同行评审或榜单更新等进展。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 12:00
Brittlebench：用提示词敏感性量化 LLM 鲁棒性报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- arXiv Artificial IntelligenceBrittlebench：用提示词敏感性量化 LLM 鲁棒性
研究者提出 Brittlebench 评测流程，对主流基准施加语义保持扰动，发现模型性能最多下降 12%，且单次扰动就会在 63% 的情况下改变模型相对排名。对开源权重与商用模型的方差分解显示，语义保持的输入扰动最多可解释单个模型性能方差的一半。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。