FlashAttention统计幻觉检测方法

2026年10月16日，arXiv 上出现一篇由 Andrei Volodichev 等作者发表的论文，提出在 FlashAttention 前向过程中直接累加注意力权重统计量，无需物化注意力矩阵，即可为紧凑冻结代理模型构建幻觉检测器。作者称，这些统计量可通过 FlashAttention 过程中的累加、其后的稀疏查找或对注意力分数的第二次分块遍历来计算，并据此将统计量分为近乎零开销与开销较高两类。在 H100 上，五个已发表检测器的统计量在 2K token 时仅给 Qwen3-8B 前向增加 16% 延迟，35K token 时降至 1.4%，每响应 token 存储 22.5 KiB。目前该事件仅有这一篇报道，尚无后续跟进或相互矛盾的说法。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。