arXiv Artificial Intelligence· Andrei Volodichev, Maksim Savichev, Nikita Sviridov, Artem Yuliy, Dmitry Simakov, Alexey Zaytsev·· 2 小时前AI 评分31
基于 FlashAttention 统计量的低开销注意力特征：面向紧凑幻觉检测器
FlashAttention with Statistics: Low-Overhead Attention Features for Compact Hallucination Detectors
AI 导读
研究者提出在 FlashAttention 前向过程中直接累加注意力权重统计量，无需物化注意力矩阵，即可为紧凑冻结代理模型构建幻觉检测器。在 H100 上，五个已发表检测器的统计量在 2K token 时仅增加 Qwen3-8B 前向 16% 延迟，35K token 时降至 1.4%，每响应 token 存储 22.5 KiB。
来源：arXiv Artificial Intelligence · arxiv.org