arXiv Artificial Intelligence· Anthony Givans, Michael Crawshaw, Mingrui Liu·2026-10-23 12:00· 3 小时前AI 评分32

FlashBoB：面向 softmax attention 的 I/O 高效精确 backward-over-backward 算法

FlashBoB: I/O-Efficient Exact Backward-over-Backward for Softmax Attention

AI 导读

FlashBoB 是一种精确且 I/O 高效的 softmax attention backward-over-backward（BoB）算法，避免生成所有 N×N 中间张量，将 HBM 流量控制在 Θ(N²d²/M)。