arXiv Artificial Intelligence· Yanjie Gao, Jiayi Bi, Haoxiang Lin, Ling Feng·· 13 小时前AI 评分34
面向 LLM 系统的 GPU kernel 库问题实证研究：300 份 issue 分析
An Empirical Study of Issues in GPU Kernel Libraries for LLM Systems
AI 导读
一项实证研究手工分析了 FlashInfer、FlashAttention、Triton、CUTLASS、DeepGEMM、xFormers 和 bitsandbytes 七个库的 300 份高质量 GitHub issue 及其讨论与修复，刻画了症状、根因、修复和测试调试实践。
推荐理由模型分析
对 FlashInfer、Triton、CUTLASS 等七个 GPU 内核库的 300 条 GitHub issue 做了人工归类，给出症状、根因、修复与测试实践的结构化画像。最值得关注的是 60.33% 的问题来自编译构建与运行环境而非内核代码本身，以及内核特化对张量形状、内存别名和硬件资源的隐式正确性约束。做 LLM 训练推理部署的工程师可据此把验证范围扩展到执行栈，并参考其低精度数值与硬件相关失败的测试盲区。
来源：arXiv Artificial Intelligence · arxiv.org