跳到正文
arXiv Artificial Intelligence· Srinidhi N, Sunanda Somwase, Hemant Kumar Chandrakant Chandavar, Eashan Dash, Varun Agrawal, Prakash Raghavendra·· 19 小时前AI 评分38

Waypoint:为 CPU 上的 GEMM 建立解析模型

Waypoint: Analytically Modeling GEMM for CPUs

AI 导读

Waypoint 是一个解析模型,可为给定硬件和输入矩阵形状自动搜索最优 tile 尺寸,估算时涵盖存储层次交互、指令级并行与多线程等架构效应。基于该模型构建的 CPU GEMM 库 OPAM 性能与当前最优 GEMM 库相当,并将 CPU 上的 LLM 推理加速 1.36–1.98 倍。

来源:arXiv Artificial Intelligence · arxiv.org