arXiv Artificial Intelligence· Orhun G\"orkem, Athanasios Vasilopoulos, Georgios Pagonis, Victoria Clerico, Hadjer Benmeziane, Irem Boybat, Hsinyu Tsai, Abu Sebastian, William Andrew Simon·· 2 天前AI 评分22
CAMP：面向 3D-IMC 阵列上 LLM 的上下文感知权重映射与放置
CAMP: Context-Aware Mapping and Placement for LLMs on 3D-IMC Arrays
AI 导读
CAMP 是一种面向 3D-IMC 架构 LLM 加速器的推理上下文感知权重映射算法，通过冲突矩阵刻画架构、目标网络与运行时上下文引发的资源争用，并用性能剖析驱动的反馈循环剪枝搜索空间。该离线纯软件方案无需改动硬件，将 3D-IMC 计算利用率从 42.4% 提升至 60.3%，相比 SOTA 映射算法实现最高 2.0 倍的 3D-IMC 吞吐和 1.74 倍的端到端吞吐提升。
来源：arXiv Artificial Intelligence · arxiv.org