arXiv Artificial Intelligence· Xu Zheng, Wei Cheng, Zhuomin Chen, Dongkuan Xu, Mo Sha, Jingchao Ni, Dongsheng Luo·2026-10-20 12:00· 2 小时前AI 评分38

在手机 NPU 上实现一阶 LoRA 训练

First-Order LoRA Training with Phone NPUs

AI 导读

一套系统把 LoRA 训练中三次冻结权重乘积全部放到手机 NPU 上执行，训练图、适配器和优化器仍留在 CPU。其输入梯度 kernel 复用常驻权重分块和前向量化器，避免转置权重拷贝，并按梯度敏感度选精度、对 FP16 输出做逐行范围保护。