arXiv Artificial Intelligence· Zhuomin Chen, Jingchao Ni, Xu Zheng, Yong Chen, Mo Sha, Wei Cheng, Dongsheng Luo·· 2 小时前AI 评分40
Tandem:在移动 NPU 上运行混合线性注意力 GUI 智能体
Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs
AI 导读
Tandem 是面向移动 NPU 的混合线性注意力 GUI 智能体运行时,在连续提示分叉处保存循环状态,让后续请求复用已处理上下文。在 Snapdragon 8 Elite 上,它将文本屏幕描述的单步延迟降低 30%、截图降低 16%,文本单步能耗降低 33%,模型加载时的待机功耗从 0.76 W 降至 0.22 W。
来源:arXiv Artificial Intelligence · arxiv.org