跳到正文
arXiv Artificial Intelligence· Zhuomin Chen, Jingchao Ni, Xu Zheng, Yong Chen, Mo Sha, Wei Cheng, Dongsheng Luo·· 2 小时前AI 评分40

Tandem:在移动 NPU 上运行混合线性注意力 GUI 智能体

Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs

AI 导读

Tandem 是面向移动 NPU 的混合线性注意力 GUI 智能体运行时,在连续提示分叉处保存循环状态,让后续请求复用已处理上下文。在 Snapdragon 8 Elite 上,它将文本屏幕描述的单步延迟降低 30%、截图降低 16%,文本单步能耗降低 33%,模型加载时的待机功耗从 0.76 W 降至 0.22 W。

来源:arXiv Artificial Intelligence · arxiv.org