arXiv Artificial Intelligence· Rahul Maliakkal, Yashasvi Makin, Plawan Rath, Rohit Jain, Ankur Sadhoo·2026-11-09 13:00· 13 小时前AI 评分31

大语言模型在资源受限边缘设备上的部署：从业者综述

Large Language Model Deployment on Resource-Constrained Edge Devices: A Practitioners Survey

AI 导读

这篇综述梳理了让 LLM 能在资源受限边缘设备上部署的最新软硬件优化技术。边缘部署可带来本地数据处理、成本节省、更低延迟和个性化响应等收益，但 LLM 庞大的资源需求仍是主要障碍。

推荐理由模型分析

这是一篇综述，梳理让大模型能在手机、边缘设备上部署的软件优化与专用硬件技术，并归纳本地处理、降延迟、省成本、个性化等部署收益。适合开发者了解端侧部署的可行路径与限制，但原文未给出具体方法对比、性能基线或实测数据，判断落地效果仍需查阅正文与原始实验。