跳到正文
IT之家·· 2 天前AI 评分71

淘宝 MNN 团队开源 MNN-Pocket-0.3B 手机端模型,iPhone 18 Pro 离线解码约 350token/s

淘宝 MNN 团队开源 0.3B 手机模型,苹果 iPhone 18 Pro 离线跑出 350 token/s

AI 导读

淘宝 MNN 团队发布并开源 MNN-Pocket-0.3B,一个约 3 亿参数、重点支持中英文的手机应用原生语言模型,INT4 部署文件 173MB。在 iPhone 18 Pro 上通过 MNN 推理引擎完全离线运行,平均解码速度约 350token/s;iPad Pro M5 上峰值内存增量 228MB,比 Qwen3-0.6B 的 427MB 低约 47%。

来源:IT之家 · ithome.com