跳到正文
IT之家·· 3 小时前精选AI 评分78

MiniMax 开源 M3.1 Flash 模型权重,总参数 428B

MiniMax M3.1 Flash 开源模型权重,总参数 428B

AI 导读

MiniMax 稀宇科技宣布开源 MiniMax M3.1 Flash 的模型权重,总参数 428B、激活参数 23B,能力较上一代 M3 全面提升。该模型通过前三个全注意力层替换为稀疏注意力、路由 MoE 专家迁移到 W4A4 等量化感知训练,以及 Power-aware scheduling 提升推理效率。

推荐理由

原文给出总参数与激活参数、稀疏注意力和量化方案,可据此判断开源大模型的推理效率取舍。

来源:IT之家 · ithome.com