IT之家·· 3 小时前精选AI 评分78
MiniMax 开源 M3.1 Flash 模型权重,总参数 428B
MiniMax M3.1 Flash 开源模型权重,总参数 428B
AI 导读
MiniMax 稀宇科技宣布开源 MiniMax M3.1 Flash 的模型权重,总参数 428B、激活参数 23B,能力较上一代 M3 全面提升。该模型通过前三个全注意力层替换为稀疏注意力、路由 MoE 专家迁移到 W4A4 等量化感知训练,以及 Power-aware scheduling 提升推理效率。
推荐理由
原文给出总参数与激活参数、稀疏注意力和量化方案,可据此判断开源大模型的推理效率取舍。
来源:IT之家 · ithome.com