arXiv Artificial Intelligence· Peter Schneider-Kamp, Jacob Nielsen, Gianluca Barmina, Danial Namazifard, Annemette Brok Pirchert, Kenneth Enevoldsen, Lukas Galke Poech·· 3 小时前AI 评分42
Mimir：1.78B 分层推理模型仅用合规数据训练，性能超越更大模型
Mimir: A Sub-2B Hierarchical Reasoning Model Trained on Permissible Data Punches Above Its Weight Class
AI 导读
Mimir 是基于 HRM-Text 架构的 1.78B 参数语言模型，从随机初始化直接训练于 161 个数据集，v1 每 epoch 70.5B tokens，续训版 v1.5 扩至 103B tokens。
来源：arXiv Artificial Intelligence · arxiv.org