arXiv Artificial Intelligence· Paul Raj, Simon Caldwell, Daniel Whitmore, Mutlu Mete·· 19 小时前AI 评分31
DuplexTune：用耦合状态重放实现 MoE 模型内存高效适配
DuplexTune: Coupled-State Replay for Memory-Efficient Mixture-of-Experts Adaptation
AI 导读
DuplexTune 通过可训练宽度桥接两条残差流并重放耦合隐藏状态，在 Qwen1.5-MoE-A2.7B 上单卡 H800 峰值内存 38.8 GB，低于带 checkpointing 的监督微调 64.8 GB，吞吐 25.1 对 19.9 samples/s。
来源：arXiv Artificial Intelligence · arxiv.org