DuplexTune提出MoE内存高效适配方法

2026年10月28日，Paul Raj等作者在arXiv发布论文，提出名为DuplexTune的耦合状态重放框架，用于混合专家（MoE）模型的内存高效适配。该方法通过可训练宽度桥接两条残差流并重放耦合隐藏状态，流程上先进行桥接预热，再进行骨干适配，且路由权重保持冻结。在Qwen1.5-MoE-A2.7B上的单卡H800评测中，DuplexTune峰值内存为38.8 GB，低于带checkpointing的监督微调的64.8 GB；吞吐为25.1 samples/s，高于后者的19.9 samples/s。报道同时指出，该方法的多语言得分弱于带checkpointing的基线。目前事件进展限于该论文发布及上述单卡评测结果。

AI 根据报道生成 · 3 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。