arXiv Artificial Intelligence· Sheldon Liang, Ali Taghibakhshi, Saurav Muralidharan, Sharath Turuvekere Sreenivas, Ashwath Aithal, Pavlo Molchanov, Nima Tajbakhsh·· 2 天前AI 评分38
AutoCompress：面向硬件约束的自动化模型压缩框架
AutoCompress: Automated Hardware-Guided Model Compression
AI 导读
AutoCompress 将延迟、吞吐和显存等硬件约束直接纳入可微分架构搜索，联合优化全局与逐层结构以生成异构架构。在 RTX 5070、RTX 5080 和 H100 上，其八项基准平均准确率分别比 Minitron 高 6.57、2.35 和 0.57 个百分点。
来源：arXiv Artificial Intelligence · arxiv.org