Hacker News · AI 与工程·· 3 小时前AI 评分58
llama-modchip 让 284B DeepSeek-V4-Flash 在 64GB 内存纯 CPU 上运行
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU
AI 导读
llama-modchip 项目通过 SwiGLU-H2 二阶压缩与 Fractal-64 量化,把 DeepSeek-V4-Flash 284B 从 76.87 GiB 压到 56.56 GiB,在 64 GB 内存的 Ryzen 9 9955HX 上以 256K 上下文纯 CPU 运行,预填充约 44.36 tok/s、解码 9.06–10.74 tok/s。
来源:Hacker News · AI 与工程 · github.com