llama-modchip v2.4.0 纯 CPU 推理方案
先了解这件事
2026 年 11 月，llama-modchip 项目发布 v2.4.0 纯 CPU 大模型推理工具，主打无需 GPU 即可在纯 CPU 上运行大模型。据 Hacker News 报道，该版本通过 SwiGLU-H2 二阶压缩与 Fractal-64 量化，把 284B 的 DeepSeek-V4-Flash 从 76.87 GiB 压到 56.56 GiB，在 64 GB 内存的 Ryzen 9 9955HX 上以 256K 上下文纯 CPU 运行，预填充约 44.36 tok/s、解码 9.06–10.74 tok/s。项目方说明，Fractal-64 模型使用自定义 block-64 BF16-scale Gray-coded 张量（GGML_TYPE_Q2_0，类型 ID 40）及自定义 deepseek4 / Stockfish-PVS 内核；在未打补丁的 llama.cpp、Ollama 或 LM Studio 中打开会因未知张量类型 40 而失败，需使用 ./modchip 或随 Hugging Face 仓库与 GitHub Release v2.4.0 提供的单文件预编译二进制 llama-server-modchip-linux-x86_64（零 .so 依赖）。
AI 根据报道生成 · 22 分钟前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker News · AI 与工程llama-modchip 让 284B DeepSeek-V4-Flash 在 64GB 内存纯 CPU 上运行
llama-modchip 项目通过 SwiGLU-H2 二阶压缩与 Fractal-64 量化，把 DeepSeek-V4-Flash 284B 从 76.87 GiB 压到 56.56 GiB，在 64 GB 内存的 Ryzen 9 9955HX 上以 256K 上下文纯 CPU 运行，预填充约 44.36 tok/s、解码 9.06–10.74 tok/s。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。