Latent Space· Latent Space·· 2 天前精选AI 评分82
DeepSeek 开源生产推理栈 DeepInfer，单集群日处理 155T tokens
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 在 PyTorch Conf 首日开源生产推理栈 DeepInfer，称其支撑 V4.1 Flash，单集群日处理 155T tokens、96% 输入缓存命中、首 token 平均 400ms、生成 230 tokens/s，非高峰时段每加速器小时收入 38 美元。
推荐理由
原文拆解了 DeepInfer 的分阶段架构、缓存层级与成本口径，并给出 vLLM 的对照复现结果，可据此判断开源推理栈的真实边界。
来源：Latent Space · latent.space