Latent Space·· 4 小时前精选AI 评分76
DeepSeek 开源推理框架 DeepInfer 的生产性能与经济分析
[AINews] DeepSeek DeepInfer: Open Source SOTA Inference running 155T toks/day/cluster making $22m/day at ~80% margin for a 81 day payback
AI 导读
DeepSeek 开源了其生产推理框架 DeepInfer，并披露了相关的性能与经济数据。该框架支持分布式推理、推测解码和结构化输出，据称单个集群每日可处理 155T token，在非高峰时段每加速器小时可产生 38 美元收入，推断利润率超过 80%。vLLM 团队随后发布了对比测试，显示在匹配配置下其解码吞吐量与 DeepInfer 公布的结果相差在 6% 以内。
来源：Latent Space · latent.space