DeepSeek开源DeepInfer推理框架并公布生产数据

1. 14:54
   Latent Space精选

   DeepSeek 开源推理框架 DeepInfer 的生产性能与经济分析

   DeepSeek 开源了其生产推理框架 DeepInfer，并披露了相关的性能与经济数据。该框架支持分布式推理、推测解码和结构化输出，据称单个集群每日可处理 155T token，在非高峰时段每加速器小时可产生 38 美元收入，推断利润率超过 80%。vLLM 团队随后发布了对比测试，显示在匹配配置下其解码吞吐量与 DeepInfer 公布的结果相差在 6% 以内。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。