vLLM 推出基于推送的 KV 传输以优化解耦推理的 TTFT 和 TPOT

vLLM 开源推理引擎引入了基于推送的 KV 传输模式，以优化解耦推理中的首令牌时间（TTFT）和每输出令牌时间（TPOT）。在采用 EFA 互联的 Amazon EC2 P5en 实例集群上，该模式为 Qwen3-32B 模型带来了高达 3 倍的 TTFT 提升和高达 30% 的 TPOT 改善。该功能已作为加速器无关特性贡献给 vLLM 项目。