vLLM 通过双向 KV 转移提升多轮智能体工作负载的 TTFT

vLLM 引入双向 KV 缓存转移机制，使预填充和解码节点能跨对话轮次复用已计算的上下文，减少冗余计算。在 1P1D 部署的基准测试中，该机制将 Qwen3-32B 的首次令牌时间（TTFT）最高提升 1.6 倍，将 zai-org/GLM-5-FP8 的 TTFT 最高提升 3.3 倍。