Amazon SageMaker AI 上的 Mixture-of-Experts 内核工程优化

AWS 针对 MoE 架构在 Amazon SageMaker AI 上实施了内核工程优化，以提升推理性能。通过 Swap-AB 技术优化 WGMMA 指令利用，在 H200 上为大型 MoE 模型带来了 2-4% 的端到端输出吞吐量提升，该优化已上游至 vLLM 0.24.0 或更高版本。