NVIDIA DGX Spark 上提升 MoE 模型推理性能的 3 种方法

NVIDIA 博客介绍了在 NVIDIA DGX Spark 上提升 MoE 模型推理性能的三种方法。文章以 Inclusion AI 的 Ling-3.0-flash 模型在 batch-size-1 评估中的表现为例，指出解码阶段受内存带宽限制，并重点分析了 MoE 计算和输出层投影两个关键操作。