跳到正文
NVIDIA Developer Blog· Michelle Horton·· 4 小时前AI 评分34

ReplaySSM:重新思考状态存储以实现更快的混合模型推理

ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding

AI 导读

NVIDIA 提出 ReplaySSM 方法,通过重用历史状态而非重新计算,将混合模型中 SSM 层的推理速度提升 1.5 倍。该方法适用于采用 Mamba-2、GDN 或 KDA 等 SSM 层的模型,如 NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash。

来源:NVIDIA Developer Blog · developer.nvidia.com