NVIDIA Developer Blog· Michelle Horton·· 4 小时前AI 评分34
ReplaySSM:重新思考状态存储以实现更快的混合模型推理
ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
AI 导读
NVIDIA 提出 ReplaySSM 方法,通过重用历史状态而非重新计算,将混合模型中 SSM 层的推理速度提升 1.5 倍。该方法适用于采用 Mamba-2、GDN 或 KDA 等 SSM 层的模型,如 NVIDIA Nemotron 3、Qwen3.5 至 Qwen3.8、Kimi-K3 和 GLM-5.3-Flash。
来源:NVIDIA Developer Blog · developer.nvidia.com