跳到正文
NVIDIA Developer Blog· Tanya Lenz·· 4 小时前AI 评分30

NVIDIA TensorRT 全局性能调优器如何超越单一构建路径提升性能(第一部分)

Scaling NVIDIA TensorRT Performance Optimization Beyond a Single Build Route with the Global Performance Tuner, Part 1

AI 导读

NVIDIA TensorRT 全局性能调优器通过探索多种调度路径来优化模型部署性能。它超越了单一构建路径,在图形-IR转换、算子融合、实现选择、内存布局和量化等方面进行综合决策。该工具旨在为训练后神经网络的编译部署问题提供更优的解决方案。

来源:NVIDIA Developer Blog · developer.nvidia.com