Deepgram 如何利用 AWS Trainium 优化大规模语音 AI

Deepgram 将其 Nova-3 语音转文本模型移植到 AWS Trainium2 芯片上，以优化离线批量推理任务。在吞吐量导向的批处理工作负载中，该设置在每美元成本下处理的音频量比原有计算选项高出 11% 至 70%。优化工作包括使用 TorchNeuron 进行 PyTorch 移植、利用 NKI 库进行内核融合与调优，并最终在单个 trn2.3xlarge 实例上运行八个模型副本。