Deepgram 优化 Nova-3 语音模型在 AWS Trainium2 上的推理
热点事件持续更新
Deepgram 优化 Nova-3 语音模型在 AWS Trainium2 上的推理
1 篇报道1 个报道来源11 小时前更新
先了解这件事
AI 综述
2026年10月20日，AWS Machine Learning Blog发布了一篇由Deepgram撰写的文章，详细介绍了其将Nova-3语音转文本模型移植并优化到AWS Trainium2芯片上的过程。该优化旨在提升离线批量推理任务的效率。文章指出，在吞吐量导向的批处理工作负载中，该设置在每美元成本下处理的音频量比原有计算选项高出11%至70%。具体的优化工作包括使用TorchNeuron进行PyTorch移植、利用NKI库进行内核融合与调优，并最终在单个trn2.3xlarge实例上运行八个模型副本。该文章完整介绍了从移植到内核级调优、再到开发数据并行Rust运行时以连接Deepgram自有模型服务器与Trainium，并最终测量吞吐量和成本结果的整个优化过程。
AI 根据报道生成 · 10 小时前更新
最新进展10月20日 00:23
Deepgram 如何利用 AWS Trainium 优化大规模语音 AI报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- AWS Machine Learning BlogDeepgram 如何利用 AWS Trainium 优化大规模语音 AI
Deepgram 将其 Nova-3 语音转文本模型移植到 AWS Trainium2 芯片上，以优化离线批量推理任务。在吞吐量导向的批处理工作负载中，该设置在每美元成本下处理的音频量比原有计算选项高出 11% 至 70%。优化工作包括使用 TorchNeuron 进行 PyTorch 移植、利用 NKI 库进行内核融合与调优，并最终在单个 trn2.3xlarge 实例上运行八个模型副本。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1010月20日 02:00
- 近 24 小时变化
- –
02.557.510
02:0004:0006:0008:0010:00
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。