AWS Machine Learning Blog· Ananth Raghavendra·· 4 小时前AI 评分44
使用 Ray LLM 深度学习容器运行多节点推理工作负载
Run multi-node inference workloads using Ray LLM Deep Learning Containers
AI 导读
AWS 推出 Ray LLM 深度学习容器，支持在 Amazon EKS 上跨两个 GPU 节点部署单个大语言模型，并通过单个 OpenAI 兼容端点提供服务。该容器预集成了 vLLM 推理引擎、Ray Serve HTTP 服务层、NIXL 用于节点间 KV 缓存传输以及 EFA 堆栈，无需编写应用代码。此架构将预填充和解码阶段分离到不同节点，适用于 RAG、文档摘要和智能体应用等场景。
来源：AWS Machine Learning Blog · aws.amazon.com