在 Amazon SageMaker AI 上使用 llama.cpp 部署决策模型

用户可在 Amazon SageMaker AI 上使用 llama.cpp 的 AWS 深度学习容器，部署量化模型以提供 OpenAI 兼容的聊天补全服务。通过构建子镜像并集成 SemIf 适配器，模型能直接返回预定义选项的概率，适用于路由请求、选择智能体动作等决策场景。基准测试显示，在相同 Qwen3.5-4B Q4_K_M 模型下，GPU 端点的 p50 延迟比 CPU 快 4.9 倍。