微软发布 Physical AI Toolchain 的推理卸载功能
微软在其开源框架 Physical AI Toolchain 中增加了面向机器人的推理卸载功能。研究表明,将物理 AI 推理从机器人板载 GPU 卸载到边缘或云端,能显著提升任务成功率、支持运行更大模型,并大幅延长电池续航时间。该工具集基于 Kubernetes,支持容器化部署和智能策略分发,并已提供针对 SO-101 和 UR10e 机器人的示例项目。
微软在其开源框架 Physical AI Toolchain 中增加了面向机器人的推理卸载功能。研究表明,将物理 AI 推理从机器人板载 GPU 卸载到边缘或云端,能显著提升任务成功率、支持运行更大模型,并大幅延长电池续航时间。该工具集基于 Kubernetes,支持容器化部署和智能策略分发,并已提供针对 SO-101 和 UR10e 机器人的示例项目。
伯克利 AI 研究团队扩展了 K-Search 框架,为其添加了 MLX 后端和一个结构化的 CUDA-to-MLX 翻译层,可将 NVIDIA GPU 上的内核优化知识迁移到 Apple Silicon。
自适应并行推理让推理模型能自行决定何时分解并行化独立子任务、生成多少并发线程以及如何协调它们。现有方法如 Self-Consistency、Tree of Thoughts 和 GroupThink 的并行化决策均由外部框架强加,而非模型自适应选择。该方法旨在解决序列推理因探索路径积累导致的上下文窗口超限、性能下降和延迟增长问题。