苹果披露人形机器人 HALO 系统：调用千问模型在宇树 G1 上验证，单项任务平均成功率 91%

感谢亚汇网网友HH_KK、研究团队还公开了数据生成、模型训练和部署代码，涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。在落地阶段，研究团队采用宇树科技G1人形机器人，背部加装了专用3D打印保护外壳，内置一台Macmini（M4Pro芯片，64GB统一内存），Macmini负责在机载端实时推理计算开销较大的Orchestrator（VLM）与MotionGenerator（DiT）；G1自带的板载芯片则专注高频运行Tracker（RL策略网络）。执行任务时，HALO由三个层级协同控制。最上层是基于视觉语言模型（VLM）的任务编排模块，默认采用千问Qwen3.6-35B-A3B，系统也可选择通过API调用云端模型；中间的动作生成层采用另一款千问模型Qwen3.5-2B；底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器，以每秒50次的频率运行。据论文披露，研究团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试，平均成功率为91%。针对长序列复合任务，在单一真实场景，各进行10次测试，3种组合平均成功率为70%；其中最复杂的“俯身通过障碍—走向目标—推箱子”10次测试成功5次，成功率为50%。据介绍，研究团队使用250张英伟达H100GPU，耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练，使用64张B200；动作跟踪器经强化学习、策略蒸馏等步骤训练，使用4张H100。不过，仿真生成数据并未完全摆脱人工参与。团队表示新增物理任务仍需人工编写提示词、设计动作关键帧，部分动作还使用了人类视频或动捕素材。研究团队同时指出，目前机器人主要依赖视觉感知，难以直接感知接触情况；当物体离开相机视野或被遮挡时，涉及较多接触的任务表现会下降。加入触觉感知将是后续改进方向之一。亚汇网附相关链接：论文：项目主页：GitHub仓库：广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，亚汇网包含外链的文章均包含本声明。