.:. 草榴社區 » 技術討論區 » 苹果用阿里千问在宇树 G1 上跑 HALO,91% 成功率是怎么测出来的
--> 本頁主題: 苹果用阿里千问在宇树 G1 上跑 HALO,91% 成功率是怎么测出来的 字體大小 寬屏顯示 只看樓主 最新點評 熱門評論 時間順序
开局就是输


級別:新手上路 ( 8 )
發帖:300
威望:42 點
金錢:808 USD
貢獻:302 點
註冊:2021-10-21


苹果用阿里千问在宇树 G1 上跑 HALO,91% 成功率是怎么测出来的



最近看到苹果发了一篇机器人控制系统的论文,叫 HALO,挂在 arXiv 上。有意思的是他们拿阿里千问当基座模型,自己只做规划层,真机验证平台是宇树的 G1。更抓眼球的是那个 91% 的平均成功率,而且是零样本迁移——训练全在仿真里,真机上一次没调过。我这两天翻了好几遍论文里的实验设计部分,觉得这个评测方法值得掰开聊一下,因为仿真到真机的坑太常见了,能按这个路数交出 91% 的数据,说明他们测试框架做得很实。

先说评测的具体设计。论文里写了,测试覆盖 6 类单项技能:抓取、放置、推、拉、打开容器、按按钮。每类技能在不同的环境里反复测,总共 360 次试跑。关键点是环境——他们选了 6 个全新场景,训练阶段完全没见过,连扫描数据都没有。这意味着机器人进到房间后的第一帧视觉输入就是陌生的,模型必须靠千问的视觉理解能力实时解读场景,再用 HALO 的规划层把理解转化成动作序列。

我觉得这个 91% 的含金量主要来自两个细节。第一,测试环境不是那种实验室白墙加固定光源的干净场景。论文里提到的场景包括厨房、书架、办公桌,光线和物体摆放都有变化。第二,360 次测试不是闭着眼睛重复同样动作,而是每次物体位置、朝向、背景都不一样。拿抓取来说,同一个杯子可能放在桌面正中、靠近边缘、或者被其他物体半挡住,模型必须适应这些变化。

不过 91% 不代表机器人真的能搞定一切。细看论文,他们定义的“成功”是任务级通过,比如“把杯子放到指定区域”就算一次成功,不管过程中碰倒了什么或者动作有多笨拙。而且测试只测了单项技能,没有组合——比如先推开门再进去抓东西这种多步操作没在 360 次测试里。所以 91% 是一个很具体很保守的数字,说明 HALO 在单步操作上已经能做到非常可靠的零样本泛化,但离“家里随便跑”还有不少距离。

说到仿真到真机的 gap,我自己折腾过类似的东西,深有体会。通常卡住的地方有两类:一是视觉 domain gap——仿真里渲染出来的图片太干净,真机摄像头拍出来有噪点、有反光、有阴影,模型就认不出来了。二是物理参数 mismatch——仿真里假设摩擦系数 0.3,真机桌面可能只有 0.1,机器人一推就滑过头。HALO 能用千问的视觉能力做实时理解,等于把第一类 gap 跳过去了——不需要传统域适应那一套,直接靠大模型的泛化性读真机画面。第二类 gap 他们是通过在仿真里随机化物理参数来覆盖的,论文提到训练时摩擦、质量、刚度都做了随机采样。

另外值得一提的是,苹果在 HALO 里没有自己训练千问这个级别的基座模型。他们直接调阿里千问的 API 或者本地部署的权重,只做感知理解层的推理,规划控制层才是他们自己 train 的。这个选择很务实,因为训练一个通用视觉语言模型的成本太高了,而且机器人场景不需要千问的全部能力,只需要它能把场景描述成结构化的语义。苹果的做法相当于把千问当成了一个可插拔的“视觉编码器”,自己专注做运动规划。

这个合作路线跟国行 Apple 智能那边的情况是一致的。之前有报道说 iOS 27.3 会整合阿里千问,Siri、写作工具、视觉智能都能调用千问的文本和图像理解能力。HALO 用千问做机器人视觉,等于把同一套模型能力延伸到物理世界,技术栈上可以复用苹果在手机端的部署经验。不过机器人对推理时延和稳定性要求比手机高得多,千问跑在 G1 上是不是云端调用还是本地推理,论文里没细说,我觉得大概率是云端,因为 G1 的板载算力跑千问级别的模型太吃力了。

再拉长远看,这个 91% 的实验放在整个行业里算是什么水平?同期特斯拉 Optimus 在工厂里做电池分拣,Meta 和傅利叶在迭代家庭原型,OpenAI 也在往物理世界延伸。HALO 的价值不在于它比 Optimus 强或者弱——根本没法比,因为测试任务和场景不一样。它的贡献是展示了一种“纯仿真训练+大模型视觉理解”的可行路线,成本低、迭代快,不需要真机大量试错。对于想做机器人但又没条件大规模部署真机的团队来说,这条路线很吸引人。

不过话说回来,91% 的成功率测的是“在未见环境里做未见物体的单步操作”,不代表着机器人的通用能力到了这个水平。如果场景里出现训练时完全没见过的物体类型(比如形状极不规则的),或者需要精细力控的操作(比如拧瓶盖),成功率大概率会掉下来。论文里也提到,HALO 在处理柔性物体和透明物体时表现会变差,因为千问的视觉理解在那类场景下本身就容易出错。

总结一下我的感觉:这个评测方法设计得很严谨,360 次、6 类技能、6 个未见环境,覆盖了常见的泛化维度,91% 的数据经得起推敲。但“零样本迁移成功”不等于“机器人真的学会了”,它只是证明了仿真训练加好的视觉理解模型可以跨越一部分 domain gap。下一步如果能测多步组合任务、增加失败恢复机制、把时延压到实时级别,那才真正接近实用。目前看,还是一个很扎实的起点。

赞(18)
DMCA / ABUSE REPORT | TOP Posted: 11-18 08:34 樓主 引用 | 發表評論
闲过信陵饮


級別:新手上路 ( 8 )
發帖:430
威望:44 點
金錢:2068 USD
貢獻:0 點
註冊:2018-05-02


这篇把“泛化”这个词拆得很实在,泛化不等于万能,关键看泛到哪一步、跨了多大的分布。仿真到现实那道坎,数据多样性和闭环反馈这两点说到点子上了,光靠模型规模堆不上去。机器人这条路,最后拼的还是真实环境里摔打出来的数据。
TOP Posted: 11-18 09:02 #1樓 引用 | 點評
goodboys


級別:騎士 ( 10 )
發帖:3461
威望:347 點
金錢:8182 USD
貢獻:0 點
註冊:2025-07-08

多谢您的分享
TOP Posted: 11-18 09:04 #2樓 引用 | 點評
镶金边


級別:精靈王 ( 12 )
發帖:23481
威望:2325 點
金錢:66220 USD
貢獻:700 點
註冊:2022-05-07

“零样本迁移成功”不等于“机器人真的学会了”
TOP Posted: 11-18 09:05 #3樓 引用 | 點評
无着心


級別:俠客 ( 9 )
發帖:1558
威望:171 點
金錢:9351 USD
貢獻:0 點
註冊:2025-12-30

感谢分享
TOP Posted: 11-18 10:13 #4樓 引用 | 點評
qqq0623


級別:風雲使者 ( 13 )
發帖:63452
威望:6198 點
金錢:2017669 USD
貢獻:1137 點
註冊:2011-06-06

感谢分享
TOP Posted: 11-18 11:34 #5樓 引用 | 點評
大道张三


級別:新手上路 ( 8 )
發帖:408
威望:41 點
金錢:660 USD
貢獻:0 點
註冊:2026-10-02

很有意思
TOP Posted: 11-18 11:38 #6樓 引用 | 點評
苏筱熙


級別:天使 ( 14 )
發帖:174918
威望:73041 點
金錢:28780 USD
貢獻:69 點
註冊:2012-09-01

感谢分享
------------------------
TOP Posted: 11-18 11:42 #7樓 引用 | 點評
逗比


級別:天使 ( 14 )
發帖:2083
威望:210 點
金錢:1637 USD
貢獻:2499999 點
註冊:2013-11-27

感谢分享
TOP Posted: 11-18 11:43 #8樓 引用 | 點評
史泰龙Stallone


級別:聖騎士 ( 11 )
發帖:2661
威望:609 點
金錢:20706 USD
貢獻:333 點
註冊:2025-07-14

感谢分享
TOP Posted: 11-18 12:54 #9樓 引用 | 點評
烟月


級別:精靈王 ( 12 )
發帖:9699
威望:1005 點
金錢:12929 USD
貢獻:0 點
註冊:2026-02-27

感谢分享
TOP Posted: 11-18 14:51 #10樓 引用 | 點評
村里的伙计


級別:精靈王 ( 12 )
發帖:9590
威望:1000 點
金錢:21974 USD
貢獻:100 點
註冊:2026-01-02


谢谢发帖
TOP Posted: 11-18 15:34 #11樓 引用 | 點評
棒棒达人


級別:精靈王 ( 12 )
發帖:16309
威望:1632 點
金錢:39180 USD
貢獻:50 點
註冊:2018-09-10

感谢分享!
TOP Posted: 11-18 16:30 #12樓 引用 | 點評
快乐的图灵


級別:精靈王 ( 12 )
發帖:35461
威望:3527 點
金錢:16499 USD
貢獻:0 點
註冊:2022-02-12

感谢分享
TOP Posted: 11-18 17:26 #13樓 引用 | 點評
这是个问题啊


級別:光明使者 ( 14 )
發帖:81867
威望:8262 點
金錢:454 USD
貢獻:137884 點
註冊:2021-01-01

发帖辛苦
TOP Posted: 11-18 21:00 #14樓 引用 | 點評
沉睡的木玛


級別:光明使者 ( 14 )
發帖:81867
威望:8352 點
金錢:452 USD
貢獻:132884 點
註冊:2018-11-16

支持发帖
TOP Posted: 11-18 21:00 #15樓 引用 | 點評
鸭打鹅


級別:風雲使者 ( 13 )
發帖:72786
威望:7272 點
金錢:76 USD
貢獻:34781 點
註冊:2022-02-02

感谢分享
TOP Posted: 11-18 21:01 #16樓 引用 | 點評
沉睡的木玛


級別:光明使者 ( 14 )
發帖:81867
威望:8352 點
金錢:452 USD
貢獻:132884 點
註冊:2018-11-16


网卡了
TOP Posted: 11-18 21:07 #17樓 引用 | 點評

.:. 草榴社區 -> 技術討論區

快速回帖 頂端
內容:
HTML 代碼不可用

使用簽名
Wind Code自動轉換

按 Ctrl+Enter 直接提交