国产算力的成熟,把具身竞争维度从「芯片有多强」,拉入了一个比拼训练效率、数据规模、部署成本和场景落地速度的多维战场。
华为云要开源具身世界模型了,一开就是双榜第一!
关键是,这个模型用的还是国产昇腾算力。
11月16日,华为云发布了 昇腾原生具身世界模型CloudRobo-WM1.2 。
在RoboTwin 2.0和LIBERO-Pro 2.0两项具身智能评测中,它的平均成功率都排第一。
华为云计划在11月30日,开放该模型权重、推理代码和后训练代码。
好么,连后训练代码都直接开源放出,华为这一步确实够猛。
别家机器人团队想教这个模型干个新活儿,不用从零搭训练链路,拿到现成代码,接上自家数据就能直接上手调试验证!
而且这次,华为云没有停留在「把模型迁移到昇腾芯片上跑通」这一步,而是 从模型架构、训练框架到核心算子、推理部署,围绕具身模型的特点做软硬件协同优化。
从世界模型预训练、强化学习,到机器人上手干活,华为云把这整条链路接了起来。
这正是「昇腾原生」的核心含义。
国产算力,具身世界模型也能训到双榜第一
首次亮相,华为云具身世界模型CloudRobo-WM1.2就交出了两份亮眼成绩单。
在 RoboTwin 2.0和LIBERO-Pro 2.0 上,分别跑出88.98%和81.73%, 双双拿下第一 。
这款模型在昇腾算力上训练,并且其训练框架、关键算子、推理部署,也都围绕昇腾做了优化。
「昇腾原生」,说的就是这套做法。
仿真榜单成绩亮眼,真机场景同样经得起考验。
在第三方独立测试中,5种机器人本体上阵,考了13项操作任务。从转旋钮、双臂连续交接到玩具入篮,模型的平均成功率比第二名高出23个百分点。
有个小细节挺有意思。 机器人将插头插入后意外滑脱,CloudRobo-WM1.2可以根据新观测画面动态调整动作,重试插接。
这意味着,它记住的不只是固定动作轨迹,其还具备对物理交互结果的预判能力。
不过,听了华为云在最近举办的具身世界模型CloudRobo发布会上的介绍,我又感觉它能取得SOTA表现,不算意外了。
首先,CloudRobo-WM1.2在 「让机器人更懂物理世界」 这件事上,下了一些功夫。
常规模型能够识别杯子、定位杯子的空间位置,但学到的大多只是特定视角下的外观特征。
一旦涉及物理交互——比如机器人向前推动杯子,杯子会滑动还是倾倒?这类问题普通模型很难精准预判;在物体遮挡、视角变化、物体动态运动的场景下,误差会更加明显。
华为云采用PPA(Perceive-Predict-Act)多模态世界表征架构, 针对的就是这个问题,它把感知、预测和动作放在同一阶段联合训练,同步接入RGB视频、DINO语义特征、深度和三维点云多类信号。
所以,机器人不光会知道杯子是什么、在哪儿,还能理解它的空间结构、运动状态,以及预判动作带来的物理结果。
「杯子被推一下后接下来会怎么动」这种复杂物理问题也能轻松应对。
模型能学的信息多了,具身数据里的动作标注、深度和相机视角却经常凑不齐。少了一项,剩下的还能拿来训吗?
能!
华为云 在预训练时用多粒度监督掩码,把缺失或无效的部分从损失计算里划掉。 哪部分信息可靠,模型就学哪部分。
这就像做一道综合大题,如果其中某一小问的条件残缺读不通,我们不会直接放弃整道大题,而是先用其他清晰可用的条件继续推导求解。
它的实际意义不在于「容忍脏数据」,而在于 让大量不够完美的异构数据进入训练,避免因为局部信息缺失直接丢弃整条样本。
真机采集数据成本高达500元~1000元/时,存量有效数据仅百万小时级别。而头部厂商判断的 需求是亿小时级 。
在这种供需差下,数据利用效率本身就是工程竞争力。
华为云还在 「让机器人有更强的动手能力」 这件事上实现了两处突破。
第一,场景理解与动作生成双路径协同, 也就是DualAct架构。
一条是action expert动作专家分支,负责直接生成动作,速度更快,适合对响应速度要求更高的任务;
另一条依托世界模型骨干world generator,在理解场景的同时预测未来状态,精度更高,适合精细、复杂、需要考虑物理变化的任务。
而且,两条路用同一套动作目标训练,专家的大小也可以按任务调整,兼顾速度与精度。
第二, 本体语义保真跨具身运动建模 ,解决一套模型适配多形态机器人的难题。
不同机器人本体差异巨大:单臂、双臂、轮式机器人结构各不相同,好比不同车型,操控逻辑各有区别;但同类任务背后,动作意图是共通的。
华为云这套技术,相当于给机器人装个「翻译器」。
模型保留机器人96维、人类运动168维各自的原生状态表征,再用本体标记区分各自的运动接口。
对物体和场景的理解可以一起学;该怎么动,就按机器人各自的结构特征来自主适配。
据华为云披露, 现在训练数据已经扩到2.75万小时,接入20个数据源、33种本体。
另外,做具身模型还有一个共识, 「想得准」和「动作出得快」挺难兼顾 的。
华为云咋处理呢?
给推理方案设置了四个「套餐」——World/Expert Action,Joint/Action-only, 四种弹性推理模式可按需组合。
换句话说,可以只输出动作,也可以兼顾输出动作+做出预测;你还可以指定让动作专家来搞定,或是让世界骨干来完成。
研发调试要精度,实际部署要速度,都能照顾到,研发团队可以根据算力、时延的要求灵活组合 ,就像点菜一样,丰俭由人。
最重的一档,计算量约是最轻一档的11倍。
按任务挑着算,是CloudRobo-WM1.2在模型设计上省算力的办法。
可要把长视频、深度和动作一起训进去,还要让模型到了真机能及时出动作,昇腾是怎么接住这些活儿的?
「昇腾原生」,到底原生在哪里?
华为云先从显存下手。
拿 7B参数的世界动作模型 算笔账。
光是模型参数、梯度和优化器状态,就要 吃掉约112GB显存 !
注意,长视频带来的额外开销,还没算进去呢。
具身世界模型对算力的胃口,不是一般的大。视频、深度、三维点云、动作序列,模型都得处理。算力与显存需求远超普通大模型。
到了真机上,又要算另一笔账。机器人等着下一步指令,模型得及时给出动作,推理开销也得控住。
这笔开销牵动的是整套训练系统。
几张卡怎么分活儿,大数据怎么送过去,训练框架和算子怎么在卡上跑,多分支梯度如何归约,attention选择性重算等,都要围绕昇腾这套硬件一起调。
这就是「昇腾原生」。
一张工作台摊不开,就让几张台子一起干。
华为云把数据处理和模型计算分开,前者可以交给鲲鹏,后者由昇腾NPU来做。
多张昇腾卡通过超节点高速互联,长视频序列可以拆开算,模型参数也能分着存。
有些中间结果可以等用到时再算一遍,多花几步计算,给显存腾出地方。
桌子摆开了,下一批数据还得及时送过去。
两路各4Mbps的视频,录8000小时,光压缩视频就有约28.8TB。
训练时还要反复读、解码、抽帧,再把画面对上同一时刻的机器人轨迹。
华为云把视频、关节状态、末端轨迹、底盘和任务标签统一存起来,按一次完整的操作建索引。
搜到一段动作,相关数据就能一块儿取出来。常用的提前缓存,下一批要用的提前读。卡还在算手上这批,后一批已经在路上了,避免算力空等。
这有点像餐馆后厨:热门菜提前备料,下一单还没来,食材已经先解冻了。
数据到了,训练框架还得把活儿派匀。视频、点云和动作占的显存不一样,一批样本分得不好,这张卡已经挤满了,那张卡还空着。
华为云在框架里单独安排重计算,配合长序列和模型并行,把各张卡的负担分匀一点。几张卡要交换结果,也可以趁数据还在路上,先算手头能做的部分。
到了强化学习环节,同样存在算力等待瓶颈。
模型把动作算出来了,仿真里的机器人得照着做,再把新画面和结果送回来,训练才能接着跑。
华为云和清华大学于超团队把开源具身强化学习框架RLinf接到昇腾上,有个改动挺有意思。
在一组LIBERO测试里,模型一次给出10步动作,第10步才需要看新画面。那前9步的画面就无需逐帧渲染。物理仿真一步步走,奖励也照常算,在动作规划周期内减少渲染开销。
昇腾卡上也有活儿能省。
华为云团队把归一化、旋转位置编码等反复要做的运算,接到昇腾NPU的融合算子上。
原来要分几次做的计算,有些可以在卡上合着算。少下几次指令,中间数据也少搬几趟。
华为云透露 ,适配后,相关推理效率和训练吞吐有约2至3倍的提升。
拆开看RLinf公布的测试,GR00T N1.5和N1.6单位时间内能算出的动作增加了195%至278%,StarVLA的训练调用吞吐提升186%至240%。
一整轮强化学习能快多少,还得把仿真、通信和参数更新都算进去。
这些活儿接到了 CloudRobo,也就是华为云的具身智能开发和运行平台。
△AI生成
数据难采,可以先在仿真里合成一批,再在昇腾上做预训练、强化学习和评测。
上真机时,就能用上前面说的四种推理模式。调试时把未来画面和动作一起算出来,现场干活时可以只算下一段动作。
动作算完了,还得及时送到机器人手上。
← 返回最新