黎曼动力正式发布Riemann-1.0

刚刚,机器人圈公认最难的「家务大考」RoboCasa-365,榜首换人了。

新纪录 62.6% ,比之前的SOTA直接高出 8.4 个百分点。

要知道,这个榜上大部分模型还在50%以下挣扎。

更有意思的是,登顶的这个名字,之前几乎没人听说过: Riemann-1.0,黎曼动力 。

一查,好家伙,首秀。这个模型才刚在WAIC 2026上正式发布。

跑分说明不了一切,我又去翻了它的真机视频。

随手点开一段机器人收拾餐桌的demo,只能说,榜单没骗人。

薄薄贴在桌面上的勺子,夹得起来;碗里剩的汤,知道先倒了再收;完事了还顺手把桌子擦干净。

视频地址:https://mp.weixin.qq.com/s/KIBoK4IAklhdmU21fCIyVg

(完了,估计连老妈以后的台词都要改了:连机器人都比你眼里有活儿~)

再往上扒,黎曼动力背后站着的是 昆仑万维 ——前者正是昆仑万维专为具身智能方向成立的子公司。

一个新面孔,凭什么首秀就登顶?

答案藏在它的「食谱」里: 23.2万小时训练数据中,占大头的根本不是机器人数据,是人的视频 。

没错,人做饭、叠衣服、收拾桌子的第一视角视频。

造机器人大脑,行业吵出了新共识

为什么是「人的视频」?这还要从具身智能领域吵了一年多的路线之争说起。

VLA和世界模型,谁代表机器人的未来?行业曾为此分裂成鲜明两派 。

两派各有优劣,为便于大家做对比,这里我直接放了一张AI生成的图表:

△图片由AI生成 简单总结就是,VLA属于「直觉派」,快但容易翻车;世界模型则属于「深思派」,稳但是又慢又贵。

吵着吵着大家发现:算了,既然各有优劣,那不如来一个取长补短?

于是,两条路线开始合流 。

今年6月,英伟达西雅图机器人实验室发布了一篇长文综述,文章的核心判断是:

World Action Model(WAM,世界动作模型)已经从VLA研究里的小众分支,迅速长成了机器人基础模型的第二条主路线,而下一代机器人基础模型,大概率是两者的混合体。

△图源:英伟达官方技术博客 ICML 2026上,包括LeCun团队在内的多篇论文也在往同一个方向使劲:

从海量无标注的野外视频(in-the-wild videos)里学习潜在动作世界模型。

△图源:ICML官网 把这些工作放在一起看,一条正在被越来越多团队验证的训练范式浮出水面:

先用大规模开放世界视频做预训练,让模型看遍人类怎么和物理世界打交道,攒够物理直觉;再用少量真实机器人数据做动作对齐,把直觉翻译成可执行的控制信号 。

这就解释了,为什么下一代机器人大脑,都盯上了「人的视频」。

对机器人来说,人类每天的生活就是一场不间断的操作示范。做饭、叠衣服、整理房间,这些第一视角视频里,藏着人类怎么感知环境、规划动作、处理意外的全部秘密。

而且这类数据要多少有多少,场景丰富,还在源源不断地增长。

实际上,行业里少部分前沿玩家已经看到了这点。比如Being-H0.7用了20万小时第一视角人类视频,Generalist AI的GEN-1更是砸了50万小时可穿戴设备采集的人类数据。

作为其中之一,Riemann-1.0的独特之处在于:

它是国内较早把这条范式完整工程化跑通的选手,从仿真Benchmark到真机均获得验证的那种 。

而它之所以能跑通,关键在于解决了一个核心难题: 人类视频里没有机器人动作标签 。

没错,再漂亮的范式,也有自己的问题要解决。

人叠衣服的视频看得再多,机器人手臂该转多少度、夹爪该用多大力,视频里一个字都没写。

看得懂,做不出。

20万+小时人类干活的视频,怎么变成机器人手上的活儿?

这正是Riemann-1.0故事的起点。

23.2万小时视频,怎么变成机器人的手艺

Riemann-1.0,一款面向通用机器人操作的世界模型(World Action Model)。

从名字就能看出来,它正是前文说的「混合体」:

VLA的手它有(直接出动作),世界模型的脑它也有(预演世界演化),两派的活儿,一个模型全包了。

而它要攻克的,正是行业面前那道共同的坎:

怎么把没有动作标签、来源五花八门的开放世界数据,变成机器人可执行的控制能力,而且要跨机器人本体通用。

Riemann-1.0的解法,用做菜来类比,可以拆成三步。

Part 1:准备食材

数据就是食材。

仔细一扫Riemann-1.0的案板,只见上面摆着这样「三道菜」:

  • 「广菜」 :20万+小时人类第一视角视频;
  • 「精菜」 :1.2万+小时UMI与外骨骼手套数据;
  • 「准菜」 :2万+小时机器人真机与仿真轨迹。

三种数据来源,23.2万小时训练数据,覆盖41种机器人本体、数千种交互方式 。

就这个规模,不得不说,已经足够机器人把人间烟火看个遍了(doge)。

△图片由AI生成 不过,食材多,不等于能直接开席。

尤其是占大头的那道「广菜」:20万+小时人类视频,没洗没切,连动作标签都没有,没法直接下锅。

怎么办?先备菜。

Part 2:备菜

黎曼动力为此自研了一套 自动化人类数据处理流水线 ,专门负责洗菜切菜。

这套流水线怎么干活?不妨在头脑中想象,你正在跟着一段视频走一遍:

一段「人在厨房切菜的第一视角」视频进厂,第一件事是 摆正 。

鱼眼镜头的畸变、歪了倒了的画面,统统矫正成正视图,方便后面下刀。

接着VLM上场 ,把长视频切成一个个细粒度动作,给每一段配上任务描述、动作指令、场景和物体信息。

切完还得过两轮一致性校验,标得对不上的,推倒重来。

切好的片段紧接着过 质检 。

画面里人太多的、动作没意义的、遮挡严重的、活儿没干完的、不是第一视角的、手出了画面的,六类废片,直接进垃圾桶。

活下来的片段,迎来整条流水线上最核心的一步: 给手建3D模 。

系统检测并追踪画面里的手,重建出完整的手部姿态,再配合相机位姿估计,把手的运动轨迹换算进世界坐标系,最后做整段平滑。

到这一步,视频里「手怎么动」,第一次变成了机器可读的3D坐标。

当然,重建的质量也得把关。

手看不清的、动得太快的、镜头晃太狠的,按阈值 再筛一轮 ,和前面的语义质检互为补充。

最后一步是 装盘 :按场景、任务、动作、技能、物体五个层级分好类,均衡配比,防止模型偏食。

一段段视频这样走下来,海量「人类干活的录像」,就变成了一本机器人能读懂的「动作教材」。

P.S. 另外两道菜由于自带夹爪传感,业界已有相对成熟的处理流水线,这里就不多展开了。

Part 3:炒菜

食材备好,现在终于可以开火了。

炒菜讲究方法和火候,对应到模型上,就是架构和训练策略 。

架构上,Riemann-1.0基于扩散架构,提出了 全因果动作-视频联合建模框架 ,把视觉动态、环境状态和机器人动作序列,放进同一个生成过程中统一学习。

这意味着,模型不只是知道「眼前看到了什么」,还在学习「动作会如何改变环境,以及下一刻世界可能变成什么样」。

而为了让同一个模型适配41种不同形态的机器人本体,Riemann-1.0进一步设计了本体专属的 动作映射模块 :

共享对世界的理解,同时保留不同机器人的「肢体适配能力」。

说到底,它试图打造的是一个负责理解环境、预测变化的「通用世界大脑」,然后通过不同机器人的动作适配器,把这种理解转化为具体的执行能力。

再说火候。

训练分三段,秘诀藏在一组数字里:动作损失权重0.1→0.5→0.9 。

  • 第一阶段,小火慢炖 。用Latent Action Model从海量人类视频里提取伪动作信号,动作权重只给0.1,让模型安心看片,先学会物理世界的运行规律。
  • 第二阶段,中火调味 。引入UMI和机器人真实动作数据做校准,权重拉到0.5,把伪动作空间平滑过渡到真实控制空间。
  • 第三阶段,大火收汁 。纯机器人数据集中强化,权重推到0.9,火力全开练出能直接上岗的真功夫。

从「以理解世界为主」渐进切换到「以执行动作为主」,有点像大模型训练里从预训练到对齐的路径,只不过载体从文本换成了物理世界的动作。

好了,菜出锅了,该尝尝味道了。

加一味人类视频,猛涨14.4个百分点

首先要验证的就是那个灵魂问题: 绕这么大一圈用人类视频,真的有用吗?

消融实验给出了非常硬的答案。

在专门考察长序列家务能力的RoboCasa-365上,模型从头训练,成功率38.2%;加机器人数据预训练,43.4%,涨5.2个百分点;再加UMI数据,48.2%,又涨4.8个百分点。

原始来源量子位

原文页面仍是署名、版权归属和后续更新的最终来源。

查看原文 ↗