世界就是你的画布
终于!和我的二次元老公!成!功!约!会!
瞧瞧这白毛,数万少女的梦中情人, 如今被我拐回了办公室 (๑˃̵ᴗ˂̵)و。
你好萌啊老师,好想rua烂你的头!!!
谁懂啊,作为五条悟的忠实粉丝,对这款真的 完全没有抵抗力……
二话不说,直接安排上了老公同款出场动画。
「没关系,我是最强的。」——当办公搭子也是(doge)
啥,你问我在哪搞到的这好玩意儿?
好吧,肥水不流外人田,这是今天凌晨, Xmax AI 全球首发的实时交互视频模型—— X2.0 。
是的, 实时可交互 ,画面里的每一帧,都是AI根据摄像头画面和你的操作实时生成。
刷到这条post的第一时间,小编连夜爬起来实测。
一顿操作下来,我只能说:
Amazing。
伟大的赛博格之神,请赐我一颗长在脸上的、无限续航的摄像头吧。
打开摄像头,世界就是你的画布
上面能「实时换人」的超能力,来自Xmax AI发布的全新模型,X2.0。
但事实上,这只是此次更新的冰山一角。
Xmax本次共主推 3大类能力 ——
- 实时渲染:实时替换摄像头或视频中的角色、服装与视觉风格。
- 次元交互:镜头对准,在现实世界里召唤和交互异次元生物。
- 触屏交互:用触控实时操控物体运动轨迹,亲手捏塑视频世界。
实时渲染
CharX的「加倍版」,不止服装、角色,连背景都能变。
在完美保留原始动态与光影的前提下,实现毫秒级、帧级的「变身」。
真·领域展开。
还有一项非常实用的功能—— 实时换装 ——这个模式下只有服饰会变。
本质上,CharX、ClothX、VibeX,都是X2.0实时渲染能力的多维度秀肌肉,模型将视频中的「你」变成可编辑变量,从而可以像调整照片亮度一样,基于参考图片实时计算用户的视觉身份。
次元交互
虚拟现实的概念炒了这么多年,但以前的体验基本都是静态的,缺乏真正的「在场感」,只能当个花瓶看看。
X2.0的革命性在于:它能用现实中的物品作为锚点,精准定位并控制虚拟角色的运动路径,把「物理触感」变成了交互的一部分。
不知道大家还记不记得,曾经有一款叫 《宝可梦 GO》 的捉宠游戏。玩家需要拿着手机四处Citywalk,地图上会随机刷新宝可梦。但交互极其有限,只能丢丢精灵球、拍拍照。
如今,体验「超进化」。X2.0彻底撕开次元壁,任何地点都能随时召唤心爱角色,与其进行 抚摸、对视 等即时无缝的深度互动。
也可以做「瞄准」式的虚空召唤—— 指定对象 ,将其与「平行宇宙」的物体置换。比如将手里这瓶矿泉水,凭空替换成一把匕首。
或者不替换,直接对现实物体施加魔力。
《泰迪熊》不再是梦。对准摄像头吧,X2.0可以让房间里的所有东西「复活」。
触屏交互
一项引入「触控」交互的全新视频玩法。
只需在屏幕上轻轻拖拽,即可将任意静态主体动起来。
说实话,这功能简直是 桌面DIY神器 。
它将彻底激活你的手机和电脑:壁纸、照片…… 所有静态图像,都能被一键「唤醒」。
不用烧Token设计Codex桌宠了,只需一张照片,家里的小主子随时化身「赛博形态」陪你上班。
Free模式
最后,除了上述三项封装好的核心功能,Xmax还最大限度地开放了模型应用的 自定义空间 ,以覆盖更广泛的长尾需求。
Free模式下,你可以通过Prompt「言出法随」,实现几乎零门槛的特效创作。
什么 喷火、镭射眼、空间扭曲…… 在这里,都只能算基操。
X2.0的技术底牌
市面上的视频生成模型不少,但X2.0这体验,完全不是一个物种。
比起「视频模型」,它更像一款游戏。更严谨点说,是一种类似于视频和游戏之间的内容形态——
不仅能看,还可以随手即「玩」。基于AI赋能的全新操作系统,所有视频都能变成可以实时交互的资产。
怎么做到的?
核心在于,Xmax团队在 实时性和交互性 两个维度上下了不少功夫。
先说实时。
你可能会说,不就是延迟低一点嘛?
但实际上,几毫秒的延迟差距,在实时交互场景中可能直接决定一款产品的生死。C端用户对心流体验的要求极为苛刻,多卡几帧,手指就已经划走了。
市面上不是没有类似的实时交互模型,但大多要渲染约 3秒、5秒 ,还可能需要预生成10秒以上,其实并非真正意义上的实时。
而Xmax,直接干到了 毫秒级响应 ,实现了真实时。
怎么做到的?
传统视频模型走的是双向Attention路线:对整段视频或一个片段做联合建模,全部生成完毕才能看到结果。这本质上是「下载逻辑」——文件得全部下完才能播放。
Xmax选了另一条路——流式生成。
具体来说,他们提出了逐帧自回归生成架构,将模型响应时间压缩到毫秒级。逻辑跟最近大火的GPT Live类似:双工结构,模型在持续计算的同时,用户端已经在看到画面流出,不需要干等。
说起来简单,但工程实现极难。
这里藏着一个 速度、成本、质量 的「不可能三角」:堆推理算力来提速,成本飙升,普通用户根本跑不起;速度提上来了,生成质量又会断崖式下跌。
要打破这个三角,对团队的research能力和工程能力都是极限考验。
Xmax的解法分三步走——
1、多阶段多目标融合蒸馏。大幅压缩推理所需的采样步数,从源头上减少计算量。
2、上下文持久化技术。确保模型在长时间连续生成过程中,画面质量不衰减、不漂移。
3、极致压缩。引入注意力矩阵稀疏化、FP8量化等手段,进一步降低显存和算力需求。
最终效果就是: 单张消费级显卡即可满血运行,达到960分辨率@24fps。
再聊交互。
这个问题在LLM时代很少有人认真讨论。Chatbot从诞生之日起就自带对话框这个最自然的交互界面——完全是参照即时通讯的形态设计的,天然自洽。
但视频是完全不同的逻辑。它高维、连续,更贴近现实世界的交互方式,而现实中的交互,很少依赖纯语言。
这也是为什么Xmax如此执着于交互方式的多样性。这不是功能堆叠,而是对这类产品最底层的产品思考。
X2.0支持多种交互模式。 文字控制、屏幕交互、空间交互 ……它能理解你拿着手机在做什么、你的手指向了哪里、你做了什么动作。
可以说,几乎覆盖了所有自然的交互动机。
团队把这称为「统一交互架构」——把过去只能理解prompt的视频模型,进一步武装成能理解摄像头画面、理解视频流、理解手势与肢体语言的全能选手。
最后,团队将实时与交互两方面的技术积累做了集大成式的整合,完成了一件极其秀肌肉的事——
全球首个能在iPhone上本地运行的「实时交互」视频生成模型,384分辨率@16fps。
简单拆解一下这件事。
端侧本地部署 ,是对实时性的终极验证;而 手机 这一形态,则几乎涵盖了C端用户日常交互行为的全部入口。
为了攻克这一难题,团队也是在移动端做了大量算法与工程层面的深度优化:
- 训练侧: 通过混合精度量化与结构化剪枝等手段,进一步压缩模型体积;
- 推理侧: 利用计算图算子融合,并针对端侧芯片进行专属的硬件加速与内存布局优化。
当一项能力从云端下沉到端侧,它就不再是少数极客的玩具,而是数亿普通用户口袋里触手可及的日常。所有终端设备的交互方式,都有可能被重新书写一遍。
交互视频模型的GPT-3时刻,正在逼近。
Xmax重构视频「交互」范式
如果说X2.0在C端的体验是一个引人注目的切口,那么它真正的产业想象力,在于 通过开放的API,成为视频行业的底层基础设施 。
智谱的唐杰 之前分享过一个观点:AI时代,技术本身是最核心的资产,不用思考商业模式和产品形态,都会被吃掉。
背后的逻辑是,模型具备泛化性,只要底层能力跨过某条阈值,它自然会获得「把传统解决方案重做一遍」的空间。
X2.0正是这个逻辑的绝佳注脚——
最直观的就是 电商与零售 。
试想,当「魔镜」式的实时虚拟试穿接入电商 App,用户不再需要对着静态模特图脑补上身效果,摄像头前的你就是模特。
线下商场的 试衣间 也可以被彻底改造。
消费者只需站在镜子前,一键切换款式和尺码。退货率的下降、转化率的提升,都是可以直接量化的商业价值。
