工业圈和学术圈“唱反调”

你敢相信么,现在的AI,已经把 “横店” 给直接搞到了线上了!

△图片由AI生成

以后啊,人要进横店拍戏,可能就会出现两种方式了。

一种是像以前一样,本人肉身进剧组;另一种,则变成了坐在电脑前,进入线上虚拟片场,在数字化的影棚中调度人物、道具和摄像机,完成影视创作。

这便是在阿里 硬核少年技术节5.0 博见社 北京工业场 中,群核科技所分享出来的颇为有趣的案例。

据介绍,相关团队将横店的部分线下片场扫描、重建,并放到线上作为3D影视基地,创作者可以直接进入这些虚拟片场,使用数字化影棚进行内容生产。

毕竟之前我们还在聊的是AI生成视频,而现在,它已经开始把真实片场搬进电脑了。

不过更有意思的,还在后面。

今年,硬核少年技术节旗下的博见社首次设置了两场对话。一场是我们刚才提到的 北京工业场 ,它的主题是 “AI下一站:从生成内容到构建世界” ,虎鲸文娱、美图、群核科技等企业带来了AI产业实践。

而 杭州学术场 ,则联合CCF人工智能与模式识别专业委员会,邀请来自清华大学、南京大学、上海交通大学、天津大学、山东大学和上海人工智能实验室等机构的学者,讨论 “从生成式AI到智能体进化” 。

从北京这边的分享来看,AI已经开始进片场、组团队、搭建三维世界;但当麦克风给到杭州那边,却有人站出来“唱反调”。

在杭州场的圆桌讨论中,有人用电力革命类比今天的Agent:

当前的Agent大概只 相当于电灯泡刚刚被发明出来 ,确实比蜡烛好了一些,但电力后来催生的电网、电机、家用电器,以及一系列过去从未出现过的新事物,我们今天还没有真正看到。

△硬核少年技术节5.0博见社杭州学术场

相隔一千公里的北京和杭州、工业圈和学术圈,怎么会对Agent的观点如此南辕北辙?

△图片由AI生成

杭州学术场:Agent发展像电灯泡

我们先来看下杭州学术场这边。

在正式进入讨论之前,南京大学教授 高阳 在致辞中提到,从早期的逻辑智能体、强化学习智能体,到今天的大模型智能体,AI正在把曾经的哲学设想一步步带入工程现实。智能体在底层能力、工程框架、可靠性与安全性上还有许多问题没有答案。此次博见社让学术前沿与产业真问题相遇,共同寻找智能体的下一步。

而从现场来看,与会嘉宾们首先针对一个非常现实的问题展开了讨论——

Agent究竟发展到哪一步了?

对于这个问题,有一说一,嘉宾们其实没有给出统一的答案。毕竟今天大家口中的Agent,本身就包含了完全不同的形态;如果观察维度不同,得到的判断自然也会不同。

比如从应用能力看,天津大学教授、国家优青 郝建业 认为, Coding Agent 已经很难再被简单划入初期。原因是,它们已经能够接手相当一部分过去由程序员完成的具体工作,这种替代并不只存在于演示视频里,而是在真实业务中逐渐发生。

△天津大学教授、国家优青,郝建业

但如果把视角转向底层技术,郝建业给出的判断又会谨慎许多:

今天Agent能力的提升,仍然高度依赖基座模型;至于agent架构设计的很多思想理念比如MAS、Loop Engineering等概念,学术界其实早已研究多年。只不过在强基模出现以后,这些过去无法发挥性能的技术路线,终于获得了进入大规模应用的机会

换成 具身智能 ,进度条又要往回拉。

机器人进入现实世界后,需要同时处理视觉、空间、物体、动作以及环境中的各种突发变化。实验室里完成一次流畅演示,与进入工厂、家庭后长期稳定工作,完全是两个难度等级。

再往前一步,真正能够像人和动物一样,在 开放世界 里不断学习、自己发现问题、自己设置目标的Agent,甚至被现场嘉宾判断为处在“比初期更早”的位置。

这种Agent目前缺乏成熟的理论和方法。持续学习过程中,还会遇到灾难性遗忘、模型可塑性不足等问题。换句话说,模型可能学会了新的东西,却把旧能力忘掉;即便持续给它新的经验,它也未必能够无限吸收。

这么看下来,Agent并没有一条统一的进度条。

在代码、检索等数字空间中,它已经能够完成一些相当复杂的工作;到了现实世界,稳定性和泛化能力立刻成为难题;至于持续自主学习,很多最基础的问题还没有答案。

在发展阶段之外,现场的第二个争论更加尖锐:

从生成式AI走到Agent,究竟是量变,还是质变?

多数嘉宾的判断偏向量变。

在他们看来,今天Agent能够执行更长的任务,主要得益于基模能力增强、上下文窗口变长、工具调用更加稳定,以及Harness持续优化。能力确实在提升,但底层技术范式还没有发生明显变化。

真正的质变,应该发生在Agent能够突破基座模型原有能力上限之后。

与会嘉宾对此给出了比较清晰的标准:

Agent要能够判断自己的结果是否正确,发现问题后主动修正,并将任务执行过程中产生的经验沉淀下来,形成自我进化。只有跨过这一步,它才算从依赖人类数据和预设流程,走向真正的自主学习。

不过,山东大学教授 韩忠义 从产品形态出发,给出了另一种观察。

过去的生成式AI主要负责回答问题,而Agent已经开始规划任务、调用工具,甚至直接替人完成工作。从“告诉你该怎么做”,走到“它自己动手去做”,无论底层技术是否发生范式变化,用户感受到的产品形态确实已经不同。

上海人工智能实验室青年研究员 张航帆 ,则把这两种观点接到了一起。

在他看来,技术进步通常是一小步一小步积累起来的,很难在某个精确时间点突然发生指数级跃迁;可当一项能力的成功率跨过临界点时,用户的体验会突然发生改变。

比如一项任务,过去执行一百次只能成功一次,现在一百次只失败五次。站在技术演进角度看,这是持续量变;站在用户角度看,它已经从“不可用”变成了“可以交给它做”,这当然可以被理解为质变。

△上海人工智能实验室青年研究员,张航帆

顺着这个逻辑,现场的第三个问题也就自然出现了:

Agent真正获得自我进化能力,到底还缺什么?

杭州场的四场主题报告,刚好从不同角度拼出了答案。

郝建业 关注的是工具调用、长期任务、记忆和安全。工具让Agent从聊天框进入真实环境,记忆让它能够把一次任务中的经验带到下一次任务,而安全则决定它能否进入生产系统,承担真正有风险的工作。

所以在郝建业看来,Agent的价值并不只体现在单次生成能力上,更重要的是,它能否持续调用工具、沉淀经验,并在安全边界内完成长时间协作。

上海交通大学人工智能学院长聘教轨副教授 温颖 ,则把问题放进了持续强化学习。

△上海交通大学人工智能学院长聘教轨副教授,温颖

人工提供的高质量数据总会遇到上限,模型要继续进步,就需要形成“生成—评估—训练”的循环:自己产生新的经验,再从中筛选有效部分,用于下一轮更新。

但大语言环境与传统强化学习有一个明显区别。传统强化学习通常把策略、环境和评价信号分开处理,而在大语言模型里,同一套参数可能同时参与行动、推理和评价。策略、环境模型和验证器彼此耦合,任何一处更新都有可能影响其他环节,训练自然也更容易产生波动。

清华大学智能产业研究院副研究员 周浩 ,则把大规模Agent系统所需的能力归纳成三项:

第一是低时延基座模型,支撑高频搜索、决策和执行;第二是自演化强化学习,让Agent可以根据反馈持续优化;第三是可学习的长程记忆,让它在跨上下文、跨任务时维持状态,形成长期协作。

△清华大学智能产业研究院副研究员,周浩

张航帆 关注的,则是最近越来越频繁出现在Agent领域的另一个词——Harness。

通俗理解,Harness是一套围绕大模型搭建的任务执行框架。它负责理解目标、拆解任务、管理上下文、调用工具,并根据环境反馈调整接下来的动作。

如果把基座模型看作一个聪明的大脑,Harness更像负责组织工作的执行系统。没有这套系统,Agent可能知道很多,却很难稳定完成一项持续数小时甚至数天的复杂任务。

而张航帆进一步研究的Self-Harness,则是希望Agent能够自动诊断和优化自己的运行框架。也就是说,未来Agent不仅要完成任务,还要逐渐学会改进自己完成任务的方式。

把这些问题放到一起,会发现杭州学术场真正关心的,已经超出了“Agent能不能干活”。

它还要知道自己干得对不对,哪里出了问题;一次任务结束后,哪些经验值得保留,哪些能力应该更新;更进一步,它要能够把执行过程产生的反馈,转化成下一轮能力增长。

这才是所说的“电灯泡”背后, 尚未完全建成的电网 。

点亮一盏灯,并不等于电力革命已经完成;长期供电、稳定运行,并将电力接入无数生产和生活场景,需要的是一整套系统。

北京这边,已经开始给AI搭建真实世界

如果说杭州学术场讨论的是Agent距离最终形态还缺哪些底层能力,那么北京工业场关心的,就是现有能力如何先进入真实生产。

所以这里的问题要具体得多。

比如一段视频到底能不能交付、人物会不会突然变脸、商品颜色会不会跑偏、AI做出来的东西最后到底有没有人愿意买单等等。

虎鲸文娱集团CTO 杜颜龙 ,先从文娱的本质谈起。

在他看来,小说用文字构建世界,影视用镜头构建世界,游戏用代码构建世界,演唱会则用现场构建世界。媒介不同,但最终目的都指向同一件事:让观众相信这个世界、进入这个世界,并在其中产生情绪和共鸣。

过去一百多年,影视行业用一整套工业流水线构建这个世界,并孜孜以求解决三个核心问题:成本、周期和品质。AI出现后,这套构建世界的方式迎来了系统性重写。而AI的价值,最终也要落到这三个核心问题上来回答。

首先被提及的自然是成本和周期,但在杜颜龙看来,影视行业真正难啃的骨头,依旧是品质。降本增效不是目的,在越来越多的观看场景里以极致的视听语言讲好一个故事,才是行业真正的目标。

一条Prompt生成几秒钟的惊艳画面,和完成一部真正能让观众坐下来看的影视作品,中间还隔着编剧、美术、导演、拍摄、剪辑和声音设计等大量专业环节。

古装人物的对白需要符合时代语感,服装造型需要考虑人物身份、地域和场合;画面要有构图、材质和光影,镜头运动还要服务故事节奏。

AI不仅要能生成内容,还要理解什么样的故事成立、什么样的画面高级,以及什么样的镜头能够让观众进入剧情。杜颜龙因此把影视品质拆成了三类审美:编剧审美、美术审美和导演审美。

△虎鲸文娱集团CTO,杜颜龙

沿着这个判断,虎鲸文娱给出了三个面向未来的观点。

首先,AI不会取代真人。真人演员、导演和创作者依旧会参与影视内容生产,AI更可能与他们形成新的协作关系。在生产过程和内容交付上,人和AI的关系都值得研究。

其次,AI一定会重写影视生产流程。只靠一个通用模型、一句话生成影视精品,在可见时间里仍然不现实;真正的产业落地,需要完整的模型、工具和生产技术栈,并把它们接进已有的影视流程。

最后,当内容供给因AI而大幅增加后,精品内容会变得更加稀缺。那时真正值钱的,可能不再是“能不能生成”,而是“什么值得被生成”。

这种价值转移,在美图公司技术副总裁兼美图影像研究院负责人 刘洛麒 的分享中,也有类似体现。

刘洛麒先提出了一个现实问题:模型能力已经很强,但从一款强模型到普通用户低门槛使用,中间仍然存在巨大的产品鸿沟。

过去做软件,通常围绕功能展开。功能越做越多,入口、菜单和参数也随之增加,用户需要自己判断该用什么工具、怎样组合这些工具。

Agent出现后,这套逻辑开始改变。越来越多的功能被藏到Agent后面,用户只需要表达目标,系统负责理解意图、拆解任务,并决定调用哪些模型和工具。

刘洛麒将这种变化总结为,从功能堆叠走向智能决策,从交付功能走向交付成果。

△美图公司技术副总裁兼美图影像研究院(MT Lab)负责人,刘洛麒

但美图很快发现,单个Agent依然难以完成复杂任务。

原因在于,真实创作通常包含多个目标,而且每个目标都有自己的上下文。把所有事情都交给同一个Agent,它很容易顾此失彼。

原始来源量子位

原文页面仍是署名、版权归属和后续更新的最终来源。

查看原文 ↗