IT桔子 昨天
当大模型撞上物理世界:智能体化的世界模型能否成为那道桥
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_keji1.html

 

作者 | Judy

图片来源丨智象元一(HiDream)

过去三年,AI 已经能写代码、证明数学定理、生成以假乱真的视频。但它仍然没法可靠地在物理世界里完成一件最简单的事:把一件东西从 A 点搬到 B 点。

不是做不到,是它没法每次都对。这道落差,就是 Digital AI (数字 AI)和 Physical AI (物理 AI)之间的断层。

不过,行业正在给出一个跨越断层的答案,它就是:智能体化的世界模型。

近日,在刚刚结束的 2026 世界顶尖科学家论坛上,加拿大工程院外籍院士、智象元一(HiDream)创始人兼 CEO 梅涛发表演讲,提出智能体化的全模态世界模型(Agentic World Models)的理念,为 Digital AI 向 Physical AI 的跨越提供一条全新的技术路径。

(加拿大工程院外籍院士、智象元一(HiDream)创始人兼 CEO 梅涛)

AI 的进化和分化

AI 无所不在,世界日新月异。

当前,全球大模型的调用规模,已经进入爆发期。根据 OpenRoute 统计,截至今年 10 月,中国周 Token 调用量达到 93 万亿,是美国的 4.16 倍,连续 26 周位居全球第一;高盛研究报告预测,未来二十年内这一数字仍将保持指数级增长。

比总量更值得关注的是增长结构。高盛研究报告认为,2030 年前,企业级 Agent 是 Token 消耗的核心;2030 年后,物理 AI 将打开第二增长曲线,且动能更强。

这些数字背后,是 AI 正从「工具」快速演变为像水、电一样的新型社会基础设施。

伴随 AI 经济快速发展的,是模型迭代的持续加速。2023 年,大模型大致以 12 个月为周期迭代;此后几年,周期不断压缩。六个月,三个月,一个月……如今,模型迭代已按周推进。但这种进化并不均衡,AI 在数字世界与物理世界的能力,正在形成显著分化。

Digital AI 的发展极为迅猛,在文本对话、逻辑推理与多模态生成几个维度上,其能力已经逼近人类顶尖水准。近期在数学领域,Digital AI 出现了极具标志性的突破:OpenAI 于 10 月一次性公布 377 项数学成果,DeepMind 独立攻克 9 个厄多斯问题,其中两个难题已经悬置 56 年。在其他学科的科研领域,AI 同样「来势汹汹」:顶尖科学家群体已经将 AI 深度用于科学发现——在美国,很多科研人员单日 Token 的消耗可达上千美元。

相比之下,Physical AI 的进展就滞后很多。所谓 Physical AI,简单来说,是由智能大脑与能够执行智能行为的物理载体共同构成。但现阶段的 Physical AI,正从「理解世界」走向「作用世界」,但规模化应用仍面临三项共性挑战:物理世界理解与预测不足,真实交互数据与规模化学习受限,闭环执行的泛化与可靠性不足。

如何跨越这道横亘于 Digital AI 与 Physical AI 之间的鸿沟,正是下一代人工智能发展必须回答的时代命题。

世界模型,作为行业新的共识,被寄予了厚望。

三条路径通往世界模型但各有局限

世界模型目前尚无一个被所有人公认的统一定义。2018 年,两位 AI 学者 David Ha 与 J ü rgen Schmidhuber 在一篇论文中提供了一个理解框架:世界模型 = 观察世界(V)+ 预测世界(M)+ 在内部世界中学习行动(C)。这一框架后来成为学术界与产业界共同沿用的叙事底座。

从 2024 年开始,世界模型的热度明显上升,很多视频生成、机器人和自动驾驶企业都在强调世界模型。但始终,大家对于世界模型的内涵,缺少一个清晰的界定。

梅涛博士在顶尖科学家论坛上,再次阐述了 HiDream 对于世界模型的认知和定义。他认为:世界模型的核心可以概括为「表达、推演、重构」,让 AI 理解世界如何运行,并推演未来可能发生的事件。它通过对文本、图像、视频、声音、动作、位姿等全模态信息的统一理解与生成,对世界状态、物理规律和因果关系进行建模,从而实现对真实世界的感知、推演与预测。

梅涛博士的履历横跨科研和产业两个领域:先在微软亚洲研究院从事基础研究,后又在产业一线主导人工智能落地实践。这使得他的视角能兼顾前沿理论与工程实践。而这,恰恰是世界模型从概念走向现实所需要的。

从梅涛博士的定义可以看到,世界模型要建模的不只是语言,而是世界状态、物理规律与因果关系本身。这意味着它的技术落点横跨虚拟与现实,也正因如此,这条发展之路注定更为复杂,也更为漫长。

几乎全球主要 AI 企业都在摸索前进。

当前行业已分化出大致三条技术路线,三条路线各自锚定不同的能力底座:

第一条为大语言模型路线,以语言符号为核心载体,主攻自然理解、逻辑推理与结构化知识的高密度压缩,典型代表有 ChatGPT。今年 9 月,GPT-6 Astra 横空出世——语言大模型首次从语言任务跨入机器人操作领域。宇树科技团队很快将 GPT-6 接入人形机器人开展多场景任务测试。据王兴兴公开介绍,宇树并未对该模型做任何具身训练,它却能直接控制机器人完成识别调色盘、更换颜料、清洗画笔等操作,且取得了很好的效果。GPT-6 Astra 让语言大模型通往世界模型的路径,第一次变得可行。

第二条为多模态模型路线,以图文音视频等多模态信息为核心,聚焦理解感知与内容生成能力,代表性模型有腾讯混元 HY-World、阿里 Happy Oyster 和智象 HiDream-O1 系列。

第三条为具身大模型路线,强调物理世界感知、闭环交互与可执行动作生成。代表模型包含 Gemini Robotics、英伟达 GR00T 等。英伟达 GR00T 已从仿真训练走向真实机器人部署,而谷歌的 Gemini Robotics 则实现了对完整人形机器人的控制,覆盖从双腿到手指的全身自由度。

三条路径都有其自洽的逻辑,但似乎任一模式单独推至极致,都会撞上结构性壁垒:

LLM 无法依托离散文本符号,建立物理世界的感知;

视频模型能够实现二维空间的像素拟合,但难以完成在三维世界的因果推演;

具身智能虽然直面真实物理交互,看似具备行动闭环的天然入口,但如何拥有通用能力,行业仍未找到有效手段。

什么是世界模型的最终形态,当下可能没人能给出标准答案。

但有一点是明确的,其必然是一种跨模态、跨任务、跨场景、跨硬件的存在。依赖任何单一模态或载体,都会有局限性。进一步说,世界模型应该是在同一状态空间不仅要承载人、物体与环境的动态变化,还要符合时序演化、空间关系、物理约束与因果结构等。

因此,梅涛认为,三条技术路径终将汇聚为全模态模型:因为真实世界是包含空间、时间、物理与因果的连续系统,因此统一处理文字、图像、视频、空间、动作、位姿、力触与传感器等模态。而这一步仅仅是解决了「表达」的部分,在梅涛的构想中,世界模型还需要实现「推演」和「重建」。

在全模态的基础上,还需要通过 Agentic Learning 引入目标驱动、主动探索、多步规划与外部反馈,使智能体不再只做一次预测,而是借助世界模型模拟、比较并选择多种可能的未来,再以真实行动验证;最后,再由世界模型自身将感知转化为状态估计,在时空里保持对象持久性,并学习动作条件下的世界演化规律。

在顶尖科学家论坛上,梅涛以全模态、Agentic Learning 与世界模型三个核心要素为基础,提出「智能体化的世界模型(以下简称 AWM)」。

智能体化的世界模型是什么?

我们要怎样去理解 AWM?对此,梅涛有着完整的解释:在面对一项任务,AWM 不仅能推演某一行动可能带来的结果,还能围绕目标主动拆解任务、比较多种行动方案,并在执行过程中根据环境反馈调整后续步骤。由此,模型不只是提供一次预测,而是参与从规划、行动到反馈调整的持续过程。梅涛将这一技术路线形象地概括为 One Token Space, One World,即探索在统一的表征体系下连接推理、世界模拟与物理交互。

AWM 由三个部分组成,各司其职:LLM 作为智能体的决策大脑,负责理解意图、生成推理、制定任务规划;Omni-Model 基于 LLM 的意图模拟物理世界运行,推演行动后果并预测下一步动作;Embodied Context 负责执行具身行动,同时将真实环境观测数据回传,用于校准世界模型物理规律、因果关系的建模。更精妙的是,这三个部分并非简单的线性串联,而是在运转中形成一套「内外双环」的形态。

在认知内环(图左下),LLM 与 Omni-Model 高效协同,LLM 生成意图,Omni-Model 预演后果,LLM 动态修正,赋予了模型「先谋后动」的审慎能力。在物理外环(图右),通过真实行动获取世界反馈,实现物理因果关系的闭环对齐,从而确保 AI 的发展不仅有「想象力」,更具备脚踏实地的「现实感」。

举例来说,在视频生成场景中,传统视频模型本质上只是基于大数据做像素拟合。比如输入提示词「一个杯子倒在地上」,模型会按概率最大化,把「杯子」和「倒」随机组合,输出一张看似符合描述的画面。

而在 AWM 模式下,同样是杯子倒地,模型会先「过一遍脑子」——像人预演一样,把杯子和倒地这个动作构建成一个可推演的数字世界。智能体系统随即对这个刚形成的世界持续分析:杯子是铁还是塑料?地面是水泥还是木板?倒下角度多少?掉落高度多少?重力下几秒落地?接触不同材质反弹多高、撞击声如何?空中姿态怎样变化?这些问题都要经过严格计算。等一切与计算结果吻合,再由模型渲染画面,完成输出。

在 2026 世界顶尖科学家论坛上,智象梅涛博士以世界模型的三大核心能力为脉络,释出三段 demo,为我们理解 HiDream 下一代世界模型提供了具象的样本。

第一、重建世界的能力。

(提示词:生成一段连续视频,构建 3D 世界,打开门,观察房间四周,打开抽屉拿出水杯接水,放下水杯,再离开)

这是一个生成的 3D 世界,人推开房门步入其中,探索四周环境,随后拉开抽屉拿起水杯,到饮水机旁接水。整个过程一气呵成,物理空间的纵深感与物体的真实质感被高度还原。这不是简单的 3D 生成,而是理解空间结构之后的重建。模型「知道」墙后面是什么,柜子里面有什么。镜头走进去,再走出来,房间原来的所有物体都还在,没有消失也没有变形,物理一致性保持得非常好。未来,这种能力在数字孪生、3D 场景设计、VR/AR 等领域,应当具备很大的应用潜力。

第二、体现的是推演物理规律的能力。

(提示词:生成一段 10 秒的连续视频,832 × 480、24 fps。以给定图像为首帧。相机固定。四节车在水平轨道上由锁扣和刚性连接杆串联。最右侧为第 1 节,向左依次为第 2、3、4 节,只有第 1 节有驱动。每车长 0.12 米、宽 0.06 米,相邻车体表面间距 0.04 米。前 1 秒静止,第 1 至 3 秒用自动机构解开第 3 节与第 4 节之间的连接,解锁时不推动车体,其余锁扣不操作。第 3 至 7 秒驱动第 1 节车向右平滑行驶 0.30 米并制动停车,此后关闭驱动至结束)

模型需要根据提示词完成精确推演:先解锁第三节与第四节小车的连接,再驱动第一节向右行驶 0.30 米并制动停车。在整个过程中,每一节车的运动状态、碰撞传播以及最终停止位置,都必须严格符合真实物理规律。而模型近乎完美的呈现了整个过程。

和普通视频生成追求视觉奇观不同,世界模型追求的是物理可信。这种强大的物理推演能力,有望在机器人决策、自动驾驶仿真及科学计算等场景中加速落地,释放出巨大的产业价值。

第三、体现的是空间交互的能力。

(提示词:生成 9 秒连续视频。固定相机,一镜到底,保持初始场景的几何、对象身份和尺寸。未指派动作的对象保持静止。先将红球放入绿色篮子并完全释放,使球由篮子承托;然后抓取同一个篮子,将篮子连同红球一起搬到右侧高台并释放。最终球仍在篮内,篮底由高台稳定支撑,保持至少 1 秒。)

画面中,机械臂先把红球放进绿篮子并松开机械爪,紧接着抓起同一个篮子,平移放置到右侧的高台上。请注意,在这个连续的过程中,不仅场景的几何结构没有被破坏,对象身份和尺寸也保持了高度一致,因果关系完全正确。这意味着世界模型已经能支撑一定程度的具身交互和动作预测,可以为具身智能训练提供安全、高效的虚拟环境。

沿着 AWM 的技术思路,智象的一项落地实践,在于自研出原生全模态架构 UiT。基于 UiT 架构,智象从图像模型 HiDream-O1-Image 从静态图像入手,探索对空间关系的理解;利用视频模型 HiDream-O1-Video 从静态走向动态,探索符合物理规律的时序生成;打造交互世界模型 HiDream-O1-World 面向三维空间和交互环境,探索世界状态的连续变化;构建具身世界模型 HiDream-O1-Embodied,面向物理环境,探索感知、行动与反馈的协同。

这四大模型的同源演进,勾勒出智能体化原生全模态世界模型的初步雏形。作为一个独立的创业公司,智象在构建世界模型的实践上,既有一往无前的坚定决心,也展示出了顶尖科学家创始团队前瞻宏大的布局视野。

前沿实践:具身、生命科学与影视的三个切面

除了模型的进展,更值得我们追踪的是产业落地情况。我们观察到,智象正从多个领域,紧锣密鼓地将其推向前沿的工程验证:

在具身智能研发领域。 具身的瓶颈首先在数据:高质量真机数据成本高、规模小、来源单一,且受光照与场景影响易产生视觉鸿沟(Vision Gap)。世界模型为突破真机数据成本高、规模小的瓶颈,提供了全新方案。

(原始真机采集数据)

(物理级仿真,规模化生成高保真数据)

第一段 demo 展示的是机械臂真机采集数据的场景,这种模式采集成本高昂、数据规模受限,且场景泛化性严重不足。

下面三段 demo,是智象基于世界模型精准模拟机械臂在不同光照、背景和物体材料下,合成的新数据。这些数据可以直接用于真机训练。

这种模式有三个优势:首先,基于物理一致性,能规模化生成高精度数据;第二,通过光照、背景、材料等维度变化,让数据更富多样性;第三,通过每帧画面与底层操作数据的精准匹配,实现视觉—动作一致对齐。

在微观生命科学领域。

生命科学研究常面临细胞、组织、器官影像跨尺度难对比的痛点,样本筛选高度依赖人工。智象与百图生科联合打造的 BioVisual Foundation Model,将多尺度生物影像映射至统一表征空间,把形态信息转为可计算特征,支持跨样本、跨时间、干预前后的比对,快速锁定差异样本,指导后续实验。

批量试错导致成本高昂的问题,一直是药物研发的挑战。

智象联合百图生科打造的 Bio Flow Model,基于细胞观测图像与干预条件,预测细胞演化轨迹。例如,输入 AU565 乳腺癌细胞图像后,即可模拟 30 μ M 吉西他滨给药约 2.5 天后的细胞变化,辅助科研人员预判趋势、筛选优先验证方案,进而提升实验效率。

(细胞原始数据图像)

Bio Flow Model 生成的预测视频

(视频说明:模型预测结果,非真实实验录像,相关预测仍需通过实验验证)

在影视领域。

金鸡百花电影节上,智象把世界模型首次带到了影视产业面前。

某知名视频生成模型

智象(HiDream)下一代世界模型

(提示词(部分):生成一段 12 秒、16:9 的电影写实视频,单镜头,正常速度。夜晚的狭窄街巷,一名成年人穿着敞开的深色厚棉斜纹长风衣,背对镜头缓慢行走。0 – 3 秒: 环境只有微风;3 – 6 秒: 一阵风从画面右侧吹向左侧;6 – 9 秒: 阵风仍在持续,人物向左转身约 90 度,并迈出一步;9 – 12 秒: 人物停止脚步,风势逐渐减弱。)

智象在金鸡奖展示了同一提示词下两款模型的对比。

先看视频 1:在 3-6 秒的画面中,出现了一处不符合物理常识的细节:风明明只往一个方向吹,衣服却在左右摆动。

再看智象生成的视频:微风、阵风、风力减弱,不同情形下,大衣的摆动姿态和摆动方向始终符合物理常识;连街边水蒸气的飘散轨迹,也始终随着风势改变方向。

一边是「看起来像在刮风」,一边是「风真的在刮」。差别就在这。

这背后,是世界模型将物理规律与因果逻辑沉淀为电影叙事的底层规则。传统电影里,导演先构思一个完整的故事世界,最终交给观众的却是一组经过选择和剪辑的画面;镜头之外的空间,活在剧本、美术设计和观众想象里,未必真被建造出来。

世界模型则能够把人物、场景与物理环境组织成一个按规则运转的长期系统。创作者改变机位、人物动作或环境条件,系统便能推演出新的画面。一旦成熟,它将彻底颠覆传统影视制作:同一虚拟场景可从不同角度拍摄,角色的动作与空间位置保持一致,导演也能在制作过程中反复调整复杂场面。世界模型改变的就不只是单个镜头的可信度,而是整个片场被组织和推演的方式。

需要承认的是,通往世界模型的技术路线仍在进化演变,对于技术走势的判断远比大语言模型早期更复杂。但回望 AI 发展的每一次范式更替,深度学习三起三落、CNN 被冷落十年后靠 AlexNet 翻盘,很多伟大的构想恰恰诞生于路线未定、方向未明之时。

通往世界模型,没有现成路线可循。唯一可以确定的是,任何方向都不是等出来的,而是走出来的。

— END —

这几年英伟达是怎么买公司的:克制是常态,豪赌是例外

创业仅半年 " 上岸 " 大厂,他做旅游 Agent 被 OpenAI 收编了

腾讯反复下注 27 家:押出了美团快手,也押出了归零的 Lilium

被高瓴反复加注的 17 家公司

被红杉中国反复加注的 25 家公司

智客推

智客推

ZAKER 智客推 GEO | AI 时代的品牌认知解决方案

一起剪

一起剪

ZAKER旗下免费视频剪辑工具

相关标签

ai 物理 数学 美国 加拿大
相关文章
评论
没有更多评论了
取消

登录后才可以发布评论哦

打开小程序可以发布评论哦

12 我来说两句…