比拟于虚拟世界，真实的世界充斥着动态变更的情况变量和各类各样的物理规矩，这请求基本模型不仅具备强大年夜的感知与计算才能，更需拥有懂得物理规律、预判场景变更的综合才能。
在此背景下，基本模型的才能界线赓续被冲破，而新一代AI架构与物理世界建模作为全球AI范畴最核心的前沿摸索偏向之一，更是成为技巧冲破的关键抓手。
若何经由过程新一代AI架构的立异迭代，赋能物理世界建模的精准化、高效化，让AI更好地舆解、建模并交互物理情况。这是中山大年夜学计算机学院的青年研究员、博士生导师，同时也是拓元聪明首席科学家的王广润博士所一向研究的问题。
大年夜家可能认为端到端有一些比较好的特点，长短端到端的分层进修所不具备的。我们今天在做物理建模的时刻，也欲望我们的物理模型能实现相对应的端到端，个中包含把模型里面的感知、筹划和履行用端到端来实现。
2025年12月13日，在雷峰网("大众,"号：雷峰网)举办的第八届GAIR全球人工智能与机械人大年夜会现场，王广润博士做了题为《立异基本模型，强化物理世界建模》的分享。
以下为他的演讲内容，雷峰网/AI科技评论做了不改变原意的编辑：
我的标题是《立异基本模型，强化物理世界建模》，我们实验室叫HCP，大年夜概在十几年前就取这个名字了，个中就包含了physical intelligence，我们知道在具身智能范畴有一家比较好的公司就叫Physical Intelligence，所以向大年夜家报告请示一下。
什么是物理空间智能
今天在做物理模型或具身智能的时刻，经常能听到一个词叫端到端，其实端到端这个词很早以前就有了。我这边放了两个slide：左边是十年前王晓刚师长教师在波士顿的演讲，他就提到了端到端；右边是何恺明师长教师在2016年纽约的一个报告请示。
如上图所示，我们的模型是响应的文本、图象还有其他的信息，先前的做法会有一个感知，获得感知之后就做响应的筹划，之后就会履行。端到端的话就是把全部器械变成一个黑盒或者一个体系，一口气出来。
如许的一个端到端的物理模型，它有很多的应用，比如机械人、航天，还有主动驾驶等。我们比来有很多的相干工作。值得留意的是，前几天航天已经可以贸易化应用了，所以这也是一个很好的偏向。
然则端到端的特点就是须要异常多的数据来练习它，这也是为什么端到端和物理模型比较艰苦的原因。
端到端的体系可以进一步简化成如许的端到端：输入为各种各样的器械，比如图象、文本还有其他的状况，输出也是响应的多模态，例如文本和动作等等。
一个加倍典范的端到端体系是如许的，输入是包含物理世界的一些器械，它经由一个空间的建模，获得响应的信息。然后我们再给一个指令，经由物理建模之后，它会输出物理世界的猜测以及指令的分化。
我们欲望物理空间模型可以或许成为“物理世界操作体系”的内核，也欲望将来的物理空间的智能可以或许经由过程相对应的图灵测试：可以看到这是一个比较脏乱的房间，当我们早上出去的时刻，这个房间还很脏乱，回来之后它就变得很干净了，以至于我们分不清这个房间是人清除的照样有一个AI来帮我们清除的。有人认为如许就经由过程了图灵测试，然则我不这么认为。
所以我们提出了一个异常不一样的全新的扩散模型，叫做原位推理的离散扩散模型。原位的意思是指我们离散的旌旗灯号可以编码成如许一个one-hot的表示，就是001如许的一个编码。我们可以直接在one-hot表示上加噪声，然后给它去噪。这个办法是直接在离散旌旗灯号上做加噪去噪，取得了意想不到的好的后果。
不合的人对物理世界模型的懂得不太一样，有一些人认为物理世界模型是对未下世界的猜测、响应的分化，这是我们说的一种物理世界模型的懂得。在这一框架下，猜测获得的将来物理世界状况会与当前的物理世界表示合营进入空间建模与物理建模模块，从而生成具体的动作决定计划；这些动作最终被履行，用以与真什物理世界进行交互。
特别值得留意的是，我们发明个中的空间建模模块本身具备优胜的自适应才能，这是一个异常重要的特点。进一步地，我们不雅察到，现阶段对大年夜模型的微调在很大年夜程度上可能只须要对空间建模中的一小部分参数进行微调，而其他模块并不须要调剂，相干原因我将在后文中进一步解释。
我们今天环绕《立异基本模型，强化物理世界建模》的标题来讲，重要包含三个方面的内容，一个是框架，一个是模型，还有是基准。
框架：全局迭代生成
框架的进展近十年是异常迟缓的，大年夜概在80年代到2017年，分别有三个响应的框架，比如多层感知器，卷积神经收集以及Transformer等等，对应着也有很多奖项。
然则从2017年1月之后一向到如今，如今立时到2026年1月份了，这十年的进展是比较迟缓的。
固然很迟缓，但照样有不合的研究机构和很多的公司都想推动框架。比如Deepseek它也一向想推动一些新的架构的成长，Demis Hassibis的一个大志壮志是想推出一个新的架构，原话是：我们创造了Transformer，所以下一个出来的架构可能也是我们做出来的。
我们的团队在框架摸索方面也做了一些尽力，包含在单位结算、构造计算和推理计算方面提出了一些本身的框架，我今上帝要介绍第三个。
一个大年夜模型的生成有几种情势，最常见的一种是数据生成，比如左边所示，它的字是一个一个出来的。这就是一个次序生成的过程。
还有一种办法是全局迭代生成，比如要生成一个成果，一段文本，它可能就是先出来一个文本的整体的框架，再进行响应的调剂，一会儿就出来全部文章，因为如许的全局生成是异常快的。
全局迭代生成有一些优势：起首它是一个推敲全局性的渐进精化的过程，天然的自带推理才能。以左边这张图为例，这是毛主席的一首诗词，他在写这首词的时刻可能先写完，再对个中一些不知足的处所修改，然后出来响应的诗词。这一种生成方法就是生成之后还会对个中一些进行推理推敲。比拟之下，现有大年夜模型在生成时往往采取严格的次序生成方法，逐字输出，一旦生成便无法回溯修改。这种方法更接近于“誊录”而非“创作”，表现的是不合的生成范式。
全局迭代生成的第二个优势是很快，刚才的例子一眨眼就出来了，这里也表现了另一个例子，在代码设计方面，它也是比逐个的自回归生成快很多。
第三个优势是它能实现多模态的同一，因为我们的图像也是如许一个迭代的生成，假如文本和其他的模态也是如许生成的话，都邑有利于他们之间的同一。
方才讲到了图像的生成是应用一个持续的扩散模型，是在持续旌旗灯号上做如许的生成，比如我要生成一个小鹿，它最开端的时刻是响应的一个噪声，这个噪声经由几回迭代之后，慢慢出来一个小鹿。
其次，动作控制的精度仍然较为粗拙，例如让机械人完成插插头这类精细操作在实际中仍然异常艰苦。第三，则是建榜样式上的不一致性。以刚才提到的经典模型 Π0 和 Π0.5 为例，其前端依附预练习的说话模型，采取的是离散建模过程，而后端则引入了基于持续旌旗灯号的扩散模型。这种从离散到持续的建模切换在范式上并不完全兼容。事实上，现有很多有名的VLA模型大年夜致都可以归为这两类：要么基于离散建模，要么基于持续扩散建模。
这个器械弗成以直接用在说话上的，因为说话是一个离散的旌旗灯号，比如图中的“this is a cat”，这就没办法往上面加噪声，并且它的练习的损掉函数也是一个交叉熵的损掉函数。
在说话生成范畴，已有一类办法被称为离散扩散模型，它重要有三种：第一种最传统，是用马尔可夫的性质实现它，一开端输出响应的文本，再跳转其余文本，慢慢出现这种文本，然则这种办法是今朝最差的，因为它依附马尔可夫的假设，很轻易形成如许响应的误差。
第二种办法是在持续的embedding空间中做扩散，例如将输入 “this is a cat” 映射到嵌入空间后，在该持续表示长进行去噪。但这种办法存在天然缺点：embedding模型和扩散模型须要同时进修，轻易产生表示坍塌。模型可能走捷径，将embedding投影到接近零的空间，使去噪变得过于轻易，从而产生shortcut learning，最终难以学到有效表示。
为了避免shortcut learning，一种常见思路是借鉴Stable Diffusion的做法，先预练习一个自编码器，将文本映射到持续的潜在空间中。然而，在这种分阶段练习框架下，自编码器本身的进修仍然较为艰苦，且整体的分阶段练习在机能上往往并不睬想。
其其实扩散说话模型中，如今用得最多的办法是基于mask的办法，这就是第三种办法。这个办法是把词给随机的盖住，来猜测盖住的是什么词语，经由过程交叉熵的情势猜测出来。这种办法跟BERT架构是异常接近的，它其实跟图像范畴的扩散模型照样很不一样，它是经由过程掩盖的情势猜测出来，我们也证清楚明了它在超额风险上存在一些不足，所以如今的扩散说话模型用这套办法照样不太幻想。
它的前向过程是直接对one-hot进行加噪，去噪就是给一个随机的高斯噪声，慢慢去噪，最后跟我们的离散扩散模型异常的一致。
我们也给出了一些理论上的分析，因为它遵守了Tweddie’s formula这个比较有名的恒等式，所以知足这个fisher divergence的特点，所以使得它的练习和测试都异常稳定。
我们也做了一些响应的实验，比如这是单个token的生成，成果异常好。
在一些文本生成的实验上，我们比现有的基于Mask的办法（MDD这一行）也有比较大年夜的晋升。可以看到图中的第二行的最后一列，这是现有的基于Mask的办法出来的成果，出来的句子其实是比较差的。比拟之下，我们刚才异常简单的办法，出来的后果就异常好。我们也正在预备宣布一个如许的比较大年夜的说话模型。
这是去噪的过程，可以看到跟着迭代的变更，token从一个异常不肯定的状况，慢慢的把离散旌旗灯号给猜测出来了。
这是一个去噪的可视化成果，可以看出来，在第90的时刻照样比较乱的，慢慢的到第10之后，响应的文本就会出来。
模型：E0具身大年夜模型
有了跟别人不一样的框架之后，就开端练习我们的模型。如今机械人的模型里面大年夜家用的比较多的是VLA模型，但它存在着很多的瓶颈：起首，其泛化才能不是很强，机械人在一个情况中应用，然则到别的一个情况，跌得特别厉害。
我们提出了一种新的具身大年夜模型E0，其核心采取了我们新提出的扩散模型。该模型可以或许实现对动作精度的高分辨率建模与分级，从而具备更高的控制灵活性。此外，我们还引入了球面视角表示来练习模型，以加强其对复杂空间构造的建模才能。
这就是我们提出的整体框架，个中包含一个VLM，以及我们方才提出的一种新的离散扩散模型。
可以看一下我们的成果：在很多半据集上都表示得异常优良，例如LIBERO、ManiSkill、VLABench上都取得异常好的后果，跟那些基线模型在雷同情况下比较，可以发明我们在精细操作、场景懂得、长程义务上都表示得异常凸起。
这个是RoboTwin的别的一个数据集，可以看出左边这一列是单臂的机械人，右边是双臂的机械人，我们的办法在很多义务上都有明显的晋升。
我们的模型在真机实验上也比较优良，采取了五个短程义务和三个长程义务来做实验。最下面这行是跟 Π0 比拟的成果，后果照样有比较大年夜的晋升，并且在很多的义务上有很强的泛化性。
从消融实验可以看出来，我们支撑随便率性大年夜小的离散化分块数量，控制程度可以异常的精细，控制动作的维度跟真实的机械人接近时表示更好。
这是LIBERO的数据集，是大年夜家用得异常多的一个数据集，可以看到我们在很多义务上都做得异常好。
这是别的一个数据集ManiSkill，有一个比较难的义务就是插销和插插座，看起来这个义务简单，但在真实的应用中，插插座照样异常难的，因为我们可以做到异常精细的控制，这种义务也完成的不错。
这是别的一个数据集上的成果VLABench，这里我们让机械人打牌或打麻将，它可以或许比较好的辨认到我们要取的是哪张牌，哪个麻将，来进行响应的操作。
我们来看几个真机的义务，比如捡方块、按按钮、关微波炉门，开抽屉以及叠方块等等，这些义务上都表示得异常棒。尤其是在长程义务上，例如先拉开抽屉再放入方块、将碟子放入微波炉并封闭炉门、以及依次将方块叠放在碟子上，模型展示出了异常稳定且出色的表示。
还在一些没有见过的场景里面，它的泛化也是异常强的，这些都是我们没有练习过的场景，以及在被工资打断的义务中，它本来要拿两个方块，拿到一半的时刻，有人把这个器械推开了，它照样很棒的履行下来。
我这里还想分享一个不雅点，在具身机械人VLA的义务中，有一个比方是：我们在一个监控中间看不合房间的监控视频，经由过程监控视频来遥操我们的机械人做一些工作。
我的意思是：当我们经由过程熟悉某一个房间中监控视频与机械臂活动之间的对应关系后，确切可以学会长途操控该房间内的机械人完成义务；但当场景切换到另一个房间时，是否可以或许急速泛化到新的监控视频与机械臂活动关系，从而直接成功遥控另一台机械人？实际上，这是做不到的。人已经是一个异常泛化的智能体了，然则到了一个新场景，再去控制机械人的话照样做不到。这说清楚明了一个问题，为什么如今具身智能这么难的原因，是因为我们须要进行一个解耦，把物理模型和空间模型进行解耦。
我认为人在响应的情况下须要做响应的适应。举个例子：一台可以或许在你家情况中完成家务的机械人，当被安排到我家时，可否经由过程一次快速的情况适配过程（类似于机械自检或校准），同样胜任我家情况中的家务义务？
所以我们提出的新办法，就是把物理模型解耦成两部分，一个是物理建模，一个是空间建模。以图中所示框架为例，这是一个典范的 Π0 / Π0.5 架构。我们的实验注解，全部模型在适配新情况时无需对大年夜部分模块进行微调，只需在视觉模块中调剂约四千个或者4M个参数，便可实现优胜的适应后果；仅应用一条样本即可完成有效微调。
这就是方才讲的例子，我们在一个新的情况下不要调一个个具身模型有20亿个参数，只要对视觉模块里面异常小的一部分参数，用一条样本来微调，就已经能达到很好的后果。
这是微调前的视觉特点，去到一个新情况，假如没有微调，它响应的视觉特点是比较混淆的。做一个小的微调之后，它的特点就可以分得比较清，就可以实现异常好的泛化。
关于世界模型我想举一个例子，比如在这个图的左下边，输入图片今后，问车的状况是怎么样的。在说话模型里面会用说话的方法分析这个图象，最终得出这个车门是打开的，这是说话模型的推理。
在物理世界中的推理显然是不一样的，假如问我扫地机械人能不克不及对房间进行一个很好的打理，只用说话文本和多模态模型来推理其实是做不到的，它对空间的感知才能是很差的。
我们的办法是，我们在做响应的物理动作前要进行思虑，这个思虑是要用视频的方法进行，也就是我们要做响应的筹划，在物理空间做响应的视频推理，才能给出来响应的谜底。
基准：无人化物理智能测评平台
值得留意的是，这一结论在真实机械情面况中同样成立。众所周知，现有的机械人模型在安排到真实情况时平日须要进行必定程度的微调；而在我们的办法中，即就是在真机前提下，也只需应用极少量的样本（例如仅一条），并对视觉模块中极少数参数进行微调，便可以或许完成抓取义务。
讲完框架和模型之后，最后介绍一下基准。具身智能这个范畴很多都是用仿真的数据集来测试，真机上的话，大年夜家都在本身的机械上做，你做你的，我做我的，比较难同一，也不是很公平，并且有些团队也没有很好的真机基本。
所以我们也提出了一个真实的评测基本，我们搭建了一个框架：用户只须要在互联网端调用响应的框架，就可以在我们实验室的机械人来完成响应的评测，进行响应的应用。
我今天禀享就这么多，感谢大年夜家。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复