1. 这笔交易到底在买什么先把事实摆清楚。AMD 以约 82 亿美元的价格收购了 World Labs而 World Labs 的联合创始人正是李飞飞。消息出来之后我身边做芯片的、做大模型的两拨人反应完全不一样做芯片的第一反应是AMD 疯了吧82 亿买一个做世界模型的团队做大模型的第一反应是李飞飞终于把学术影响力变现了。这两种反应其实都偏了。这笔交易的核心既不是买芯片产能也不是买一个已经跑通商业闭环的产品而是买空间智能这条技术路线的入场券。World Labs 从成立之初就在做一件事让模型理解三维空间、理解物理规律、理解物体之间的空间关系而不只是理解文字和二维图像。这个方向业内叫世界模型也有人叫空间智能。为什么 AMD 要花这个钱因为过去两年整个行业的注意力都在大语言模型上但大语言模型有个天花板——它能告诉你杯子掉地上会碎但它没法真正模拟杯子掉地上那一瞬间的受力、形变、碎片飞溅轨迹。而世界模型要做的恰恰是这个在模型内部构建一个可推演、可交互、符合物理规律的三维世界。这件事对 AMD 的意义在于它把 AMD 从卖算力的变成了卖算力加卖世界模拟能力的。芯片还是那些芯片但上面跑的东西变了。以前客户买 MI300 是为了训大语言模型以后客户买 AMD 的卡可能是为了跑世界模型做机器人训练、做自动驾驶仿真、做游戏资产生成。这才是 82 亿真正想买的东西。我个人的判断是这笔交易短期内不会改变 AMD 的财报结构芯片依然是营收主力。但它改变了 AMD 在下一轮技术周期里的站位。如果世界模型真的成为继大语言模型之后的下一个主战场那 AMD 现在花的这 82 亿买的是未来五到十年的门票。1.1 世界模型和普通大模型的本质区别很多人把世界模型理解成更高级的大模型这个理解不准确。我用一个生活化的类比来说明。普通大语言模型像一个博闻强识的图书管理员。你问它任何问题它都能从读过的书里给你拼出一个像样的答案。但它没有身体它不知道重力是什么感觉不知道把一个杯子推到桌子边缘需要多大的力不知道两个物体碰撞之后会往哪个方向弹。世界模型更像一个在沙盘里玩过无数次推演的老兵。它不只是知道物理规律它能在内部把整个场景跑一遍。你给它一个三维场景它能告诉你如果我把这个箱子往左推三秒后会发生什么。这个区别在技术实现上体现得非常明显。大语言模型的核心是注意力机制加海量文本世界模型的核心是三维表征加物理仿真加可微分渲染。前者处理的是离散的 token 序列后者处理的是连续的空间状态。这两条路线的技术栈重合度其实没有想象中那么高。World Labs 的技术路线根据公开信息和我自己的理解大致是三条腿走路一是三维场景的神经表征把真实世界或者虚拟场景压缩成一个模型能理解的内部表示二是物理规律的隐式学习让模型从大量交互数据里自己总结出什么东西会掉、什么东西会弹、什么东西会碎三是可交互的生成不只是生成一张图或者一段视频而是生成一个你可以走进去、可以操作、可以改变状态的动态世界。这三条腿里第三条是最难的也是最有商业价值的。因为一旦模型能生成可交互的三维世界那机器人训练、自动驾驶仿真、游戏开发、工业数字孪生这些场景全部被打开。1.2 AMD 的算力生意为什么需要世界模型这里要讲一个很多人忽略的逻辑算力需求不是凭空产生的它是被应用场景拉动的。过去两年 AMD 在数据中心 GPU 上的增长很大程度上是靠大语言模型的训练和推理需求拉动的。但大语言模型的算力需求有一个特点训练是一次性的巨额投入推理是持续但相对平稳的支出。而且随着模型架构优化、量化技术成熟、推理芯片专用化单位 token 的推理成本在快速下降。这意味着什么意味着如果 AMD 只做大语言模型的算力生意它的增长曲线迟早会碰到天花板。它需要一个新的、算力消耗更大的应用场景来接棒。世界模型恰好就是这样一个场景。原因很简单三维空间的表征和推演计算量比文本大几个数量级。一段文字可能几百个 token但一个三维场景可能有几百万个空间点每个点都要参与物理推演和渲染。而且世界模型需要的是交互式推演不是一次性生成这意味着算力消耗是持续的、实时的。我打个比方大语言模型像是你请了一个写手帮你写文章写完了就完了。世界模型像是你请了一个陪练陪你打球每一秒都在消耗算力。后者的算力粘性远高于前者。AMD 买 World Labs本质上是在为它的算力生意找一个高粘性、高消耗的新场景。芯片还是卖芯片但卖芯片的理由变了。1.3 这笔交易对普通开发者的实际影响说了这么多宏观的回到普通开发者最关心的问题这跟我有什么关系短期看关系不大。World Labs 的技术不会马上开源AMD 的芯片也不会因为这笔收购就降价。但中期看有几个变化值得关注。第一AMD 的软件栈会加速向三维和物理仿真方向倾斜。ROCm 生态一直被人诟病不如 CUDA 成熟但如果 AMD 把世界模型作为差异化方向它可能会在 ROCm 里加入更多针对三维渲染、物理仿真、神经辐射场的优化库。这对做图形、做仿真、做机器人的开发者是利好。第二世界模型的工具链会逐渐标准化。现在做世界模型的公司各搞各的没有统一的数据格式、没有统一的评估指标、没有统一的部署方案。AMD 这种体量的公司进来之后会推动一些标准落地。这对整个行业是好事。第三也是最实际的如果你现在在做机器人、自动驾驶、三维生成、数字孪生这些方向你未来可能会多一个算力选择。以前这些场景基本被某一家生态垄断现在 AMD 有了自己的世界模型团队它会有动力去优化这些场景在自家芯片上的表现。2. 世界模型的技术栈拆解要理解这笔交易的价值得先搞清楚世界模型到底是怎么做出来的。我把整个技术栈拆成四层来讲从下到上分别是算力层、表征层、推演层、交互层。2.1 算力层为什么世界模型比大模型更吃硬件先算一笔账。训练一个千亿参数的大语言模型大概需要几千张高端 GPU 跑几个月。这个算力需求已经很大了但它是一次性的。世界模型的算力需求不一样。我拿一个具体的场景举例训练一个能在虚拟房间里推演物体运动的模型。你需要生成大量的三维场景每个场景里有很多物体每个物体有位置、姿态、材质、质量这些属性。然后你要模拟这些物体在各种力的作用下的运动生成海量的交互数据。这个过程的数据量是什么级别一个简单的场景假设有 50 个物体每个物体每秒的状态变化记录 100 次一次记录包含位置、旋转、速度这些信息大概几百个字节。跑一个小时的仿真就是 50 乘以 100 乘以 3600 再乘以几百字节大概是几十 GB 的数据。而你要训练一个泛化能力好的模型需要几百万甚至上千万个这样的场景。这还只是数据生成阶段。训练阶段更狠因为世界模型的输入是三维的网络结构里有很多三维卷积、点云处理、神经渲染的模块这些模块的计算密度远高于普通的 Transformer。所以世界模型对硬件的需求不只是算力大而是算力大加内存带宽高加互联速度快。这三个指标恰好是 AMD 在 MI 系列上重点发力的方向。AMD 买 World Labs某种程度上也是在给自己的硬件找一个能充分发挥其架构优势的软件场景。2.2 表征层怎么把一个三维世界塞进模型里这是世界模型最核心的技术难点。你没法直接把一个三维场景喂给神经网络你得先把它变成一种模型能处理的表示形式。目前主流的有几种路线。第一种是体素表示把空间切成一个个小方块每个方块记录它是不是被占据、是什么材质。这种表示直观但分辨率一高数据量就爆炸。第二种是点云表示用一堆三维点来描述场景。这种表示灵活但点之间没有连接关系模型很难理解拓扑结构。第三种是神经辐射场用一个神经网络来隐式地表示场景你给它一个坐标和方向它告诉你那个位置是什么颜色、什么密度。World Labs 的技术路线根据李飞飞团队之前的学术工作我推测是偏向第三种加第一种的混合方案。用神经辐射场做高保真的外观表示用体素或者隐式场做几何和物理属性的表示。这样做的好处是既能渲染出好看的结果又能支持物理推演。这里有个关键的技术选择是用显式的三维表示还是用隐式的神经网络表示。显式表示的好处是可解释、可编辑、物理仿真直接在上面跑就行。坏处是数据量大、泛化能力差。隐式表示的好处是紧凑、泛化好。坏处是物理规律不好直接嵌入得靠模型自己学。我个人的经验是纯隐式路线在视觉生成上很漂亮但一到物理交互就露馅。因为物理规律是刚性的你没法靠学来保证一个杯子掉地上一定碎。所以真正能落地的世界模型大概率是显式和隐式混合的架构。2.3 推演层让模型理解接下来会发生什么表征解决了世界长什么样的问题推演解决的是世界接下来会变成什么样的问题。这一层的核心技术是条件生成加物理约束。模型要根据当前的状态和施加的动作预测下一时刻的状态。听起来简单做起来极难。因为三维世界的状态空间是连续的、高维的而且物理规律是非线性的。我举个具体的例子。你让模型预测一个球从斜坡上滚下来的轨迹。如果只靠数据驱动模型可能会学到一个球会往下滚的粗略规律但它很难精确预测球在每一时刻的位置和速度。因为这里面涉及重力、摩擦力、空气阻力、斜坡材质、球的材质任何一个因素变了轨迹就变了。所以推演层通常需要引入物理引擎作为先验。不是让模型从零学物理而是让模型学物理引擎的残差。物理引擎负责给出一个粗略的、符合基本规律的预测模型负责修正那些物理引擎搞不定的细节比如形变、破碎、流体。这个思路在工程上非常实用。我试过纯数据驱动的方法做物体掉落预测训练数据里没见过的物体预测结果惨不忍睹。后来改成物理引擎加神经网络修正泛化能力立刻上了一个台阶。2.4 交互层从看到动手的跨越交互层是世界模型区别于视频生成模型的关键。视频生成模型是你给它一段文字它给你一段视频你只能看。世界模型是你给它一个动作它给你一个反馈你可以一直交互下去。这一层在技术上涉及几个问题。第一是实时性你做一个动作模型得在几十毫秒内给出反馈不然交互体验就崩了。第二是一致性你来回走几遍同一个场景得长得一样不能每次生成都变样。第三是可编辑性你得能往场景里加东西、删东西、改东西。实时性对硬件的要求极高。因为每一次交互都要跑一遍完整的表征加推演加渲染管线。这也是为什么我说世界模型是算力消耗大户。一个用户玩一个小时的交互式世界模型消耗的算力可能比生成几千张图还多。一致性靠的是场景的持久化表示。模型不能每次交互都重新生成整个场景它得维护一个场景状态每次只更新变化的部分。这个思路在游戏引擎里很成熟但搬到神经网络里就不一样了因为神经网络的表示是分布式的你很难只更新一部分。可编辑性是最难的也是商业价值最大的。因为一旦场景可编辑那它就能被用到设计、仿真、训练这些场景里。你可以在世界模型里搭一个厨房然后让机器人在里面学做饭。你可以搭一条街道然后让自动驾驶模型在里面跑。这些场景的价值远超生成一段好看的视频。3. 从芯片视角看这笔交易的战略逻辑站在 AMD 的角度这笔交易的逻辑链条其实很清晰。我把它拆成三步来看。3.1 第一步算力商品化之后的差异化焦虑GPU 算力正在商品化。这话听起来有点反直觉毕竟现在高端 GPU 还供不应求。但从技术趋势看算力本身正在变成一种标准品。英伟达的护城河从来不是芯片本身而是 CUDA 生态。AMD 的芯片在纸面参数上并不差差的是软件生态和开发者习惯。那怎么破局一条路是硬刚 CUDA把 ROCm 做得跟 CUDA 一样好用。这条路 AMD 走了很多年进展有但很慢。另一条路是找一个 CUDA 还没那么强的新场景提前卡位。世界模型就是这样一个场景。因为世界模型的技术栈和大语言模型重合度不高CUDA 在这个领域的积累没有像大语言模型那么深。AMD 如果能在世界模型这个方向上做出差异化的软件栈它就有机会在一个新战场上和英伟达站在同一起跑线。3.2 第二步从卖硬件到卖世界模拟能力这笔交易之后AMD 的叙事变了。以前它说我的芯片跑大模型很快现在它可以说我的芯片加上我的世界模型技术能帮你构建可交互的三维世界。这个叙事对两类客户特别有吸引力。一类是做机器人的他们需要大量的仿真环境来训练机器人。另一类是做自动驾驶的他们需要逼真的虚拟场景来测试和训练算法。这两类客户的特点是算力需求大、粘性高、愿意为整体解决方案付费而不是只买裸芯片。我认识几个做机器人训练的朋友他们现在最大的痛点就是仿真环境不够真、不够快。用传统的物理引擎渲染质量差跟真实世界差距大。用神经渲染好看但物理不对。如果 AMD 能提供一个既有神经渲染质量、又有物理正确性的世界模型方案再加上它自己的芯片这个组合是很有竞争力的。3.3 第三步人才和知识产权的双重收割82 亿美元买的不只是技术还有人和专利。李飞飞团队的学术影响力、World Labs 积累的专利、以及整个团队在三维视觉和空间智能上的 know-how这些都是钱买不到的东西。而且这笔收购还有一个隐性价值它向整个行业释放了一个信号AMD 是认真要做 AI 软件和算法的不只是卖芯片的。这个信号对吸引人才很重要。顶尖的 AI 研究者不会去一个只卖硬件的公司但他们会考虑一个既有硬件又有前沿算法团队的公司。4. 实操视角如果你想跟进世界模型方向说了这么多战略层面的东西回到实操。如果你是一个开发者或者研究者想跟进世界模型这个方向我分享一些自己的经验和踩过的坑。4.1 入门路径和工具选择第一步不是去训模型而是去玩现成的工具。我建议从这几个东西入手。Blender 加 Python 脚本用来生成三维场景和交互数据。Blender 的好处是免费、社区大、Python API 成熟。你可以用脚本批量生成各种场景导出成模型能用的格式。PyBullet 或者 MuJoCo用来做物理仿真。这两个都是成熟的物理引擎PyBullet 更轻量MuJoCo 在接触力学上更准。我个人的习惯是用 PyBullet 做快速原型用 MuJoCo 做精细仿真。PyTorch3D 或者 Kaolin用来做三维深度学习。PyTorch3D 是 Meta 出的功能全但有点重。Kaolin 是英伟达出的跟它的生态结合紧密。如果你用 AMD 的卡可能得自己折腾一下兼容性这是现实。神经辐射场的实现推荐从 nerfstudio 入手。它把各种 NeRF 变体都封装好了你改改配置就能跑。我一开始自己从论文复现踩了一堆坑后来发现 nerfstudio 已经把这些坑都填了。4.2 数据生成的实操要点世界模型训练最耗时的不是训练本身是数据生成。我在这上面浪费过很多时间总结几个要点。场景的多样性比数量重要。你生成一万个长得差不多的房间不如生成一千个风格迥异的场景。模型需要看到足够多的变化才能学到泛化的物理规律。物理参数的随机化要合理。你不能随便设重力加速度得在合理范围内随机。我试过把重力设成地球的十分之一模型学出来的物理规律在正常重力下完全不能用。渲染质量要跟训练目标匹配。如果你只是训练物理推演低质量的渲染就够了省时间。如果你要训练外观生成那就得高质量渲染。我一开始什么都用高质量渲染结果数据生成慢得要死后来分阶段处理效率高了很多。4.3 训练过程中的常见坑第一个坑是过拟合到特定物体。模型在训练集里的杯子上表现很好换一个没见过的杯子就崩了。解决办法是大量使用域随机化物体的形状、材质、大小都要随机。第二个坑是物理规律学偏。模型学到的是统计规律而不是物理规律。比如它发现训练数据里球总是往下滚就学了一个球往下滚的规律但如果你把场景倒过来它就不知道球该往上掉了。解决办法是引入物理引擎作为约束或者用数据增强把场景翻转过来训练。第三个坑是长时推演的误差累积。模型预测一步很准预测十步就开始飘预测一百步就完全不能看了。这是所有序列预测模型的通病。解决办法是训练时就用长序列让模型学会纠正自己的误差。另外可以用物理引擎定期校正模型的状态。4.4 硬件选择的现实考量如果你真要训世界模型硬件这块我得说点实在的。显存是第一瓶颈。三维表征加物理状态显存消耗比纯文本大得多。我建议至少 24GB 显存起步48GB 以上会比较舒服。AMD 的卡在显存容量上通常比较大方这是它的一个优势。互联带宽是第二瓶颈。世界模型的训练往往需要多卡并行卡之间的通信量很大。AMD 的 Infinity Fabric 在自家卡之间互联上做得不错但跨节点的话还是得看具体的网络配置。软件生态是第三瓶颈也是最现实的瓶颈。很多三维深度学习的库对 ROCm 的支持还不完善。如果你选 AMD 的卡得有折腾的心理准备。我的经验是先在小规模上验证可行性确认工具链能跑通再上大规模。别一上来就买一堆卡结果发现某个关键库不支持那就尴尬了。5. 常见问题速查我把这段时间被问得最多的问题整理了一下做成速查表。问题排查思路解决办法模型预测的物理规律不对检查训练数据的物理参数范围引入物理引擎约束增加域随机化长序列推演误差累积检查训练时的序列长度用长序列训练定期用物理引擎校正显存不够检查三维表征的分辨率降低体素分辨率用隐式表示替代显式渲染质量差检查神经辐射场的训练轮数增加训练轮数提高采样密度交互延迟高检查推理管线的瓶颈用场景持久化只更新变化部分场景一致性差检查场景表示的持久化机制维护全局场景状态避免重复生成工具链不兼容检查 ROCm 版本和库的依赖用容器化环境锁定版本提示世界模型的训练数据生成往往比训练本身更耗时建议先把数据管线搭好再考虑模型架构。注意物理引擎和神经网络的结合不是简单的叠加需要仔细设计两者的接口和误差修正机制。6. 我个人的一些判断最后说点我自己的看法不一定对但都是我真实的想法。这笔交易短期内的实际产出可能不会太多。大公司收购前沿研究团队整合期通常要一到两年。World Labs 的技术要真正融入 AMD 的产品线需要时间。如果你指望明年就能用上 AMD 的世界模型工具链可能会失望。但长期看这个方向是对的。算力生意最终要落到应用场景上而世界模型是少数几个能持续消耗大量算力、又有明确商业价值的场景之一。AMD 现在卡位比等到赛道成熟了再进场要好。对普通开发者来说我的建议是不用急着 all in 世界模型但可以开始关注。如果你现在做的是三维视觉、机器人、仿真这些方向你其实已经在世界模型的周边了。把这些技能往世界模型的方向靠一靠成本不高潜在收益不小。如果你现在做的是纯大语言模型想转世界模型那要做好心理准备技术栈差别挺大的。文本处理的那套经验在三维空间里很多都不适用。但反过来如果你既懂大模型又懂三维那你就是稀缺人才。这个方向现在最大的问题不是算力也不是算法是数据。高质量的三维交互数据太少了。谁能解决数据问题谁就能在这个方向上领先。这也是为什么我觉得 World Labs 的价值不只是它的模型还有它积累的数据和生成数据的方法。我在实际操作中的体会是世界模型这个方向理论很美好工程很骨感。每一个看起来简单的功能背后都是一堆琐碎的工程问题。但正是这些工程问题构成了真正的壁垒。算法可以发论文工程只能靠时间和踩坑积累。AMD 花 82 亿买的某种程度上就是这些踩坑积累。
