做具身智能这两年我越来越觉得扩散模型在“预测”这件事上的潜力被低估了。大家一提到扩散模型首先想到的是AI绘画、图像生成但放到机器人或者具身模型里它解决的是一个非常实际的问题面对一个物理世界模型怎么预测下一步会发生什么、机器人该怎么动作才能既有多样性又不飘。今天想把我在实际项目里用扩散模型做具身模型预测的完整思路、实现细节和踩坑记录整理出来希望能帮到正在做机器人决策、规划或者世界模型的同行。这个内容不是什么纯学术复盘而是一篇偏工程向的实操总结。适合下面几类人看已经接触过扩散模型想在机器人或具身智能方向上做预测器的人正在为机械臂抓取、移动导航或操作任务发愁“动作预测不准”的人以及对世界模型和Diffusion Policy这类方向感兴趣想了解其内部逻辑的同学。我会把核心原理、网络设计、训练细节、推理加速、常见坑全部拆开讲。1. 为什么具身模型预测要引入扩散模型1.1 具身模型预测的本质是“分布预测”具身模型通常指的是机器人或者智能体通过传感器感知环境并结合自身状态做出决策的一整套系统。这里的“预测”不仅仅是预测下一秒的坐标位置而是预测一段时间的动作序列、未来观测结果甚至是潜在的奖励信号。这个任务和图像生成有很强的相似性输入是当前的状态和任务目标输出是未来的一段变化过程而这段过程往往有多个合理的解法。我最早用传统方法做预测时最大的痛点在于会把多解问题强行压成单解。用监督学习训练一个确定性网络输出的是动作序列的均值结果在真实环境里表现很差。比如机械臂抓一个杯子同一个起始位置有多种抓取角度和路径都能成功但网络只学到了一个平均轨迹这个平均轨迹往往两边都不讨好要么撞到障碍物要么姿态不对。后来我意识到具身预测这个问题的本质不是输出一条“正确”轨迹而是要建模整个可达轨迹的分布扩散模型恰恰擅长这件事。1.2 传统预测方法的局限在哪里先说说我之前用过的几种方案方便大家理解为什么最后要落到扩散模型上。端到端LSTM/GRU预测实现简单训练快但它学的是确定性映射遇到多模态行为时只会“和稀泥”输出一个从所有可能结果中平均出来的、物理上通常不可执行的轨迹。变分自编码器类的生成模型虽然能建模分布但VAE的后验坍缩问题很常见生成的轨迹多样性有限而且过于平滑缺少真实动作的锐利变化。基于能量函数的方法EBM表达能力强但训练需要负样本采样对抗训练不稳定在高维连续动作空间里很难收敛到我想要的精度。自回归模型Action-by-Action预测用Transformer或者MLP逐token预测动作序列每一步都会累积误差长预测时域下轨迹容易漂移而且因为需要逐步采样实际部署延迟也不低。扩散模型一开始看重的优势就是它可以一次性生成整段动作序列而不是逐帧地挤牙膏。它通过加噪和去噪的过程把一个简单的噪声分布逐渐变成复杂的数据分布天然支持多模态输出。另一个隐性的优势是训练非常稳定没有GAN那种“判别器压着生成器打”的问题。在动作序列预测上扩散模型的训练目标只有一个就是把噪声预测准这个目标函数比很多人想象的要干净得多。1.3 扩散模型在预测场景中的定位在具身模型预测里扩散模型通常承担两种角色。第一种是动作序列生成器输入当前观测和任务描述直接生成未来一段时间的动作第二种是世界模型的组成部分生成未来的状态观测序列再配合一个控制策略使用。我更倾向于把两种角色都理解成同一个本质条件分布建模。所谓“条件”就是我们要告诉模型“现在是什么情况、目标是什么”所谓“分布”就是模型要学会针对同一个条件输出多种合理的预测。我在项目里实际使用的是动作序列生成路线也就是常说的Diffusion Policy思路。这样做的好处是把预测和控制合在一起模型生成的可执行动作直接送入底层控制器中间不用再去解一个复杂的运动规划问题。这里存在一个关键前提机器人必须有一个可靠的低层控制接口比如位置控制或力矩控制扩散模型只负责输出宏观的动作轨迹不承担微调关节电流这种低层任务。分离责任边界之后模型的复杂度反而下降了很多。一个很重要但也容易被忽略的点是扩散模型不是替代整个决策系统而是嵌入到决策系统的某个环节中。我在实际项目中还保留了一个上层任务调度模块它会判断当前机器人该去执行哪个子任务而扩散模型负责的是把子任务翻译成具体的动作轨迹。这样的架构让系统更容易调试如果模型预测不准可以先排除任务分配问题单独看动作生成质量。2. 扩散模型做预测的核心设计思路2.1 前向加噪与反向去噪怎么落到序列数据上扩散模型的训练分为两个过程前向过程给真实数据逐步加噪反向过程学习如何把噪声一步步去掉。放到序列预测场景下我们处理的对象不是图像网格而是形状为(horizon, action_dim)的二维矩阵。horizon是预测的时间步数比如预测未来2秒、以20Hz控制频率计算就是40步action_dim是动作空间的维度比如7自由度机械臂加夹爪开合就是8维。前向过程不需要神经网络它直接将轨迹和噪声按比例混合。给定真实动作序列x0我们可以通过公式xt sqrt(alpha_t) * x0 sqrt(1 - alpha_t) * epsilon一步得到任意时刻的加噪结果。alpha_t是一个随t衰减的系数t越大噪声占比越高。这个设计的核心在于我们不需要像图像处理那样真的去模拟逐步加噪的物理过程而是通过重参数化直接抽样得到中间状态从而大大提升训练效率。反向过程则是扩散模型的重头。它的任务是学习噪声残差epsilon_hat也就是说给定一个加噪后的轨迹、时刻t以及条件信息模型要预测出我们往里面加了什么噪声。在训练时损失函数就是预测噪声与真实噪声之间差的平方。一旦噪声预测准了我们就可以从随机噪声出发用去噪网络迭代几十步逐步还原出一条合理的动作轨迹。值得一提的是我们训练时用的是简化后的损失函数并没有去显式地最小化两个分布间的KL散度。这个简化目标虽然看上去只是一个L2回归但它在扩散模型中被反复证明了稳定性和有效性。对动作序列这种连续低维数据来说效果尤其好因为它不需要处理图像中复杂的感知结构。2.2 条件信息怎么融合进去具身模型的预测不能只看历史动作还要结合当前状态和任务目标。常见的条件信息有末端执行器位姿、关节角、力传感器读数、任务描述embedding有时甚至还有一张鸟瞰图。我的做法是把这些条件信息整理成一个向量然后在去噪网络的多个层级里注入进去。与你可能想象的“只在开头拼一起”不同分层注入的效果更好能让不同抽象级别的特征都受到条件信息的引导。具体来说我采用的是控制序列生成中常用的做法把条件向量通过一个两层MLP编码成全局embedding再在U-Net的每一个下采样和上采样块之后对特征做一次调节。调节方式可以是简单的相加也可以采用FiLM方式即网络预测两组系数对特征做仿射变换。我在对比实验中发现FiLM方式在小数据量上比相加更加稳定模型不容易忽略条件信息尤其是任务目标比较多样的时候。另外还有一个细节条件和噪声轨迹之间的时间对齐问题。预测时我们输入的是当前时刻的状态条件输出的却是未来动作序列因此条件信息需要在时间轴上复制与每一步动作对应。虽然这听起来很机械但如果漏掉这步模型就会混淆“现在”和“未来”的区别生成出的轨迹会有半拍延迟的问题。我最早训练时踩的就是这个坑后来在每个batch里把条件通过repeat(horizon, 1)的方式扩展成与轨迹相同的长度问题才消失。2.3 离散潜空间和连续动作 空间的取舍扩散模型既可以建模连续数据也可以在离散结构上工作。动作序列天然是连续数据所以DDPM的原始连续设定直接适用。但有一些研究方向为了提升效率会先训练一个动作编码器把高维动作序列压缩到低维潜空间然后在潜空间上做扩散生成最后再用解码器还原回原始动作。这种方式有点类似图像生成里的LDM即潜在扩散模型。我在实际项目中权衡过后选择了直接对原始动作空间建模原因有三一是机械臂的动作维度通常只有8到16维本来就谈不上“高维”直接预测原始空间并不会遇到图像那种海量像素的问题二是引入编码器解码器会增加系统复杂度调试时多了一个瓶颈环节对本就不充裕的算力并不友好三是直接对原始空间建模能保留动作的精细尺度比如夹爪的微小开合变化经过编码解码后会损失一部分精度这对于抓取任务来说可能是致命的。但如果你的任务是高分辨率视觉预测比如直接预测未来相机的像素图像那老老实实用潜空间扩散模型就是必要的。图像像素动辄百万维直接做扩散对显存是灾难级的要求。潜空间先把像素压缩到几十维再做去噪是工程上不得不走的路。我建议根据实际预测目标来决定不要为了“技术酷炫”而强行套一层潜空间。3. 实操过程与核心环节实现3.1 数据准备与归一化处理数据是扩散模型预测效果的上限。我在项目里用了两部分的轨迹数据一部分来自仿真环境采集另一部分来自人工遥操作。仿真数据量大但分布相对干净现实数据和实际物理约束匹配度更高但数据量少两者混合使用效果最好。每一条样本包含开始状态观测、后续动作序列、任务目标、最终结果标签。存储格式我直接用npz文件每条样本独立保存方便后续子采样和并行加载。数据预处理中有三个细节需要重点注意。第一是归一化动作序列必须统一到接近零均值、单位方差的分布这样扩散模型的噪声尺度才能保持一致我使用整个训练集的动作均值和标准差来做标准化推理时再把生成结果反标准化回真实动作范围。第二是滤波遥操作采集的数据存在高频抖动我会用零延迟移动平均滤波对动作序列做轻量平滑但切不可过度平滑否则会丢掉快速避障的锐利动作。第三是缺失值处理传感器偶尔会丢帧规则是如果有连续超过5个时间步的缺失就丢弃整条样本如果少于5个就用线性插值补齐。我最终整理出的数据集规模大约有12万条轨迹片段。对于扩散模型的训练来说这个规模不算很大但配合适当的数据增强比如在动作上附加少量高斯噪声、对状态条件施加随机遮挡模型训练的多样性还是够用的。我想说的是在数据量不足的情况下更好的办法是先在仿真里大规模采集再用现实数据做微调而不是指望扩散模型天生可以弥补数据短缺。3.2 网络结构选型U-Net还是1D卷积对轨迹序列来说最直接的网络结构有两个选择。第一种是把轨迹当作多通道一维信号用1D卷积加多层堆叠来提取特征第二种是套用图像领域的U-Net只不过卷积核变成一维、输入输出通道对应动作维度。我在项目中实际用的是1D卷积版的U-Net结构因为它的感受野大能够捕获长时间范围内动作的相关性同时层间跳连能让网络在深层特征和原始尺度之间保持信息通路训练更容易收敛。模型的关键结构可以用伪代码简单描述输入轨迹 x: [batch, horizon, action_dim] 加噪时间步 t: [batch] 条件向量 c: [batch, condition_dim] 位置编码 t - MLP - t_embed 条件向量 c - MLP - c_embed 下采样块1: Conv1d(64) FiLM(t_embed, c_embed) 下采样块2: Conv1d(128) FiLM(t_embed, c_embed) 下采样块3: Conv1d(256) FiLM(t_embed, c_embed) 中间块: Conv1d(256) Attention 上采样块1: 跳连 Conv1d(128) FiLM(t_embed, c_embed) 上采样块2: 跳连 Conv1d(64) FiLM(t_embed, c_embed) 上采样块3: 跳连 Conv1d(action_dim) # 输出噪声预测 输出: 与输入同形状的噪声预测超参数方面我使用的horizon32action_dim8条件向量维度为64网络宽度从64到256逐步翻倍。整个模型的参数量大概在3800万左右单卡训练完全够用。相比更大规模的Transformer结构这个U-Net方案在动作序列预测上更吃香因为轨迹数据有很强的局部平滑性和时序连贯性卷积结构的归纳偏置恰好匹配这些特性。如果你是在低算力环境上跑还可以把网络宽度降到32起步、深度减半模型大约几百万参数量预测精度会有小幅下降但依然远好于普通MLP。关键原则是网络输出通道必须等于动作维度结构上不要直接加最后的sigmoid或tanh输出因为噪声值的范围没有特定边界独立线性输出层就够了。3.3 训练损失、参数设置与训练过程训练过程比我预想中要快和稳。损失函数就一个即预测噪声和真实噪声的L2距离。对于一批随机采样的真实轨迹我们从1到1000之间均匀抽取时间步t计算出对应的加噪轨迹再让模型预测噪声。我用的是AdamW优化器初始学习率设在1e-4采用带warmup的余弦调度warmup步数设置为2000步batch_size为256。整个训练过程大概40个epoch在单块专业显卡上耗时约9小时。每一轮结束时我会在验证集上评估两类指标一类是生成轨迹和真实轨迹的平均距离误差另一类是成功率后者通过把生成的动作序列重新放回仿真环境执行来获取。训练过程中我特别关注验证集上的损失曲线。如果出现训练损失持续下降但验证损失震荡上涨基本就是过拟合需要增强数据多样性或者加大dropout。我在训练中还做了一件事就是周期性给条件信息加扰动。具体来说会让5%的训练样本中的条件向量被随机替换成另一个样本的条件这个简单的操作能提升模型对条件信息不完整时的鲁棒性。因为在实际部署时传感器噪声或者遮挡会导致条件信息失真提前在训练时模拟这种情况省去不少真机调试的麻烦。3.4 推理阶段去噪步数如何设置训练完成后推理阶段需要从随机噪声出发进行迭代去噪。理论上去噪步数越多生成质量越高但机器人控制对实时性要求极高不可能允许你跑上千步去噪。我实测过的结果很明确当去噪步数从1000降到20时轨迹生成质量几乎没有下降平均位移误差只增加了不到2%。降到10步时误差增加了约7%左右但如果配合一些加速技巧也是可以接受的。我在项目里采用的是DDIM采样器它能用很少的步数得到不错的结果。DDIM相比DDPM的关键区别在于采样过程是确定性的给定同样的初始噪声多次采样生成的轨迹完全一致这在实际部署时是个很好的属性意味着同一个状态下不会出现无法解释的随机抖动。在10步去噪下单条32步轨迹的生成耗时只有大约18毫秒足以满足实时控制的要求。有一些工程上的优化也可以叠加第一先把初始噪声固定为随机种子这样每次生成的轨迹虽然不同但能受种子控制便于复现第二在生成轨迹尾部只取前若干步作为实际动作输出后续的轨迹作为滑动窗口的一部分滚动更新这种receding horizon策略能减少截断误差第三当任务对成功率要求高而对多样性要求低时可以使用低温采样即将预测的噪声在去噪过程中乘以一个小于1的系数这样可以降低生成轨迹的随机性减少抖动但会牺牲一些多模态探索能力。4. 常见问题与排查技巧实录4.1 生成轨迹变成一条水平直线这是我遇到的第一个严重问题。现象是无论输入什么条件模型生成的轨迹几乎都一样完全没有动作变化。排查下来根本原因在于训练数据中的动作分布过于集中。因为我的仿真环境中大部分轨迹都是一条从起点到目标点的平滑路径数据多样性很差而扩散模型在收敛时学会了输出整个数据分布的均值也就是一条“最中庸”的轨迹。解决方法分两步走。首先扩充了训练数据刻意采集了不同路径风格的轨迹包括绕行、停顿、曲折接近目标等模式其次在训练时把条件信息做得更丰富让不同的目标位置对应明显不同的条件向量。这两步下来生成轨迹的多样性明显改善。如果你也遇到类似问题建议先检查一下数据分布是否本身就是多模态的如果数据里只有一种行为模式扩散模型无论如何也没办法变出多样性的魔法。4.2 训练过程中出现NaN扩散模型训练到中途出现NaN是比较常见的。出现NaN的地方通常有三个损失函数值变得极大、网络权重中出现无界数值、学习率调度导致梯度爆炸。有一次我排查了很久最后发现root cause是输入轨迹中存在极端异常值。因为遥操作数据里有几个时间段的关节速度异常高标准化后的数据仍然又厚尾前向加噪后出现了数值溢出。解决方法是在数据预处理阶段就对轨迹做一次基于分位数的异常值截断把所有关节速度超出5倍标准差的样本直接删除或限制到边界同时在训练代码里加入梯度裁剪clip_grad_norm_设为1.0。这两步组合下来之后NaN问题再也没有出现过。我还建议在训练脚本中设置周期性检查权重矩阵是否包含NaN的断言一旦检测到就立即保存当前状态并终止训练避免浪费一整夜的训练时间。4.3 生成的动作在连续帧之间抖动模型预测的轨迹看起来是很光滑的但实际执行时机器人动作却在高速抖动。这个问题的根源在于预测与控制频率不同步。我最初预测频率是5Hz控制底层是20Hz当我每200ms生成一段新轨迹时相邻两段轨迹在交界处存在明显的不一致导致控制信号跳变。解决思路是引入动作重叠每次生成32步的轨迹但只执行前12步下一次生成时把窗口向前滑动12步让新轨迹和前一条轨迹在重叠区域尽量保持一致。另一个辅助手段是终点锚定即在新轨迹生成时把上一段轨迹的最后几步作为条件信息的一部分传给模型强制新旧轨迹在边界处平滑衔接。这个技巧在真机上效果显著动作连续性肉眼可见地改善了。4.4 模型对训练集里没见过的目标位置适配性差具身模型部署时不可避免会遇到从未见过的目标位置如果模型只在固定区域的目标上训练面对新位置时就会表现出明显的性能下降。我意识到这其实是一个条件泛化问题。仅仅靠扩大数据集覆盖更多位置仍然不够更根本的解法是让条件表示具备更强的泛化结构。我的做法是不再用目标位置的绝对坐标作为条件而是换成相对坐标和场景几何特征的综合描述。比如让条件向量表达“目标相对于机器人基座的位置偏移、目标附近的障碍物距离、需要避开的边界方向”这样模型学到的是相对空间关系而不是绝对位置的记忆。改动之后即使目标位置完全没见过只要相对几何模式类似模型依然能够生成相对合理的动作轨迹。这是一个容易被忽略但对泛化能力影响巨大的细节。5. 工具链选型与硬件配置参考5.1 开源库与关键技术栈抛开轮子造轮子我直接使用了社区现成的组件。训练和推理主框架是PyTorch模型结构自己实现但采样器使用了成熟库中的实现因为扩散模型的采样器实现细节比较多自己手写容易出错。DDPM和DDIM采样器都是从开源库中导入的底层计算逻辑经过大量验证安全可靠。数据管线方面我用了PyTorch原生的Dataset和DataLoader配合num_workers8进行并行加载没有额外引入重型的数据框架。如果你希望在自研代码时有一个参考起点我强烈建议先不要一个大项目整体搭建而是从单条轨迹生成的小实验开始跑通。具体来说在写完整机器人控制代码之前先构造一个简单的二维轨迹预测任务使用随机点之间生成贝塞尔曲线作为轨迹数据用扩散模型生成这些曲线。这个小实验可以帮你验证网络结构、采样器和超参数选择是否合理大幅降低后续集成调试的难度。5.2 硬件配置需求扩散模型预测器的训练门槛没有想象中那么高。以我的项目为例训练网络参数量约3800万在单块显卡上可以完成全部训练过程显存占用大概在11GB左右。对于个人开发者或者学生来说使用云GPU按时租用训练即可成本可控。推理阶段更是轻量一张普通独立显卡甚至CPU优化后都能跑得动因为推理时不需要计算梯度显存占用比训练低一个量级。如果你要预测的是视觉观测的未来帧那硬件门槛会急剧上升。一是视觉特征编码器本身就是大网络二是潜空间的编码解码也在占用算力三是如果做多帧预测训练时显存消耗是线性增长的。在这种情况下我建议至少使用24GB显存以上并考虑分块推理、混合精度训练以及梯度检查点等技术。为了控制显存训练时也开启混合精度虽然损失尺度有所变化但总体收益非常明显训练速度提高约30%。5.3 仿真环境与数据采集建议仿真环境的选择我没法给出唯一的答案需要结合机器人的具体形态。对于机械臂抓取任务我选用了成熟的物理仿真平台内置URDF导入和控制器接口。重点不是选哪个平台而是训练与仿真之间要有闭环。我搭建的采集流程是在仿真场景中随机初始化目标位置利用任务规划器自动生成大量演示路径然后通过控制接口记录动作序列和状态序列这样可以快速扩充数据规模。数据格式上我建议每个样本统一保存为以下字段的字典obs表示条件状态action表示动作序列meta表示任务标签这样后续做模型迭代时只需要改训练脚本不需要反复调整数据格式。另外仿真数据有一点需要特别警惕仿真环境里的动力学模型和真机在摩擦、惯性参数上差距很大。因此我最终的部署策略是先用仿真数据训练主模型再用真机遥操作数据做最后阶段的微调微调时把所有条件信息库的数值重新计算一遍以免分布不一致导致预测偏移。6. 实验效果评估与对比分析6.1 评估指标怎么定评估一个动作预测器不能只看一个指标我同时用几个维度来衡量。平均位移误差生成轨迹与真实轨迹在每一步上的平均欧氏距离它反映预测的准确度。成功率把生成动作在仿真或真机中执行判断是否成功完成任务这是最终关心的指标。多样性多次采样生成轨迹之间的平均距离用来衡量模型是否学到了多模态分布。推理延迟从输入条件到生成完整轨迹耗费的时间部署场景中必须控制在实时范围内。其中成功率是核心平均位移误差在真实环境中不一定和成功率强相关。因为一条与真实轨迹有明显偏差但依然能完成任务的动作轨迹在误差指标上可能很差但成功率很高。我发现这一点特别重要不要迷信误差指标必须结合任务级评估来调模型。6.2 与传统方法的对比测试为了验证扩散模型的效果我用相同的数据集和条件信息训练了几个对比模型一个多层感知机直接回归动作序列、一个Transformer自回归模型、一个CVAE生成模型。结果如下模型平均位移误差归一化任务成功率多样性指标多层感知机0.4261%很低CVAE0.3668%中等Transformer自回归0.3172%中等扩散模型20步去噪0.2881%很高需要给公平性做个说明在相同条件下扩散模型的推理时间比多层感知机慢了一些但比Transformer自回归快得多。因为Transformer需要一个动作一个动作地生成而扩散模型能做到并行生成整段轨迹。在一台机器上测得的延迟中多层感知机为2毫秒、CVAE为7毫秒、Transformer为33毫秒、扩散模型为18毫秒。综合来看扩散模型是“质量与延迟”平衡得最好的方案。6.3 在真实机器人上部署的效果仿真里的成功并不等于真机上的成功。我最后在真实机械臂平台上做了部署验证经历过前面说过的抖动问题之后系统表现已经比较稳定了。实测下来随机初始化目标的抓取成功率可以达到78%平均单次决策时间约25毫秒满足20Hz控制循环的要求。更重要的是在多次试验中模型偶尔会给出有经验的路径选择比如绕过一个放置在目标附近的障碍物而这在传统确定性模型中是几乎没有出现过的行为。这条经验让我很受触动扩散模型在具身模型预测中的作用不仅仅是从一个指标上提升机器人性能而是让机器人真正拥有了“想象多种可能动作”的能力。在复杂场景下这种能力带来的探索性、适应性是其他生成方法难以替代的。7. 这些经验与建议给后来者的参考7.1 从最小的闭环开始做起的迭代策略我强烈建议任何想把扩散模型用到具身场景的人都不要一步到位。先从一个小闭环开始选一个简单任务采集少量数据跑通训练和推理在仿真里验证成功率然后再逐步扩大任务范围和数据规模。这个小闭环能帮你确认每一层的正确性同时建立一套快速定位问题的感觉。具体来讲可以先选一个二维空间点到点导航任务让扩散模型生成五个时间步的小段速度指令然后逐步增加到几十个时间步的动作序列。每扩展一步都应该回归测试之前的性能。我在项目里正是采用了这种迭代方式才没有在最后调试阶段陷入前后无法定位问题的困境。7.2 算力不够时如何调配资源扩散模型的训练比一般监督学习更吃显存因为需要同时加载加噪后的多种噪声级别样本且模型本身较深。如果算力很紧张可以这样调配优先到云平台租用单块专业显卡训练成本实际上比买一台整机低得多训练时使用混合精度和梯度检查点技术网络参数规模控制在2000万到4000万之间这并不需要堆到一个亿以上全量训练完成后把训练好的模型导出为半精度权重部署时再做量化推理性能基本不受影响。7.3 后续可以扩展的方向扩散模型在具身模型预测中的应用远不止动作轨迹生成。沿着我的项目继续扩展可以看到几个方向第一把扩散模型用于世界模型让模型预测未来观测和场景变化第二把视觉输入直接作为条件替换掉我正在使用的低维状态条件生成动作的同时也要生成决策依据第三结合强化学习用扩散模型为策略网络提供多样性探索建议而不是让强化学习完全从头学。这几个方向各有挑战但共同的核心都离不开“用概率分布描述未来的不确定性”这一思想。我个人在实际操作中的体会是扩散模型之所以在具身预测里有效不是因为它比别的模型更“智能”而是因为它更贴近物理世界本身的不确定性。真实世界的动作选择从来不是唯一的成功往往是多种可行策略中的一种。如果你正在为一个机器人预测任务头疼不妨试着把问题从“预测一条最可能的轨迹”转化为“预测一个合理的轨迹分布”这种视角的转变就有可能带来完全不同的解法。扩散模型只是工具真正值钱的是你对问题本身的理解和拆解方式。
