端到端智驾规划越做越深之后Diffusion和Flow Matching这两个名字几乎每场技术评审会都能听到。我最近在一个模拟项目里同时评估了这两条技术路线起因很简单团队原本用扩散模型做轨迹规划效果不错但推理延迟始终压不下来驾驶风格也偏发散后来换成Flow Matching路线的实现训练更稳、采样步数大幅下降可一些低概率但危险的边界场景反而需要额外兜底。这篇就用这个实际评估过程做底聊聊两者的原理差异、在智驾端到端里的选型依据以及把同一套技术搬到机器人场景时有哪些经验会失效。这个问题适合所有正在做智驾决策规划、预测模型选型的工程师也适合想从自动驾驶转向具身智能方向、需要理解生成范式迁移成本的算法同学。下面从为什么要用生成模型做规划讲起再到两个范式的底层数学结构、智驾部署侧的工程约束最后落到机器人场景差异和一个清晰的选型决策清单。1. 端到端规划器为什么会盯上生成式轨迹建模1.1 规划的底层需求其实是从分布里采样一段合理的未来传统规则派规划器把问题拆成预测对手意图 搜索参考线 优化保底轨迹每一步都确定性强、可解释性强但遇到复杂交互就露馅——前车减速、旁车加塞、行人犹豫这些场景里只输出一条最优轨迹根本不够因为未来本来就是多模态的。端到端路线把这个问题重新表述为条件生成问题给定当前自车感知到的BEV特征、地图元素、历史轨迹模型要输出的是一个轨迹分布而不是一条轨迹。这个分布既要在逐点附近足够集中保证可执行又要能覆盖多个合理行为跟车、变道、绕障还要在低概率但关键的碰撞边界上留有余量。这就天然把Diffusion、Flow Matching这类生成模型推到了台前。1.2 生成模型解决的不是更好的一条线而是更可信的一丛线扩散模型在轨迹预测里受欢迎核心原因是它有非常强的分布覆盖能力。训练时用确定性轨迹做监督信号生成模型学到的是这个场景下历史上人类司机怎么开整个集合推理时从噪声出发去噪采样出来的轨迹天然多模态不需要像MoE那样人为指定头数。Flow Matching是另一类生成范式。它不通过在噪声上加噪再逐步去噪来建模而是直接学习一个把噪声分布搬移到数据分布的向量场。直觉上它和扩散模型都在做从简单分布采样映射到复杂数据分布这件事但前者的映射路径很曲折后者可以直接走一条更直的整流路径。我在项目里最直观的感受是扩散模型像把一个毛坯从一块大石头里一点一点凿出来每一步修正都比较小Flow Matching则像用传送带把噪声包搬到数据包搬运动作被平均了整个映射过程。这个差异体现在采样步数、训练稳定性、以及最终轨迹的干净程度上下面细细拆。2. 加噪链与速度场两个范式的底层手感差在哪2.1 扩散模型在做什么一条加噪-去噪的马尔可夫链扩散模型的训练过程可以简单理解为把真实轨迹逐步加入高斯噪声一直到完全变成噪声然后训练一个网络给定局部被污染的程度去预测添加的噪声或原始信号。推理时反过来从纯噪声出发一步步去噪得到轨迹。它的数学结构决定了两个工程后果。第一每一步去噪的粒度很细因此采样步数通常需要上百步才稳定即使配合DDIM等加速采样器想压缩到20步以内仍然需要额外的蒸馏过程。第二马尔可夫链的路径是弯曲且随机的因为每一步都在噪声水平主导的分布里估计期望累积误差会随步数缩减而明显放大。这也就是为什么扩散模型在离线轨迹预测上表现惊艳一旦被拿到50Hz控制循环里就狼狈的原因。2.2 Flow Matching在做什么直接回归一个速度场Flow Matching走的是另一条路。它定义一个从噪声分布到数据分布的概率路径比如最简单的线性整流路径在时间t0时是纯噪声t1时是真实数据中间时刻用线性插值连接。训练目标是让神经网络预测这个插值过程的速度向量——沿时间的方向导数。关键地方在于这个速度场可以写成条件形式对每条训练样本都有一个目标速度训练损失非常稳定。推理时只需要沿速度场做欧拉积分因为路径接近直线往往十几个步数甚至几步就能得到可用的采样结果。这也是它近年在端到端规划里异军突起的主要原因——延迟预算友好。2.3 两者本质是一个路径弯曲度问题把两个范式放在一起对比会更清楚。扩散模型对应的概率流ODE路径往往有较大曲率低步数采样时欧拉法误差明显Flow Matching尤其是rectified flow形式的实现通过构造性整流路径让轨迹更直天然适合低步数积分。这个差异不是理论洁癖。我用一个具体场景说明高速上被前方慢车堵住左侧有车道空隙。合理的人类行为要么踩刹车跟车要么打灯变道。这两个行为在分布里形成双峰。扩散模型采样往往能覆盖两个峰但偶尔也会采样出骑墙轨迹——既减速又往左偏物理上很别扭Flow Matching因为路径更直条件分布被切得更干净采样结果在峰之间停留的概率更低。代价是如果你本身就要保留极端的随机性比如探索式行为它可能偏向保守。2.4 训练目标、损失曲线和调参手感差异从训练脚本角度两者也有明显差异。扩散模型通常有上千个时间步的噪声调度参数需要配合包括噪声上限、下限、分布形态不恰当的调度会造成损失震荡或者生成质量阶段性抽风。Flow Matching的训练目标更简洁均匀采样t构造插值样本回归速度向量。损失天然是平滑的L2或LPIPS加权形式曲线更平稳对新手更友好。我个人的经验是如果一个小团队从零开始搭端到端规划的生成部分Flow Matching路线能更快跑通首次闭环因为它的超参数空间明显更小。3. 智驾部署侧的硬约束延迟、可控性、闭环验证3.1 延迟工程把采样步数当作核心指标端到端规划器的延迟预算有多苛刻感知加融合要占掉一部分决策规划剩下十几到几十毫秒如果规划本身要跑几十次Monte Carlo采样那单次采样必须在个位数毫秒内完成。这种约束下1000步训练型扩散模型直接没有上车的可能大家第一反应都是做蒸馏。扩散模型蒸馏的成熟做法有几步先用完整步数生成大量高质量轨迹对再用这些对去训练一个步数更少的student配合一致性约束或分数蒸馏。效果不错但蒸馏本身是额外的一层工程复杂度而且蒸馏后的模型在稀有场景上的分布尾部往往会坍缩这是我最担心的一点因为恰恰是那些场景最需要生成模型的多样性。Flow Matching天然适合低步数采样。实际经验中10步以内的欧拉积分已经能得到相对干净的轨迹配合重复整流ReFlow式的再训练还能进一步拉直路径实现2-4步甚至一步生成。我的评估结论是如果你对延迟极度敏感Flow Matching是降低整个系统复杂度最直接的手段。3.2 可控性和安全约束引导机制怎么用智驾规划器不允许自由表达必须有安全底线。生成模型本来不管这些所以通常需要一套引导机制把轨迹往安全域拉。最常用的是无分类器引导CFG训练时有概率丢掉条件推理时放大条件强度。扩散模型和Flow Matching都能用这个机制但实际操作手感很不一样。扩散模型在CFG强度过大时容易产生伪影轨迹画面感类比就是出现不自然的细节。Flow Matching的CFG则更像给速度场加了一个方向偏置整体行为更可控调节连续性更好。但注意CFG本质上是在放大条件信息并不是硬安全约束。碰撞避免还是得靠后处理把生成的轨迹投影到可行驶区域、重新做轨迹优化或者用规则校验后再兜底到安全轨迹。我在项目里踩过一个坑直接对采样后的轨迹做后处理约束优化结果把生成模型的概率流破坏得很厉害——优化出来的轨迹要么特别僵要么再次落入碰撞。后面改成先生成候选集再带约束做小范围refine并保留一个安全轨迹兜底通道才算稳定。3.3 闭环验证与训练成本模型再好也要看迭代效率选型不只是看推理性能还要看研发迭代效率。扩散模型在训练早期容易出现什么都看不清的灰蒙蒙现象你得耐心等它收敛Flow Matching的训练曲线通常更早进入可用状态。后者对算力的利用率也更高因为它每个训练step都能构造有效插值样本不需要刻意做时间步采样策略。闭环方面如果你们已经有一套成熟的仿真环境做大规模随机测试我建议把生成模型的候选轨迹数量作为重要指标。扩散模型多样性高在6D空间里搜索有效行为更强适合做场景挖掘和知识蒸馏Flow Matching输出更集中更适合直接当执行层策略。两者可以在同一个系统里分工不一定要二选一。3.4 智驾选型参考表我把自己评估时用的对比维度整理一下列成表格方便直接参考对比维度扩散模型DiffusionFlow Matching采样步数需求高通常需要几十到上百步低通常1-20步可用分布多样性强尾部覆盖好中等条件模态更锐利训练稳定性对噪声调度敏感更稳定超参数少可控性CFG调节可调过度时易伪影调节更平滑方向感强蒸馏成本较高需额外配对蒸馏或一致性约束较低整流路径天然适合少步典型适用层离线预测、场景挖掘、训练数据生成在线规划策略、实时轨迹采样需要注意上面这些结论基于我评估的两个代表模型结构和自动驾驶数据的经验不同实现方式下差异会被放大但大方向应该不会偏差太大。4. 机器人场景会让哪些已验证结论失效4.1 动作空间和物理一致性的要求完全不同在做完智驾评估之后我又把同样的生成范式迁移到一个机械臂操作模拟任务上试了试这期间很多被当作常识的经验立刻失效了。智驾轨迹本质上是车体在道路平面里的路径点序列相邻点之间天然平滑控制层还有横纵向动力学约束兜底。机械臂末端轨迹则完全不同高维、对瞬时速度与力矩敏感微小的预测抖动都会在接触场景里放大为力控爆震或者卡死。扩散模型的多样性在这里变成了负担——采样出的轨迹哪怕概率很低只要出现在末端位置空间里物理机上就会真实地撞上去。4.2 数据规模差异决定模型策略必须调头智驾最大的底气是数据规模大路采车跑几万公里就能拿到海量真实轨迹分布覆盖相对完整。机器人领域没这么奢侈遥操作示教成本极高一个复杂任务可能只有几十到几百条高质量轨迹而且不同操作员的手法差异明显。这种数据形态下Flow Matching的强条件向量场结构有优势它把每个任务条件映射到一个相对集中的速度场few-shot训练更稳扩散模型的数据渴求度更高数据不足时容易在训练集外区域编造出不合理动作。反过来如果某团队恰好有海量高质量机器人演示数据扩散模型的多样性又变成优势可以做行为多样性生成用于RL算法训练。两种范式最终变成了数据有限用FM数据爆炸用Diffusion加大生成的格局。4.3 实时性要求、控制频率和算力边界都不同智驾虽然延迟预算紧但车载计算平台的算力相对宽裕还能上大模型。机器人不一样机械臂内部往往是一块算力吃紧的嵌入式设备同时运动控制频率可能要求数百赫兹这个约束直接把大多数扩散模型的部署选项排除掉了。Flow Matching用少量步数就能完成路径积分更适合嵌入式部署。但也要提醒一点机器人任务层的决策频率其实不一定要和关节控制频率一致。实践里可以在任务层用低频率跑一次生成式策略得出参考轨迹然后在控制层用一个轻量的PD或MPC去做高频跟踪。这样就把生成范式的部署压力降下来了。4.4 条件类型与多任务泛化机器人条件更长尾智驾的条件输入相对同构地图、障碍物、红绿灯业内都有相对标准化的编码方式。机器人不同一个策略模型往往要接受语言指令、目标图像、三维点云甚至力传感器的反馈条件空间高维异构且长尾。无论Diffusion还是Flow Matching真正影响多任务泛化的是条件编码器和生成器的耦合方式。我的体会是Flow Matching因为是连续向量场对条件编码器的输出更宽容条件编码器稍微不精准也能被速度场平滑修复扩散模型在条件编码器出现较大误差时更容易在整个去噪链上保留错误信息导致一条歪到底。4.5 世界模型和策略耦合的差异也要重新考量智驾里世界模型做的是未来场景预测为规划器提供前瞻视野规划器和世界模型是两个独立组件可以分开训练。机器人里也开始出现世界模型用于预测物体运动、操作结果但它和最终策略之间的联系紧密得多——因为机器人的动作会直接改变环境接触托盘的力反馈又会改变下一时刻的状态。这种情况下生成范式的时间一致性成了硬指标。Flow Matching把时间作为显式积分轴速度场沿时间演变时天然保持状态连贯性扩散模型每个步都在全局修正反而容易在长时程预测里出现明显的非物理跳变。跨模态迁移时这个差异常常让人意想不到。5. 我的选型思路与踩坑记录5.1 决策清单什么时候果断用哪种选型之前先问自己三个问题你的推理延迟预算是否紧张你的训练数据规模是千万级还是几千条你的任务是面向确定的执行还是需要大量探索性行为给出我的推荐矩阵端到端智驾在线规划、延迟敏感直接上Flow Matching路线配合小型整流网络目标做到低步数采样。离线场景挖掘、风险预测、安全知识蒸馏保留扩散模型它的分布尾部覆盖价值非常高。机器人操作、单任务少量示教优先Flow Matching速度场约束能帮你压制数据噪声。机器人数据丰富、要做行为生成和策略蒸馏可以考虑扩散模型并把生成能力当成一个数据工厂而不是线上推理单元。5.2 从Diffusion切到Flow Matching的踩坑记录我在迁移过程中遇到的第一坑是线性插值产生的中间状态物理不可行。直接做线性插值时两个在物理上可通的状态之间的中间点可能是穿墙的。虽然速度场训练能学会绕开一部分但在碰撞密集的交通场景里仍会产生擦碰轨迹。解决办法是给插值过程加噪声正则或者换用最优传输类的路径构造而不是自己傻乎乎地把t从0到1插到底。第二个坑是t采样分布。Flow Matching的卷积在t靠近0和1时监督信号方差特别大损失起伏也大。实际训练时用logit-normal分布采样t会更稳这一点很多教程不会写。我自己试过均匀采样发散的案例换成偏重的中间段采样之后收敛速度快了很多。第三个坑是蒸馏。别以为Flow Matching一步生成就不需要蒸馏技巧了。低步数采样确实可用但会和完整积分有分布偏移特别是横摆角类的高动态场景。需要靠ReFlow式的重复整流或一致性蒸馏再多做一轮才能做到真正的一步部署。5.3 混合方案与我的个人习惯最终我倾向的落地配置不是二选一而是一个分工结构离线用扩散模型采集高价值训练数据、做场景覆盖分析线上用Flow Matching做实时轨迹生成。这个结构看着绕但它同时拿到扩散模型的广度和Flow Matching的速度。每次到新项目我都会先跑一个两周的快速原型把两个范式都在最小可行模型上做一次对比重点看三件事损失曲线平不平、采样轨迹干不干净、手动调CFG时行为变化是否有规律。实测下来这两周的提前量能省下后面数月的返工时间尤其是从智驾场景跨到机器人场景时这种验证非常值得做。
