1. 从预测像素到预测意图端到端驾驶规划到底卡在哪端到端自动驾驶这两年热度一直没降过但真正做过这个方向的人心里都清楚从传感器输入直接映射到控制指令这条路最大的拦路虎从来不是网络结构不够深而是中间表征到底该学什么。早期方案喜欢让模型去重建像素、预测下一帧图像理由是信息量大、监督信号丰富但实际跑下来你会发现模型把大量容量浪费在了路面纹理、天空颜色、树叶晃动这些跟驾驶决策毫无关系的细节上。我见过不少团队在这条路上反复调参最后发现模型确实能把画面重建得很漂亮可一到规划环节就露怯——因为它压根没学会什么信息对开车有用。Yann LeCun团队提出的AD-E2E-JEPAAction-Conditioned End-to-End Joint Embedding Predictive Architecture正是冲着这个痛点来的。它的核心主张很明确别在像素空间里做预测要在压缩后的潜空间里做预测。这个思路其实继承自JEPA系列的一贯哲学——世界模型不需要还原世界的每一个细节只需要抓住对决策有影响的抽象结构。放到驾驶场景里这意味着模型学到的表征天然更关注车道拓扑、他车相对位姿、可通行区域这些驾驶语义而不是这块沥青是深灰还是浅灰。标题里还有两个关键词值得单独拎出来说零样本和目标条件。零样本意味着模型在面对训练时没见过的目标点或导航意图时不需要额外微调就能给出合理规划目标条件则说明规划不是无目的的轨迹生成而是围绕一个明确的目标比如到达某个坐标驶向某个车道来组织行为。这两点结合起来指向的是一个更接近人类驾驶员的决策模式——你告诉我目的地我根据当前场景实时推理出一条安全路径而不是从记忆库里检索一条最像的轨迹。这篇文章我会从表征学习的设计动机、潜空间预测的具体机制、目标条件规划的落地细节、零样本泛化的实测表现以及这套架构在实际部署中容易踩的坑几个角度把这篇论文的技术脉络和工程启示拆开讲清楚。适合已经对端到端驾驶有基本了解、想深入理解JEPA范式如何落地到规划任务的读者也适合正在做世界模型相关研究、想找一个具体应用切口的朋友。2. 为什么压缩潜空间是驾驶规划的正确打开方式2.1 像素重建的隐性代价容量错配与因果混淆先说说为什么在像素空间做预测这件事在驾驶任务里特别不划算。假设你有一个编码器把前视摄像头图像压成特征图然后解码器负责重建。训练目标是最小化重建误差。问题在于重建误差对每个像素一视同仁但驾驶决策对每个像素的敏感度天差地别。路面上一块油渍的像素值预测错了对规划毫无影响但远处一个行人轮廓的像素预测模糊了可能就是致命的安全隐患。模型没有先验知识去区分这两者它只能按照像素数量来分配容量——而图像里绝大多数像素都属于背景这一类。更麻烦的是因果混淆。像素级预测会让模型学到很多虚假相关比如天空是蓝色的和车辆直行在训练数据里高度共现模型可能把天空颜色当成直行的线索。一旦遇到阴天或者隧道场景这种虚假相关就会导致规划崩溃。我在实际项目里见过模型在黄昏时段表现急剧下降排查到最后发现是编码器对光照条件过拟合把暖色调和减速绑在了一起。潜空间预测天然缓解这个问题因为压缩过程会丢弃大量与任务无关的变异因素前提是压缩是有信息瓶颈约束的。2.2 JEPA的核心操作在表征空间做预测而非生成JEPA的核心操作可以概括成一句话给定当前潜状态和动作预测未来潜状态。注意这里预测的是潜向量不是图像。具体到AD-E2E-JEPA编码器把观测可能包括摄像头、激光雷达BEV特征等映射到一个低维潜空间然后一个预测器网络接收当前潜状态和候选动作序列输出未来若干步的潜状态预测。训练信号来自两个方面一是预测的潜状态要和真实未来观测编码后的潜状态对齐二是整个潜空间要满足一定的正则化约束比如防止坍缩。这个设计的好处是预测器只需要建模对决策有影响的动态。举个例子前车刹车灯亮起这个事件在像素空间里可能只占几十个像素但在潜空间里会被编码成一个显著的状态变化维度。预测器学会这个维度变化意味着前车减速而不需要学会刹车灯是红色的、位于车尾两侧这些外观细节。这种抽象层次恰好匹配规划任务的需求——规划需要的是他车意图和相对运动趋势不是他车长什么样。2.3 动作条件的作用让潜空间动态与规划动作对齐标题里的Action-Conditioned是个容易被忽略但极其关键的设计。如果预测器只接收当前潜状态、不接收动作那它学到的就是世界会怎么演变这是一个纯被动的世界模型。但驾驶规划需要的是如果我这么做世界会怎么变。动作条件把预测器从被动观察者变成了主动模拟器。具体实现上动作通常是自车未来的轨迹点序列位置、速度、航向角变化经过一个动作编码器映射到潜空间然后和状态潜向量拼接或通过交叉注意力融合再送入预测器。这样训练出来的预测器可以针对不同的候选动作给出不同的未来潜状态预测规划模块就可以通过评估哪个动作对应的预测潜状态最接近目标潜状态或者最安全来选轨迹。这个机制是零样本目标条件规划的基础——目标被编码成目标潜状态规划就是在动作空间里搜索能到达该潜状态的动作序列。提示动作编码器的设计有个常见误区——直接把原始轨迹点坐标送进MLP。实测下来对轨迹做差分得到速度和加速度、再叠加航向角的正余弦编码收敛速度和最终精度都会明显更好。原因是原始坐标的数值范围随场景变化很大而归一化后的运动学量更稳定。3. AD-E2E-JEPA的架构拆解编码、预测、规划三段式3.1 观测编码器多模态输入的潜空间对齐策略AD-E2E-JEPA的观测编码器需要处理多模态输入典型配置是环视摄像头加激光雷达BEV特征。这里的关键设计是如何把不同模态对齐到同一个潜空间。论文里采用的做法是每个模态先经过独立的骨干网络提取特征然后通过交叉注意力做模态融合最后用一个投影头压到统一的潜维度。这个投影头的输出维度通常远小于骨干网络的特征维度比如骨干输出512维投影到64维或128维。为什么要压这么狠因为潜空间维度直接决定了预测器的建模难度。维度太高预测器容易过拟合到训练场景的特定模式维度太低又会丢失必要的驾驶语义。我自己的经验是潜维度在64到256之间比较合理具体取值要看场景复杂度。城市道路场景建议偏大一些因为交互对象多、语义丰富高速场景可以偏小因为动态模式相对单一。还有一个工程细节值得注意投影头后面通常要加一个批归一化或者层归一化否则不同模态的特征尺度差异会导致潜空间被某一模态主导。我试过不加归一化的版本结果激光雷达特征完全压制了视觉特征模型对纯视觉场景的泛化能力几乎为零。3.2 潜空间预测器时序动态建模的关键选择预测器是AD-E2E-JEPA的核心组件它要完成的任务是给定当前潜状态 $z_t$ 和动作序列 $a_{t:tH}$预测未来潜状态 $z_{t1:tH}$。结构上通常是一个Transformer解码器或者时序卷积网络。论文里用的是因果Transformer因为驾驶动态有明显的时序依赖因果掩码能防止信息泄漏。训练目标函数一般包含两项潜空间对齐损失和正则化损失。对齐损失衡量预测潜状态与真实未来观测编码后的潜状态之间的距离常用余弦相似度或者L2距离。正则化损失用来防止表征坍缩常见做法是VICReg那套方差-协方差正则或者用EMA目标编码器加停止梯度。这里有个实操心得如果只用对齐损失不加正则潜空间会在几十个epoch内坍缩成常数向量预测器输出什么都一样损失看起来很低但模型完全没学到东西。这个坑我踩过不止一次排查的时候看潜向量的方差就能快速确认。预测时域H的选择也很讲究。太短比如3步学不到有意义的动态太长比如20步误差累积严重且训练不稳定。论文里用的好像是8到12步对应未来2到3秒的规划时域。这个范围跟实际驾驶决策的反应时间比较匹配——人类驾驶员的有效预判窗口大概也就是2到3秒。3.3 目标编码与规划头从目标点到动作序列的映射规划头的工作是给定当前潜状态和目标潜状态输出一条动作序列。目标潜状态的来源可以是一个具体的目标点比如导航给出的下一个路点经过目标编码器映射到潜空间也可以是一个目标观测比如我希望到达那个车道对应的视觉表征。AD-E2E-JEPA用的是前者因为路点信息更稳定、更容易获取。规划头的训练方式有两种主流选择显式搜索和隐式生成。显式搜索是在动作空间里采样大量候选轨迹用预测器 rollout 出各自的未来潜状态然后选与目标潜状态最接近的那条。这种方式可解释性强、安全性容易验证但计算量大。隐式生成是直接用一个解码器网络输出动作序列训练时用目标潜状态作为条件。这种方式推理快但可解释性差而且容易生成不安全的轨迹。论文里似乎两种都涉及了训练阶段用隐式生成保证效率推理阶段用显式搜索做安全校验。这个组合策略在实际部署中很实用——生成模型负责给出候选搜索模块负责筛选既保证了实时性又留了安全兜底。4. 零样本目标条件规划训练时没见过目标点怎么办4.1 零样本的定义边界什么算没见过零样本在驾驶规划里需要精确定义否则容易产生误解。AD-E2E-JEPA里的零样本我理解是指目标点在训练数据中未出现过或者目标点与当前场景的组合未出现过。比如训练集里只有直行和左转的目标点测试时给一个右转的目标点或者训练集里目标点都在道路中心线上测试时给一个靠近路边的目标点。这不等于任意目标点都能处理。如果目标点在物理上不可达比如穿过建筑物模型不应该、也不可能规划出合理轨迹。零样本能力的边界取决于潜空间是否学到了足够通用的目标-动作映射关系而不是死记硬背了训练集里的目标点分布。4.2 潜空间插值零样本泛化的底层机制零样本泛化的底层机制很大程度上依赖潜空间的平滑性和插值能力。如果潜空间是良构的——相似的目标对应相似的潜向量且潜向量之间的过渡是连续的——那么即使目标点没在训练集里出现过它的潜编码也会落在已知目标潜编码的邻域内规划头就能通过插值给出合理动作。保证潜空间平滑性的关键在训练时的数据增强和目标采样策略。论文里应该用了目标点的随机扰动增强让模型见过目标点在合理范围内的各种偏移。另外潜空间的正则化也有帮助——方差正则鼓励潜向量在各单位方向上都有一定分布避免所有目标挤在一个小区域里。我自己的经验是在目标编码器后面加一个对比学习损失能显著提升零样本性能。具体做法是让同一场景下相近目标的潜编码互相靠近不同场景或相反方向目标的潜编码互相远离。这个辅助损失不需要额外标注直接从目标点的几何关系就能构造。4.3 实测中的失效模式目标不可达与多目标冲突零样本规划在实际测试中有两类典型失效模式。第一类是目标不可达模型仍然会输出一条轨迹但这条轨迹可能违反交通规则或者物理约束。原因是潜空间里没有显式的可达性判断规划头只负责朝目标潜状态靠拢不负责判断这个目标是否合理。解决办法是在规划头后面加一个可达性分类器或者用预测器 rollout 的可行性来过滤。第二类是多目标冲突当导航给出多个路点或者目标本身有歧义时模型可能在不同目标之间摇摆输出一条犹豫不决的轨迹。这个问题的根源是目标编码器把多个目标编码成了一个混合潜向量丢失了目标之间的区分度。改进方向是用注意力机制分别编码每个目标然后在规划时做多目标权衡。注意零样本能力不等于零风险。任何零样本规划系统在实际部署前都必须有基于规则的兜底模块。我见过太多团队对模型的泛化能力过于乐观结果在长尾场景里出问题。安全关键系统里模型没见过永远应该触发保守策略而不是让模型自由发挥。5. 训练与部署中的工程细节从论文到可运行系统5.1 数据效率JEPA范式在小样本下的表现JEPA范式的一个卖点是数据效率——因为潜空间预测的监督信号比像素重建更密集、更聚焦模型需要的训练数据量相对更少。论文里应该做了数据效率的消融实验对比了不同训练集规模下的规划性能。从我的经验看在相同数据量下潜空间预测的收敛速度确实比像素重建快不少大概能快1.5到2倍。但数据效率高不等于少量数据就能work驾驶场景的长尾分布决定了你仍然需要覆盖足够多的边缘情况。实际项目中我建议的数据配比是常规场景占70%边缘场景占30%。边缘场景包括夜间、雨天、施工区域、异形车辆等。这些场景在自然分布里可能只占5%但必须过采样否则模型在潜空间里对这些场景的表征会非常稀疏零样本泛化到类似场景时就会失效。5.2 潜空间坍缩的检测与修复潜空间坍缩是JEPA类方法最常见的训练故障。检测方法很简单监控潜向量的逐维度方差。如果大部分维度的方差趋近于零说明表征坍缩了。修复手段有几个增加正则化损失的权重、在投影头后加白化操作、或者用EMA目标编码器配合停止梯度。我遇到过一次比较隐蔽的坍缩潜向量方差看起来正常但预测器对所有动作输出的预测几乎一样。排查后发现是动作编码器输出饱和了——动作序列经过几层MLP后全部落在激活函数的饱和区梯度传不回去。解决办法是在动作编码器里加残差连接和层归一化保证动作信息能有效注入预测器。5.3 推理延迟与实时性优化驾驶规划对推理延迟极其敏感通常要求整个感知-规划链路在100毫秒内完成。AD-E2E-JEPA的推理开销主要来自两部分观测编码和规划搜索。观测编码可以用TensorRT量化加速这个比较成熟。规划搜索是瓶颈因为要在动作空间里采样大量候选并逐个 rollout。优化策略有几个一是用预测器的不确定性估计来剪枝对预测方差大的候选轨迹提前丢弃二是用粗到细的搜索策略先在小范围低分辨率动作空间里筛出top-k再在局部精细搜索三是把预测器蒸馏成更小的网络专门用于推理。我试过第二种策略在保持规划质量的前提下把搜索耗时降低了约60%。5.4 安全兜底规则模块与学习模块的边界划分学习模块再强安全兜底也不能省。AD-E2E-JEPA的规划输出应该经过一个规则校验层检查内容包括是否违反交通信号、是否与障碍物有碰撞风险、是否超出车辆动力学约束。规则层不负责生成轨迹只负责否决不安全轨迹并触发保守策略比如紧急制动或靠边停车。这个边界划分很重要学习模块负责怎么开得好规则模块负责怎么开得安全。两者职责不能混淆。我见过一些方案让学习模块同时学安全和舒适结果两个目标互相拉扯最后哪个都没做好。分开之后学习模块可以专注于拟人化和效率规则模块用成熟的验证算法保证底线。6. 这套架构给端到端驾驶带来的启示与局限AD-E2E-JEPA最值得借鉴的地方是它把表征学习的目标和规划任务的需求对齐了。传统端到端方案里感知模块和规划模块往往是分开训练的感知学到的特征对规划未必最优。JEPA范式通过潜空间预测这个统一目标让编码器天然学到对动态预测有用的特征而这些特征恰好也是规划需要的。这种任务驱动的表征学习思路我觉得比单纯堆数据、堆模型规模更有前途。另一个启示是动作条件的世界模型可以同时服务于规划和仿真。训练好的预测器不仅能用来评估候选轨迹还能用来生成合成数据——给定一个初始状态和动作序列rollout 出未来潜状态再解码成观测就能造出大量带标注的驾驶场景。这对数据稀缺的长尾场景特别有价值。局限也很明显。潜空间的可解释性差出了问题很难定位是编码器丢了信息还是预测器学错了动态。零样本能力的边界不清晰目前没有理论保证说什么样的目标一定能处理。多智能体交互建模还不够AD-E2E-JEPA主要关注自车的动作条件预测对周围车辆的反应式行为建模比较弱。实际道路上的交互是双向的——你变道会影响后车后车减速又会影响你的决策。这个闭环交互在当前的潜空间预测框架里还没有很好的解决方案。我在实际项目里的体会是这套架构适合作为规划系统的主干但必须配合在线交互模块和安全验证模块才能上路。纯端到端、没有任何规则兜底的方案在可预见的未来都不太可能通过安全认证。JEPA范式提供的是一个更好的表征学习基础不是端到端驾驶的终极答案。后续可以探索的方向包括把交互建模显式引入潜空间预测、用因果推断来提升零样本泛化的鲁棒性、以及把潜空间预测和基于搜索的规划更紧密地结合。
