做自动驾驶端到端规划的朋友应该都被一个尴尬局面卡过感知模块做得再准控制模块调得再稳一旦用户提出一个“不那么标准”的驾驶意图整个系统就开始手足无措。所谓目标条件驾驶规划核心就是把用户的意图变成一个显式的输入条件让模型直接规划一段对应轨迹。最近我发现了一个很有参考价值的方案代号AD-E2E-JEPA走的是“压缩潜空间中的零样本目标条件驾驶规划”这条路。把目标条件规划放进一个低维潜空间里不重新收集新目标的数据也不做额外的微调部署时遇到新意图直接用共享表示完成规划。这不是又一个靠堆数据硬怼出来的轨迹预测器。它的设计思路很明确先通过自监督预训练让模型掌握场景规律再把目标条件和场景状态映射到同一个潜空间规划任务从“像素级的场景重建”变成“潜空间中的目标条件预测”。这么做的好处非常直接训练更稳、推理更轻、泛化潜力更强。这篇内容我会从设计思路讲起拆清楚潜空间里做零样本规划的细节再结合实操中容易出现的坑给出一套可以直接参考的做法。1. 项目概述与核心价值1.1 零样本目标条件驾驶规划到底在解决什么问题先说清楚什么叫做零样本目标条件驾驶规划。常规的驾驶规划模型训练时会把任务类别焊死比如“左转”、“右转”、“靠边停车”每个动作都对应独立的数据集和标签体系。到了部署阶段如果用户说“在下一个路口前靠边”但训练数据里没有把“路口前靠边”单独切出来过模型就只能把这句话塞回某一个离散动作类里行为自然就走样了。零样本目标条件的想法是打破这种映射僵局。模型不再学习“哪个类别对应哪条轨迹”而是学习“目标条件怎么影响轨迹生成”。训练时用一部分目标类型教会模型理解目标和轨迹之间的因果关系测试时给一个全新目标模型基于已经学到的场景规律自己推导出合理的轨迹。就好像一个教练教球员学会了“把球送进空门”换一个不同位置的球门球员也能自动调整脚法和力度而不是教练要把每一种球门位置都练一遍。这里有一个容易被低估的点驾驶场景里目标的数量在理论上是连续的。你可以定义“停在路边三米处”、“停在路口五米处”、“下个弯道前三十米处”每换一个数值就是一个新目标。如果用离散动作分类永远有覆盖不完的边角情况。零样本目标条件方案把目标当作连续变量进入规划网络等于让模型具备了在连续意图空间里插值的能力。1.2 为什么“压缩潜空间”值得关注很多人会问规划不是直接输入原始感知数据就好吗为什么非要先去压缩潜空间道理和高德导航一样你拿到全景图像、激光雷达点云里面包含大量和驾驶决策无关的信息——树影、路面的纹理、周边店铺的招牌。直接让规划网络处理这些原始信息计算开销大还容易让网络跑去学习一些对规划毫无帮助的旁门左道。压缩潜空间的本质是只保留“对未来预测有帮助”的抽象信息丢掉和任务无关的表象细节。AD-E2E-JEPA这套路径的聪明之处在于它不靠人工设计特征而是用联合嵌入预测的方式让网络自己判断什么信息值得保留。编码器负责把原始观测压成一个紧凑的潜向量这个潜向量要足够支撑预测器还原未来的潜状态同时又要足够小使得推理阶段的实时性可以得到保障。我实际接触过类似方案后最明显的感受是收敛稳了。之前用端到端网络直接做规划和控制的早期版本训练曲线经常像过山车稍微换一个场景白天变晚上损失就跳起来。把规划问题放到潜空间里做以后模型不再强行重建整张图像实际需要拟合的维度少了一个数量级训练稳定性自然上去了。1.3 这个方案适合谁参考如果你在做低速园区接驳车、自动代客泊车、矿区或机场货运车这类对目标描述很多变的自动驾驶项目AD-E2E-JEPA的参考价值最大。因为这些场景的目标描述弹性大用户随时可能抛出一个“到那栋楼后面停”、“在这个圆盘绕半圈”之类的指令传统固定动作分类很难覆盖。做纯学术研究的人也有值得借鉴的地方。JEPA那套“联合嵌入预测”思路其实比生成式重建更接近人类理解世界的机制。人类开车的时候大脑并不需要重建整条街道的每一个像素只需要生成一个关于前方状态的高层抽象预测。这套架构在自动驾驶场景落地是对JEPA思路的一次很扎实的验证。2. 整体设计拆解从驾驶任务到潜空间预测2.1 目标条件任务的定义与表征要把目标条件规划做进模型第一步是定义清楚目标长什么样。我倾向于把目标分为两个大类空间目标和语义目标。空间目标通常是“把车开到一个坐标位置”比如“前方50米的最右侧车道边界处”这类目标可以转换成全局坐标系或者自车坐标系下的一个点甚至是一个目标区域。语义目标则是“实现某种状态”比如“靠边”、“汇入主路”、“停在斑马线前”这类目标没有唯一的空间位置只能靠模型从语义中推理。AD-E2E-JEPA的思路是构建一个目标编码器把这两类目标统一映射到潜空间。空间目标通过坐标编码语义目标通过自然语言或结构化指令编码最后进入同一个目标特征空间。这个设计非常关键零样本能力很大程度上就来自这里。因为目标编码器不是在给每个具体目标做one-hot标签而是在学习目标之间的规律空间和语义目标在潜空间里互相插值模型才能对没见过的组合方式做出反应。实践里我习惯把目标写成这样的结构化形式包含目标类型、目标位置、目标区域半径再加一个自由文本描述。这样可以同时保留了结构化信息的精确性和自然语言的灵活性。纯自然语言输入容易有歧义“前面”到底指十米还是五十米模型理解起来会有跳跃和结构化信息组合后表达就稳定很多。2.2 JEPA式联合嵌入把感知和规划放进同一套表示JEPA的完整名字很长叫Joint Embedding Predictive Architecture核心思想一句话就能讲透不预测像素预测抽象表示。标准自监督方案比如图片重构或者未来帧预测要求模型把下一个时刻的图像像素也预测出来这个目标里混入了大量对决策无关的信息。JEPA的做法是把过去和未来都先编码成潜表示然后训练一个预测器在潜空间里完成从“过去潜向量”到“未来潜向量”的预测。把这个思想放到驾驶规划里理解就顺了。自动驾驶不需要精确预测前方每一帧画面的像素级变化只需要预测“前方那个行人接下来会往哪个方向移动”、“主路车辆流的整体运动趋势会不会给切入留出空档”。这些恰恰都是潜空间里的抽象信息。AD-E2E-JEPA把当前传感器输入编码成潜表示把目标条件拼接进去之后通过一个潜空间预测器生成目标条件下应该出现的未来状态表示最后再解码成一段轨迹。这种结构的好处是感知和规划共享同一个表征空间。传统方案里感知模块输出的是结构化目标列表规划模块再基于目标列表做推理中间一旦出现目标漏检或者属性识别错误规划直接崩掉。在联合嵌入结构里感知的中间表示直接作为规划的输入表示信息不需要经过一个脆弱的中间语义转换信息损失要小得多。2.3 闭环规划中的“预测”与“控制解耦”端到端规划最怕的就是模型全包全揽直接输出方向盘转角和油门开度出了一次错整个控制链路都跟着抖。AD-E2E-JEPA的做法是只负责到“给出目标条件下的未来轨迹”输出一条或者一小簇轨迹真正的底盘控制交给传统控制层或单独的控制器来做。这个设计很务实因为驾驶安全最终必须落在可控的动力学执行层。潜空间里预测做的是“想象”控制层做的是“执行”。模型想象出一条合理轨迹控制层负责跟踪两者之间用一个轻量的轨迹接口层衔接。这样做的好处是模型内部的预测错误不会直接变成危险的底盘指令而是会在轨迹层被安全校验模块拦下来。对落地项目来说这个解耦极其重要也是我推荐在工程实现时优先保留的设计边界。3. 核心细节与实操要点3.1 潜空间维度与信息压缩的取舍潜空间到底压到多少维度是第一个现实问题。维度过高计算效率退化还容易把无关噪声也保留进来维度过低信息瓶颈过强预测器丢掉太多关键细节模型会丧失对细微驾驶动作的区分能力。根据我做类似端到端任务的经验最开始设32到64维是比较稳的区间之后再根据任务复杂度调整。低速场景和干线公路场景的合理维度就不一样城市环路需要考虑的交互目标多可以放宽到128维但不要无脑加大。潜空间维度本质上是让模型自己决定“信息保真与抽象概括”的平衡点。可以直观理解成写摘要摘要长度太短关键信息记不全摘要长度太长又跟原文没什么区别。JEPA方案里还有一个额外约束就是潜空间里各维特征最好互相独立、没有冗余这样才能让预测器花最少的参数抓住最多的规律。实际操作中我一般会在编码器末尾加一层可选的通道注意力模块让模型自动筛选出对当前规划任务最有价值的潜维度。然后再用KL散度或者对比学习这类约束避免潜表示坍缩到某一个单一特征上。坍缩这个坑必须提防如果不加约束编码器很容易偷懒把所有输入都映射到同一个输出潜空间直接失去区分度训练损失永远降不下去。3.2 训练目标目标条件预测与行为克隆的差异这里最值得讨论的是训练目标和传统行为克隆Behavior Cloning的分野。行为克隆的做法是给模型看“当前状态人类驾驶员的动作”让模型模仿。问题在于它只学到了“状态到动作”的映射没学到“状态为什么会导致这样的动作”的原因。换了一个目标条件模型立刻失去方向感。AD-E2E-JEPA的训练思路是掩码式目标条件预测。训练时把一段完整轨迹编码成潜表示再随机遮掉一部分目标信息或者未来信息让预测器根据剩余信息去还原被遮住的内容。这个过程强迫模型建立“场景状态”和“目标条件”之间的因果联系。等到部署阶段模型见到的目标可能跟训练时完全不同但它已经学会了“目标如何改变未来状态”这个因果机制就能用已知规律推演新目标的轨迹。比较关键的是训练阶段不要再单独给目标做交叉熵分类损失。一旦加了目标分类损失模型很容易走捷径通过识别目标类别来直接查表输出平均轨迹潜空间的泛化能力会被破坏掉。想鼓励潜空间结构保持连续性应该用对比学习让相近的目标在潜空间里也接近让相斥的目标相互远离。3.3 零样本泛化目标注入方式设计模型能不能在推理阶段处理新目标很大程度取决于目标注入方式。所谓注入就是让目标信息进入网络的方式。不同的注入方式对泛化能力的影响差别很大。常见的三种方式一是拼接注入直接把目标向量拼在场景特征后面简单但容易被特征淹没二是交叉注意力注入让场景特征去查询目标特征效果更强三是条件归一化注入通过调节特征统计量影响解码适合控制风格的迁移。在这套架构里我更推荐交叉注意力注入。原因是驾驶场景的特征序列长度一般都不短轨迹特征、障碍物轨迹特征、车道线特征都挤在一起如果目标只是一条拼在末尾的向量预测器很容易“看不见”它。交叉注意力让每一个场景特征都能直接“看到”目标信息目标对轨迹生成的影响会更均衡、更稳定。零样本的边界也需要注意。目标编码器只能表达它见过的目标空间内的连续区域。如果训练时所有目标都限定在“车所在车道的左右偏移范围内”部署时突然要求“越过对向车道停到对向路边”模型大概率无能为力。我的经验是在训练阶段让目标范围尽量覆盖部署阶段可能出现的位置区域哪怕分布稀疏一点也不要完全留白。4. 实操过程与复现要点4.1 数据与目标集合准备复现这类方案的第一个实际工作不是搭模型而是构造训练样本。假设用某个开源驾驶模拟环境做实验数据整理核心流程其实可以复用采集观测序列、自车状态序列、控制命令序列然后把每一条轨迹手动或者半自动地附加一组合法目标标签。做目标标注时有一个我自己摸索出来的原则每一条训练轨迹至少对应一到两个负目标。负目标就是“这条轨迹不应该出现的操作”比如当前在向左变道负目标就是“向右路边停车”。加入负目标是为了让目标编码器学会区分相互冲突的意图避免模型把所有目标都往“保持车道”方向上收敛。正负样本比例控制在2比1左右模型学到的目标区分能力最均衡。数据里还要额外留出一组“目标扰动样本”也就是把目标在数值上做小幅偏移后的版本。这些样本不参与正式指标评估只用来做鲁棒性检查观察模型在目标波动时轨迹是否剧烈抖动。4.2 模型结构与关键超参数下面给出一套通用的模型结构伪代码这套配置不绑定任何具体框架方便在调试时对照检查# 观测编码器点云/图像 - 场景特征序列 obs_encoder TransformerEncoder(d_model256, nhead8, num_layers6) # 目标编码器结构化目标 - 目标潜向量 goal_encoder MLP(input_dimgoal_dim, hidden[128, 256], output_dim64) # 潜空间预测器场景特征 目标 - 规划潜表示 latent_predictor TransformerDecoder( d_model256, nhead8, num_layers4, cross_attentionTrue ) # 轨迹解码器规划潜表示 - 目标轨迹序列 traj_decoder MLP( input_dim256, hidden[512, 256], output_dimhorizon * 2 # 每个时间步的 x, y 坐标 )训练阶段几个关键超参数我是这样配的潜空间维度64Transformer层数前6后4注意力头数8自车状态和历史轨迹特征用128维。优化器用AdamW学习率先做100轮预热峰值设为3e-4之后按余弦曲线衰减。批大小在单卡上控制在128到256之间训练60个epoch。目标掩码比例是15%也就是每段轨迹有15%的目标信息会被随机遮盖用于做强化的目标条件预测。这套配置如果再往上加潜维度提到128模型容量更大但一般场景不需要这么奢侈。实测下来64维的潜空间在小路、停车场和城市支路上已经能保持很好的轨迹稳定性。4.3 训练流程与评估基准训练流程按阶段推进不要一把梭。第一阶段先锁住预测器和解码器只训练两个编码器让潜空间先具备基本结构。第二阶段解冻所有模块端到端联合训练。第三个阶段固定编码器微调预测器和解码器用少量带目标标注的数据做对齐。分阶段的原因很简单端到端网络内部存在严重的耦合一起从随机初始化开始训练很容易出现梯度相互干扰。损失函数这里要组合好几个部分。分两个层次主损失是将来真实轨迹的潜表示与预测器输出的潜表示之间的距离用平滑L1即可对离群点更鲁棒。辅助损失里面一是轨迹平滑约束对相邻时间步位置的差分做二范数惩罚防止抖动二是目标一致约束用对比损失确保同一目标对应的多个场景潜表示能聚合。总损失为这三个损失的加权和权重比例大概是1比0.3比0.2。评估指标建议以实际规划质量为准。我常用的五个指标是目标到达率、碰撞率、平均航向误差、轨迹平滑度和规划延迟。目标到达率看最终位置误差是否小于某个阈值碰撞率统计规划轨迹与障碍物边界重叠比例平均航向误差评估方向准确性轨迹平滑度看相邻点曲率变化。规划延迟在边缘设备上压到50毫秒以内算是可用水平部署到实车还要再打折。4.4 实车/仿真部署中的轻量化处理仿真环境里跑通后要真正搬上车轻量化处理是绕不开的一关。Transformer结构参数量大推理延迟高直接上实车不现实。我一般先做两件事第一是知识蒸馏把大模型教给一个更小的学生网络学生网络用4层Transformer、隐藏维128潜空间维度保持64不变这样压掉约一半延迟第二是量化把权重从FP32降到INT8主要集中在编码器和预测器轨迹解码器精度要求高保留FP16。部署之前还要把推理过程的动态形状全部静态化。Transformer如果输入序列长度可变边缘设备上的编译优化很难做NMS、动态Padding这些操作都会带来不可控的耗时抖动。我把观测输入统一切成固定长度比如前30个时间步、周边最多32个交互目标不足补零超过截断。固定的输入尺寸能让模型在边缘设备上稳定跑出最小延迟。5. 常见问题与排查技巧实录5.1 收敛不稳定问题训练初期最常见的问题是损失震荡前几千步死活不收敛。按我的排查顺序先看潜空间有没有坍缩。验证方法很粗暴取一批不同场景的输入让编码器输出潜向量如果所有潜向量几乎重合说明编码器在偷懒目标约束没起作用。解决方法是加强对比损失在总损失里的权重或者给潜向量加一个很小的高斯噪声迫使编码器输出更多有效信息。第二个高频原因是目标掩码比例设太高。掩码比例高会让预测器大部分时间处于“猜谜”状态梯度方向不稳定。我试过掩码比例提到40%以上损失曲线直接起飞。想快速验证是否问题出在这里可以临时把掩码比例降到5%看损失是否立刻变平稳如果是重新调一个中间值。5.2 目标切换后行为漂移问题推理阶段切换目标之后轨迹经常出现一段漂移。比如上一秒让车直行下一秒让它靠边规划出来的轨迹会在前几个时间步出现明显抖动。这个问题的根源不只是模型本身还涉及目标信号在时序上的平滑性。目标切换后直接硬切相当于给模型输入了一个阶跃信号模型再平滑也会被激起来。解决办法是在目标编码器输出后增加一个时间平滑模块用低通滤波或者一阶惯性环节处理目标潜向量变化让目标信息在几十毫秒内过渡到位。也要检查目标编码是否符合合法物理区间。我遇到过目标给到“右侧路沿外侧十米”模型在约束条件下无法生成合法轨迹就开始在原始轨迹附近做无意义修正表现为行为漂移。排查方法是在目标进入模型前加合法性校验超出可规划边界的目标直接拒绝或者投影回最近合法点。5.3 长时序预测中的累积误差潜空间预测器在短时间预测范围内表现很好拉长到5秒以后误差会累积得很厉害。这是因为预测器本身就带有自回归属性前一步的预测结果会当作下一步的输入误差被不断放大。这个问题不能靠单纯加长训练序列解决加长只会让训练更不稳定。实际做法是引入不确定性感知的多轨迹输出。让模型同时输出多条候选轨迹每条轨迹对应不同概率权重再把候选轨迹全部送到后端的碰撞检查和可行性校验里。这样即便某一条轨迹在长时间预测中出现累积漂移概率最高的那一条通常还能落在安全区间。另外建议在较长预测范围内降低潜空间预测步数改用更细的时间步重建平衡误差累积和实时性。5.4 与规划后端的接口稳定性潜空间方案输出的“潜空间轨迹”最终要交给传统规划器做约束检查。这里最容易出问题是坐标系不一致。模型习惯在自车坐标系输出轨迹后端规划器却可能是在全局坐标系工作频繁转换之间一旦累积了平移误差轨迹对接就会歪。解决方法是把坐标系转换封装成同一个模块统一处理不要上游转一次、下游又转一次。另一个接口问题是预测频率和控制频率不匹配。模型如果以10Hz输出规划控制模块却是50Hz运行中间就需要轨迹插值。插值要按时间戳做匀速插值而不是简单平均两个时刻的坐标不然车辆会走过一段弯折的路。我在接口层单独做了轨迹缓存和重采样逻辑保证每一个控制周期拿到的轨迹点都是时间一致的。6. 工具选型与后端集成6.1 仿真平台与评测环境选择复现这套方案仿真平台建议优先选能提供传感器原始数据、路网结构、交通参与者和动力学模型的平台。某个开源驾驶模拟器就够用关键是它提供了Python接口可以直接干预所有物体的状态方便构造极端目标条件。我在调试时最爱用它的“场景编辑器”功能手动把目标放到各种奇怪的位置测试零样本的边界。评测环境里要配一个自动对抗生成器每次训练完评测随机生成一批包含逆光、雨天、密集行人、突然切入的目标场景。目的不是要让模型在所有场景都拿满分而是观察它的失败模式分布。如果模型总是在某一类目标上失败说明目标编码空间在这个区域有空洞需要补数据。6.2 横向对比潜空间方案与离线轨迹库方案的差异很多自动驾驶工程团队目前使用离线轨迹库的路线做目标条件规划。轨迹库很直观预设一堆“左变道”、“右变道”、“靠边”、“绕障”模板根据当前场景匹配一条最像的轨迹再做轨迹微调。我整理过两者的对比差异很明显对比维度潜空间目标条件方案离线轨迹库方案目标数量扩展连续目标空间新增目标无需新增模板每增一个目标类型就得手写或采集新模板场景覆盖密度靠潜空间插值覆盖稀疏场景场景越细轨迹库越臃肿泛化能力新目标可从因果机制推演新目标只能靠近似匹配实时性一次前向推理延迟可控查库加微调匹配耗时随库规模增长可解释性潜表示较抽象需要额外可视化轨迹直观容易检查调试复杂度训练流程较复杂需要监控潜空间状态开发简单但维护成本随库指数上升我的倾向是如果项目目标是做一个固定区域、固定动作密集的场景轨迹库方案够用且好调试。但如果目标类型经常变部署场所不固定潜空间方案的后劲明显更足。6.3 跨场景部署的迁移策略拿一个城市物流场景训练好的模型直接搬到园区接驳场景效果大概率下降。迁移的核心不在模型结构而在目标空间的重新标定。不同场景里“靠边停车”的“边”含义不同城市里是路缘石园区里可能是绿化带边界。迁移前先把目标编码器的参考坐标系换成目标场景的坐标系重新统计目标分布范围再对目标编码器做少量适配训练效果能快速回暖。整个预测器和轨迹解码器通常不需要动因为潜空间里学习的驾驶规律是通用的比如“靠近目标点时减速”、“障碍物附近偏移轨迹”之类这些规律跨场景都成立。只微调目标编码器和观测编码器的低层特征是性价比最高的迁移策略。我在实际接触这套方案时最深刻的体会是零样本目标条件规划的价值不只是省掉几个标签数据更深层的意义在于模型开始具备一种对驾驶任务的理解能力明白目标如何改变未来状态而不是机械复现训练集里的轨迹。当然这套方案要想真正上车还需要在冗余安全机制上做大量工作但它打开了一个很有价值的方向。后续可以在多模态目标融合、不确定性量化、人机交互意图识别几个方向上继续延伸把目标条件驾驶规划从“能规划”推向“敢规划”。
