我大概是带着职业习惯看完的那一场大会。GTC ’26的展馆里算法工程师比销售多聊训练集群的人比看新车的人多所有人都在讲“端到端”但真正有意思的不是这个词本身而是台下大家争论的东西。以前开会自动驾驶的分歧在“感知用不用激光雷达”“规控要不要规则兜底”这次不一样了——端到端成了共识分歧变成了“哪一层端到端”“数据怎么闭环”“安全账怎么算”。一个观察跟着我走出会场端到端时代自动驾驶的主线根本不是模型结构而是围绕数据、算力和安全重新组织的工程系统。这篇文章就把我看到的、想到的、和我们团队自己踩过的坑一起写清楚。1. GTC ’26现场端到端变成共识之后真正的分歧才浮出水面1.1 从slides到白板端到端不再是PPT概念会场里最明显的变化是各家在展示端到端时不再只放一个“感知到规划一条链路”的示意图了。以前这种图多是因为概念阶段只能讲故事现在大家开始放数据闭环的架构图、模型蒸馏的流程图、影子模式的回归曲线甚至有人直接在白板上写训练数据规模的增长曲线。这说明整个行业已经把端到端当成默认选项。我这几天的感受是芯片厂商在讲怎么适配大模型训练工具链厂商在讲数据标注和场景挖掘的效率车企在讲自己积累了多少小时的真实驾驶数据。你看每个人都在自己的环节里做端到端而不是讨论要不要做。但这里有个很微妙的信号真正落地的端到端和论文里的端到端已经不太是一回事了。现场跟我聊过的几位做量产的朋友几乎没有人会直接说“我们就是全网端到端”大家说得更多的是“感知端到端”“预测端到端”“局部闭环端到端”甚至有人承认在实践中会把模型切成几段分别训练、分别部署、分别加保护。1.2 分歧不在“要不要端到端”而在“哪一层端到端”如果给这次大会上一个标签我会写“从派别之争变成分层之争”。过去两年行业里吵的是端到端到底能不能取代模块化到了GTC ’26这个伪命题基本没人提了。新的焦点是感知到预测融合到什么程度是把激光雷达和视觉在特征级融合还是干脆不做障碍物检测直接输出占据栅格规划控制能不能直接吃原始传感器数据还是中间保留一层可解释的隐状态规则兜底是放在模型外面做安全员还是和模型一起训练成一个安全模块这些问题的答案直接决定一个团队的技术路线、算力需求和数据标注成本。我把现场聊到的几种主流做法整理了一下避免大家被概念绕晕端到端层级输入输出典型落地阶段主要风险感知端到端多传感器原始数据障碍物/语义/占据栅格已在量产车型广泛落地小物体漏检、传感器退化感知预测联合端到端原始数据地图目标轨迹多模态意图部分头部玩家在做预测误差在规控侧被放大全局端到端原始数据导航指令方向盘/加减速指令示范运营、限定ODD安全责任制难界定、可解释性弱我自己的判断是2026年真正能跑通的量产方案大概率是“中间几层端到端”而不是一步到位的全网端到端。原因很朴素——数据、算力、安全责任这三座大山不是靠一个模型结构就能翻过去的。1.3 给标题里的“主线”先画个框说完这些我想先给出我理解的“主线”是什么端到端时代的主线不是一个模型也不是一张芯片而是闭环。整个过程围绕三件事转——数据怎么收集和回流算力怎么分配和调度安全怎么兜住最后一层。算法只是这条主线上最显眼的一段不是全部。接下来我从技术底座、数据工程、算力基建、安全体系这四个面展开。这些都是我作为算法工程师平时真正要面对的东西也是我判断一家公司能不能走到终局的关键指标。2. 先把技术底座掰清楚端到端到底动了谁的奶酪2.1 模块化路线不是被推翻而是被边缘化传统自动驾驶是典型的流水线传感器数据进来先做目标检测再跟踪、预测、给轨迹最后交给规控模块算出一条可行驶路径。这套系统的优点非常明显——每一步都有明确输入输出哪儿出了问题能立刻定位开发的时候各模块可以并行推进不同供应商之间能灵活拼装。但它的问题在2023年之后越来越掩盖不住长尾场景太多流水线上每一环都会丢信息。检测漏了一个小物体后面的预测、规控全跟着瞎预测模块对行人意图判断错一步规控再怎么优化也是白搭。更关键的是模块之间靠人工定义接口传递信息接口本身就是信息瓶颈。比如感知模块输出的“目标框和速度”已经丢掉了原始点云里所有的形状细节和上下文。端到端的本质是用一个可微分的模型链路把所有环节串起来让梯度信号能够从方向盘一路传回摄像头像素。它动的不是某一个模块的奶酪而是整个“人工定义接口”的体系。这对工程师来说是个巨大的心理转变以前我们调试的是目标检测的阈值现在我们要调试的是损失函数和训练数据分布。2.2 三种主流端到端形态和它们的边界现场讨论得最多的三个形态我一个个说。第一种是感知端到端也是目前量产最成熟的。代表做法是把检测、分割、跟踪放进同一个神经网络输出统一的结构化表示但下游仍然用传统规控。这个形态的好处是风险可控坏处是“端到端”的红利只吃到了一半上游丢信息的瓶颈还在。第二种是感知-预测联合端到端我身边不少团队在试。它让预测模块直接吃上游的稀疏特征而不是吃检测结果减少一次信息压缩。但问题在于预测输出的多模态轨迹和概率分布规控模块到底怎么消费很多团队最后还是在规控前面加了一层规则化的“轨迹选择器”否则下游会被一堆自相矛盾的预测轨迹搞晕。第三种是全局端到端输入原始数据、导航指令输出控制量。这套方案最性感但也最难落地。它的成功高度依赖数据覆盖度和仿真能力而且一旦出了事故责任链是断裂的。现场一位做过量产的同行跟我说了句话很实在“全局端到端现在的战斗力是80分但状态不稳定有时候100分有时候40分。量产要的是稳定在90分以上。”2.3 一个容易被忽略的问题可解释性去哪儿了可解释性这个词在端到端时代被骂得很惨好像提它就是开倒车。但我不这么看。可靠的可解释性不是要你打印出一张“模型内部图”而是当事故发生后你能拿出证据链证明“系统为什么会这样做”以及“当时系统是否在工作状态内”。模块化时代我们可以回溯每一个子模块的输入输出端到端时代我们手里只剩一堆特征图、注意力热力图和中间隐向量。现场的普遍思路是两条腿走路一是保留一个简化的、在线可监控的“影子模型”用来在运行时评估主模型的行为边界二是做大量的对抗性测试和仿真回归用离线分析替代在线可解释性。这件事对整个行业的启示是端到端模型的上限决定体验下限决定生死。下限不是靠模型本身保证的是靠系统设计保证的。3. 算法工程师的真正战场数据闭环才是端到端的命门3.1 数据回传端到端模型的“口粮”怎么来聊到数据很多人的第一反应是“我们已经积累了几千万公里的测试数据”。但接触过端到端之后你会明白数据量只是最表层的KPI。真正决定模型能力的是数据的分布质量和回流速度。模块化时代感知模型的训练数据大多是人工挑选的“困难样本”比如遮挡行人、夜间小目标、雨天反光。但端到端模型对数据的需求完全是另一套逻辑——它需要的是“完整驾驶事件”也就是一段连续时间里的传感器输入、驾驶员操作、环境上下文、最终结果。零散的图片对训练一个预测转向的模型意义非常有限。这里我建议团队优先做三件事建立基于触发条件的订阅式回传而不是全量回传。比如检测到急刹车、近距离切入、复杂路口左转这些场景自动触发数据上传兼顾数据价值和流量成本。做好数据脱敏和合规清洗人脸、车牌、地理位置都要做处理。这一步如果放到训练前才做不仅慢还容易漏。把数据回流设计成分钟级闭环。车队晚上跑完第二天上午新采集的难例就应该能进入训练集下午出评测结果。谁的闭环转得越快谁的模型迭代就越快。3.2 从离线挖掘到在线难例长尾场景的七十二变我们团队踩过一个大坑离线挖掘出来的难例训练完之后模型是变强了可新版本一上车又冒出一批之前完全没见过的新难例。后来我们意识到端到端模型对长尾场景的“泛化方式”和人类不一样。人是靠常识举一反三模型是靠数据密度硬生生把某个区域填平。所以真正有效的做法是两层叠加。第一层是离线场景聚类挖掘把海量回传数据按行为特征聚成簇找出模型在哪些簇上表现差例如连续变道、无保护左转、被大车别停。第二层是在线难例挖掘车端在运行时算一个“惊讶度”当当前场景的概率密度很低时主动把这段数据标为高价值样本回传。这让我想到一个类比离线挖掘像是老师出题在线难例像是学生自己把做错的题夹进错题本。光有前者模型永远是在补考已知的薄弱点有了后者模型才有机会复习那些“自己都不知道自己不会”的能力。3.3 仿真与评测没有传统可解释模块之后怎么判断模型进步了端到端时代最让算法工程师头疼的不是训练而是评测。以前模块化系统可以根据检测精度、预测误差这些指标判断好坏现在模型直接输出方向盘角度你说这个角度到底对不对没有绝对正确的答案所有规控输出都是在概率意义上“合理”。我们的做法是组合一套评测体系基于记录的驾驶行为作为参照计算模型输出与人类驾驶员操作的相似度这个指标能快速反映模型整体是否进步。基于闭环仿真跑大量结构化场景把安全干涉率、接管率、车道偏离次数作为核心指标。辅以规则代理指标例如是否压线、是否在目标车道、与前车距离是否超阈值这些指标不解释模型内部但能守住底线。我还想提醒一点仿真评测的可靠性严重依赖场景库质量。很多团队拿开源数据集跑回归跑到后面全过拟合模型越来越保守实际驾驶体验越来越差。所以你需要的不是更多场景而是更多“会咬人的场景”和多智能体的交互博弈。4. 算力竞赛背后从单点芯片到系统级战场4.1 训练端的算力吞噬效应GTC ’26的另一条暗线是算力。端到端模型在训练阶段对算力的吞噬力超出很多刚入行同学的想象。一个全局端到端模型输入是连续多帧、多传感器的原始数据batch size稍微拉大一点显存占用就是几万卡级的规模。问题在GTC现场聊下来普遍集中在三点训练集群的互联带宽比算力更重要。模型并行时梯度同步要占掉大量通信资源卡多了但网络不行加速比上不去。数据加载管线经常成为瓶颈。端到端训练吃的是视频流一个样本可能几十MB预处理、解码、增强全在数据管线上搞不好GPU就在那饿着肚子等数据。保存和读取中间激活值的成本被严重低估。很多研究团队训练到一半发现磁盘IO成了新的瓶颈。我不是建议每个团队都去建万卡集群而是提醒一个趋势端到端会把自动驾驶公司变成一个重资产玩家。以前算法团队的核心竞争力是人才和模型设计现在竞争悄悄变成了“谁能持续供得起算力”。4.2 车端推理不是算力越大越好车端算力在GTC ’26上同样是热点但风向已经从“堆TOPS”转向“有效算力”和“系统时延”。我听到一个很实在的说法端到端模型在车端的瓶颈不是算力不够而是超大模型跑不起、小模型效果不够。做量产的人应该都有体感车规级芯片的功耗有上限散热条件有限大模型跑在车上要么降频要么需要等上一个推理周期才能输出新指令。对于端到端规控来说50ms的控制周期已经是很勉强的边界你再怎么追求高精度也不能让控制指令迟到了。还有一个不容易察觉的问题端到端模型需要在车端同时维护多个副本或者多个分支比如一个大的感知主模型、一个小的安全预警模型、一个用于驾驶员状态监控的小模型它们不能共享一个推理Pipeline因为彼此对时延的敏感度不一样。这意味着车端芯片原厂提供的不只是“处理器的浮点算力”还得有好的工具链和调度能力否则一堆模型在芯片上互相抢资源体验会很差。4.3 会场上的信号大家都在讲系统效率如果只用一个词概括GTC ’26芯片相关的风向我会说“系统效率”。以前厂商喜欢比单颗芯片的峰值TOPS今年大家更多在讲“整机有效算力”“端到端训练吞吐”“模型编译后的实际时延”。从某家芯片厂商的公开测试看同一个模型在不同工具链和编译策略下端到端推理时延能差出一倍以上。这也是为什么不少车企开始跟芯片原厂共建工具链甚至在软件栈层面向下压。这个趋势对算法工程师的影响很直接以后你选车型平台不能只看芯片名字还得看它配套的编译器和中间件是否成熟否则好模型也跑不出好效果。我对算力这块最想说的一句话是算力不是买回来的高点而是用出来的胜负手。谁的训练集群效率高、谁的车端调度好、谁的模型压缩做得小谁就真正掌握成本优势。5. 安全兜底没有消失只是换了一种存在方式5.1 端到端主脑加规则守门员很多人一听到端到端就以为规则、安全员、冗余这些传统安全手段全被扔掉了。事实上我在GTC ’26听到最多的一个词是“安全包络”注意力全部放在怎么给端到端模型加保险丝。目前的主流架构是“端到端主脑 规则守门员”端到端模型正常当主驾驶员实时输出决策一套独立的、可验证的规则引擎在旁边监控一旦检测到超出安全包络的情况可以降级、请求接管或者直接进入最小风险状态例如靠边停车。规则守门员不追求“聪明”只追求“可靠”它永远用最保守的逻辑做最保险的决定。这套设计在工程上有一个很大的好处你可以给安全系统单独过认证不依赖大模型的可解释性。规则引擎的逻辑是枚举出来的、可审查的能回答外部的安全质疑。而端到端模型继续在体验层做文章两者各司其职。5.2 远程接管与故障诊断的重新定位端到端上车之后另一个被重新定义的安全组件是远程接管。“云代驾”这个词前两年还很模糊现在清晰多了端到端系统在高难度场景前会主动降低置信度远处的安全员通过网络介入接管车辆完成脱困。这件事其实改变了自动驾驶安全从“单车自主”到“系统协同”的范式也带来新的工程挑战通信时延和带宽的要求更高了车端不仅传视频可能还要传原始传感器数据用于远程重建场景。需要定义接管的握手协议避免人和系统同时控制、互相打架。故障诊断的粒度要更细不能再只看“传感器不工作”而要看“模型当前输出是否处于低置信区间”。我自己比较看好这条路径原因很简单完全无人接管在开放道路上的周期比我们想象中长太多。与其死磕100%自动不如把“人机协同接管”也当成一种安全工具去设计和优化。5.3 预期功能安全端到端最难回答的考卷最后说一个容易被忽略的安全维度——预期功能安全。传统功能安全回答的问题是“系统会不会坏”预期功能安全回答的是“系统在没坏的情况下会不会做错误决策”。端到端模型天然是这方面的高风险体因为它不是按规则设计出来的而是在数据分布中涌现出来的。你很难穷举“什么情况下它会乱来”。我看到的主流应对办法是化工夫在ODD的严格定义上让系统只在它验证过的操作设计域内运行跑出这个域主动降级或提醒接管。这块没有银弹能做的只有四点更重的仿真回归、更细的ODD边界描述、更灵敏的运行时监控、更保守的降级策略。它不性感但如果你真要在2026年把车量出去这一课逃不掉。6. 我的判断端到端时代的主线到底是什么6.1 主线不是“大模型上车”而是数据资产的滚动速度把前面四层内容合在一起我给“主线”下一个属于自己的答案端到端时代的主线是数据资产的滚动速度。大模型结构会趋同算力硬件会商品化真正让一家公司和另一家拉开差距的是它收集数据、处理数据、利用数据的飞轮转速。你能不能在别人还没见过的场景里提前积累训练数据你能不能在新版本上线后的第二天就发现模型在真实道路上的新短板你能不能把每一次事故和每一次难例都变成模型进化的养分答案是决定生死的。模型谁都会训数据链路不是谁都能建得又快又干净。6.2 算力是门槛不是护城河这个判断可能会让一些押注自建超算的朋友不舒服但我还是想直说算力是一种准入资格不是终局战争。你在获得入场券之后真正的前沿在效率和算法上而不是再去比谁的卡多。更值得投入的是模型压缩、稀疏化、量化、蒸馏以及更聪明的人机协同架构。同一个模型你能压到三分之一大小还保持95%的效果你的成本优势就是碾压级的。GTC ’26让我最兴奋的技术点其实不是新一代车规芯片而是各家在模型轻量化上的突破氛围。6.3 工程组织方式才是真正的隐性壁垒聊到最后我想说一个很多技术文章不愿意碰的话题端到端时代真正的壁垒其实在工程组织方式上。模块化时代团队可以分成感知组、预测组、规控组各自独立排期。端到端时代模型链路是一个整体数据团队、算法团队、仿真团队、芯片团队必须像一支球队一样同步转动。一个版本的上线要同时协调数据标注、分布式训练、场景仿真、车端部署好几个环节任何一个环节掉链子整个周期就被拖垮。我在会场上看到不少团队晒出了自己的“AI Infra”架构图。说实话我以前觉得这些图是面子工程现在不这么认为了。能把数据、训练、评测、部署、监控全链路拉通的组织才是端到端时代最稀缺的能力。如果让我用一句话给这篇观察收尾那是2026年真正值得做的主线不是做一条更漂亮的神经网络而是把围绕神经网络的那台“机器”造得比别人更顺滑更结实更快。技术风向一波一波地变但工程的本质永远是“闭环”两个字。
