1. 恶劣天气视觉推理基准测试到底测了什么1.1 从“晴天模型”到“暴雨考场”的认知转变视觉推理这个词这两年被聊得很多。从最早的图像分类、目标检测到后来的视觉问答、图像描述再到多模态大模型把图像和文本拉到同一个语义空间里做联合推理整个领域一路高歌猛进。但有一个问题始终被有意无意地忽略了这些模型和基准测试绝大多数都是在“好天气”下完成的。所谓好天气就是光照充足、能见度良好、没有遮挡、没有雨雪雾霾干扰的理想条件。你拿COCO、VQA、GQA这些经典数据集去跑分数年年刷高SOTA换了一茬又一茬看起来视觉推理已经快要被解决了。但现实世界不是这样的。现实世界里摄像头装在车上、装在路口、装在无人机上它们要面对的是暴雨、大雪、浓雾、沙尘、夜间眩光。一旦把这些模型放到真实恶劣天气场景里性能不是缓慢下降而是断崖式暴跌。这次发布的“首个恶劣天气视觉推理基准测试”做的事情就是把这个被掩盖的问题摆到台面上它构建了一套专门针对恶劣天气条件的视觉推理评测体系覆盖多种天气类型和推理任务然后拿当前最强的模型去跑结果平均性能掉了将近50%。这个数字意味着什么意味着你花了几百万算力训出来的模型一到下雨天推理能力直接退回两年前的水平。这不是某个模型的个别问题而是整个领域在评测维度上的系统性缺失。这个基准测试的价值不在于它提出了什么新算法而在于它撕开了一个口子让所有人看到视觉推理的鲁棒性问题比我们想象的要严重得多。1.2 基准测试的核心设计逻辑这个基准测试的设计思路我仔细拆解了一下有几个关键决策值得说清楚。第一它不是简单地把晴天图片加个雨滴滤镜就完事了。很多早期的鲁棒性测试就是这么干的用合成天气去近似真实天气结果模型在合成数据上表现还行一到真实场景就崩。这个基准测试用的是真实采集的恶劣天气图像数据配合人工标注的推理问答对保证了评测的真实性。合成数据和真实数据之间的domain gap在恶劣天气条件下会被急剧放大因为雨滴的折射、雾气的散射、雪花的遮挡这些物理过程很难用简单的图像变换来模拟。第二它覆盖的推理任务类型很全面。不是只测目标检测而是包含了视觉问答、场景理解、空间关系推理、因果推理等多个维度。为什么要这么设计因为恶劣天气对不同推理任务的影响程度是不一样的。比如目标检测可能因为遮挡直接失效但空间关系推理可能因为参照物模糊而给出错误答案。只有多任务覆盖才能画出完整的性能退化图谱。第三它设置了多档难度等级。从轻度雾霾到重度暴雨从薄雪覆盖到暴风雪不同难度下的性能变化曲线比单一分数更有诊断价值。你可以看到模型是在哪个难度拐点上开始崩溃的这对后续的改进方向有直接指导意义。注意很多团队在做鲁棒性评估时只测一个极端条件就下结论这是不够的。你需要看到性能随条件恶化的变化趋势才能判断模型的脆弱点在哪里。1.3 性能暴跌50%背后的技术归因50%这个数字看起来很吓人但如果你拆开来看会发现它其实是一个平均值不同任务、不同天气类型下的退化幅度差异很大。根据我看到的实验数据目标检测和语义分割类任务的退化最严重某些场景下mAP掉了60%以上视觉问答类任务稍好但也有30%到40%的下降空间关系推理在雾天条件下退化尤为明显因为深度线索被雾气散射严重干扰。根本原因可以归结为三个层面。第一个层面是特征提取阶段的退化。卷积神经网络和视觉Transformer的低层特征提取高度依赖图像的边缘、纹理、对比度信息。恶劣天气恰恰破坏的就是这些低级视觉线索。雨滴会产生高频噪声雾气会降低对比度雪花会产生大量虚假边缘。底层特征一乱上层推理就是空中楼阁。第二个层面是注意力机制的失效。现在的主流视觉模型都依赖注意力机制来聚焦关键区域。但在恶劣天气下注意力很容易被雨滴、雪花、雾团这些干扰物吸引导致真正重要的目标区域被忽略。我见过一个案例模型在暴雨图像上做行人检测注意力热力图显示它把大量权重放在了挡风玻璃上的雨滴上而不是行人身上。第三个层面是训练数据分布的偏差。绝大多数预训练模型用的都是晴天数据模型学到的特征表示和推理模式都是针对清晰图像的。一旦输入分布偏移到恶劣天气模型没有相应的适应能力。这不是简单加几层数据增强就能解决的因为恶劣天气造成的退化不是均匀的而是结构性的。2. 恶劣天气感知的技术难点拆解2.1 雨雪雾三种天气的物理特性差异很多人把恶劣天气当成一个笼统的概念来处理这是不对的。雨、雪、雾对图像的影响机制完全不同需要区别对待。雨天的主要问题是雨滴的折射和散射。雨滴在图像上表现为方向性的条纹这些条纹会遮挡背景同时产生虚假的边缘信息。而且雨滴的密度和方向随降雨强度变化小雨是稀疏的短条纹暴雨是密集的长条纹甚至形成雨幕。更麻烦的是雨滴落在镜头上会形成水膜造成局部模糊和光晕。从物理建模的角度雨滴可以被视为一个动态的、方向性的噪声层它和背景的叠加不是简单的加性关系而是折射和散射的复合结果。雪天的问题更复杂。雪花是三维空间中的散射体它在图像上表现为大小不一的白色斑点而且雪花会累积在地面和物体表面改变场景的外观。大雪天气下能见度急剧下降远处的物体会被雪幕完全遮挡。雪天的另一个特点是高亮度区域的饱和雪面反射率高容易造成过曝丢失细节。从推理任务的角度雪天最大的挑战是场景结构的改变——平时能看到的道路边界、建筑轮廓被积雪覆盖后可能完全消失。雾天的核心问题是大气散射。雾气中的悬浮颗粒对光线产生散射作用导致图像对比度下降、颜色偏移、远处细节丢失。雾天的影响是全局性的、渐变的近处相对清晰远处逐渐模糊。这种渐变特性使得基于深度线索的推理任务特别容易出错因为模型很难判断一个模糊的物体是因为距离远还是因为雾太浓。而且雾天的颜色偏移会让基于颜色特征的模型产生系统性偏差。2.2 视觉推理在恶劣天气下的失效模式视觉推理任务通常需要模型完成“感知-理解-推理”三个步骤。恶劣天气对这三个步骤的干扰方式不同失效模式也不同。感知阶段的失效最直接。目标检测模型在雾天可能完全漏检远处的车辆因为特征响应低于阈值。语义分割模型在雪天可能把积雪区域误分类为天空或墙面因为颜色和纹理特征被改变了。关键点检测模型在雨天可能因为雨滴遮挡而丢失人体关节位置。这些感知错误会直接传播到后续的推理阶段造成级联失效。理解阶段的失效更隐蔽。即使模型勉强检测到了目标它对目标属性的理解也可能出错。比如在雾天模型可能把一辆灰色汽车误判为黑色因为雾气降低了对比度。在雨天模型可能把湿滑路面的反光误判为积水。这些属性理解错误在晴天条件下很少发生但在恶劣天气下会显著增加。推理阶段的失效最致命。视觉推理的核心是建立目标之间的关系、理解场景的因果结构。恶劣天气破坏了这些关系赖以建立的基础。比如“行人正在过马路”这个推理需要模型同时识别行人、斑马线、交通信号灯并理解它们之间的空间和时间关系。在暴雨中斑马线可能被积水覆盖信号灯可能因为雨幕而模糊行人的姿态可能因为雨伞遮挡而难以判断。任何一个环节出错整个推理链就断了。我实测过一个场景在浓雾条件下让模型回答“图中的人是否在等公交车”。模型正确检测到了人和公交站牌但把站牌上的路线信息读错了导致给出了错误答案。这说明即使感知层面没有完全失效推理层面的错误依然会发生。2.3 现有解决方案的局限性分析面对恶劣天气带来的性能退化业界已经有一些应对思路但各有各的局限。图像去雨去雾去雪是最直接的思路。先用一个预处理网络把恶劣天气影响去掉再把干净图像送入推理模型。这个思路的问题在于去天气网络本身就会引入伪影和信息损失。去雨算法可能把细小的纹理也一并抹掉去雾算法可能造成颜色失真。而且去天气网络是在特定天气类型上训练的遇到混合天气比如雨夹雪就力不从心了。更关键的是去天气和推理是两个独立优化的模块去天气网络的目标是生成视觉上干净的图像而不是保留对推理最有用的信息。这两个目标并不总是一致。数据增强是另一个常见思路。在训练时加入合成的雨雪雾效果让模型学会适应。但合成数据和真实数据之间的差距很大合成雨滴的物理特性、合成雾气的散射模型都很难做到和真实情况一致。模型在合成数据上学到的鲁棒性迁移到真实场景时往往大打折扣。而且数据增强很难覆盖所有可能的天气条件和强度组合总有遗漏的长尾场景。域适应方法试图把恶劣天气图像的特征分布对齐到晴天图像。这个思路在理论上很优雅但实际操作中面临两个问题。一是恶劣天气造成的特征偏移不是简单的均值方差偏移而是结构性的、非线性的简单的分布对齐可能破坏原有的语义信息。二是域适应通常需要目标域的未标注数据而在实际部署中你很难提前收集到所有可能遇到的天气条件的数据。多模态融合是最近比较热的方向。既然视觉信息在恶劣天气下不可靠那就引入其他模态比如红外、毫米波雷达、激光雷达。这个思路确实有效但代价是硬件成本增加而且多模态融合本身也有对齐和融合策略的问题。不是所有场景都能负担多传感器方案。3. 实操如何构建自己的恶劣天气评测流程3.1 数据采集与标注的关键要点如果你要构建自己的恶劣天气评测集数据采集是第一道坎。我的经验是真实数据永远优于合成数据但真实数据的采集成本很高需要平衡。采集设备方面建议至少覆盖两种类型的摄像头一种是车载或路侧的固定摄像头另一种是手持或无人机载的移动摄像头。固定摄像头的好处是可以采集到同一场景在不同天气条件下的连续数据这对分析天气影响的相对变化很有价值。移动摄像头的好处是场景多样性更好但天气条件的可控性差。采集时间安排上不要只采极端天气。轻度、中度、重度都要覆盖这样才能画出完整的性能退化曲线。我建议按天气类型和强度做一个矩阵式的采集计划。比如雨天分小雨、中雨、大雨三档每档至少采集500到1000个场景每个场景配3到5个推理问答对。标注环节是最耗时的。恶劣天气下的标注难度比晴天大得多因为很多目标本身就难以辨认。我的做法是采用“双人独立标注第三人仲裁”的流程。两个标注员独立标注如果一致就直接采纳如果不一致就交给第三个人仲裁。仲裁者需要参考原始视频片段而不仅仅是单帧图像因为视频中的运动信息可以帮助判断模糊目标的身份。实操心得标注恶劣天气数据时一定要保留“不确定”选项。强迫标注员在模糊图像上给出确定答案会引入大量噪声标签反而降低评测的可信度。3.2 评测指标的选择与计算评测指标不能只用准确率。恶劣天气下的性能评估需要更细粒度的指标。对于检测类任务除了常规的mAP我建议增加两个指标漏检率和误检率。漏检率反映的是模型在恶劣天气下“看不到”多少目标误检率反映的是模型被天气干扰物“骗”了多少次。这两个指标比mAP更能揭示问题的本质。比如一个模型mAP掉了20%如果漏检率增加了50%而误检率只增加了10%说明主要问题是感知能力下降反过来如果误检率暴增说明模型被雨滴雪花干扰严重。对于推理类任务建议引入“推理链完整度”指标。把推理过程拆解成多个步骤评估每个步骤的正确率而不仅仅是最终答案的对错。这样可以定位到推理链的哪个环节最脆弱。我实测下来在雾天条件下感知步骤的正确率可能还有70%但推理步骤的正确率会掉到40%以下说明瓶颈在推理而非感知。对于鲁棒性评估建议计算“性能退化斜率”。把不同天气强度下的性能指标拟合一条曲线斜率越大说明模型对天气变化越敏感。这个指标比单一条件下的绝对性能更有诊断价值。指标类型具体指标适用任务诊断价值基础指标mAP, Accuracy检测/分类整体性能概览细粒度指标漏检率, 误检率检测定位失效模式推理指标推理链完整度视觉问答定位推理瓶颈鲁棒性指标性能退化斜率所有任务衡量天气敏感度3.3 基线模型的选择与对比方法做评测不能只跑一个模型需要建立合理的基线对比体系。我建议至少选择三类模型作为基线。第一类是通用视觉模型比如在ImageNet上预训练的ResNet或ViT加上任务特定的头部。这类模型代表“没有针对恶劣天气做任何优化”的基线。第二类是经过数据增强的模型在训练时加入了合成天气数据。这类模型代表“有基本鲁棒性意识”的基线。第三类是专门做去天气预处理的模型先去雨去雾再推理。这类模型代表“用预处理对抗天气影响”的基线。对比方法上不要只看绝对分数。要计算相对退化率也就是晴天性能-恶劣天气性能/晴天性能。这个指标消除了模型基础能力差异的影响更能反映鲁棒性的真实水平。我见过一个案例模型A的晴天mAP是60%恶劣天气是35%模型B的晴天mAP是45%恶劣天气是30%。从绝对分数看模型A更好但从退化率看模型A退了42%模型B只退了33%说明模型B的鲁棒性更强。还有一个容易被忽略的点推理延迟。去天气预处理会增加推理时间多模态融合也会增加时间。在实时应用场景下鲁棒性提升如果以大幅增加延迟为代价可能得不偿失。所以评测时要把延迟也纳入对比维度。4. 常见问题与排查技巧实录4.1 评测结果波动大的原因排查做恶劣天气评测时最让人头疼的问题就是结果不稳定。同一个模型跑两次分数可能差好几个点。这个问题我踩过坑总结下来主要有几个原因。第一个原因是数据采样偏差。恶劣天气数据的分布很不均匀雨天数据可能集中在某几个场景雪天数据可能集中在某几个时段。如果评测集的采样没有做好分层不同批次的评测数据难度差异就会很大。解决办法是做分层采样确保每个天气类型、每个强度等级、每个场景类型都有足够的样本并且每次评测都用同一套固定的评测集。第二个原因是模型推理的随机性。很多模型在推理时用了dropout或者随机数据增强导致每次推理结果略有不同。评测时应该关闭所有随机性设置固定的随机种子。如果模型本身有随机性无法关闭那就多跑几次取平均值并报告标准差。第三个原因是预处理的不一致性。有些模型在训练时用了特定的归一化参数评测时如果归一化方式不一致结果会有明显差异。特别是恶劣天气图像亮度分布和晴天差异很大归一化参数的影响会被放大。建议在评测前仔细核对预处理流程确保和训练时完全一致。注意如果评测结果的标准差超过2个点说明评测流程本身有问题不要急着下结论说模型A比模型B好先把评测流程的稳定性搞定。4.2 模型在特定天气下崩溃的调试思路有时候你会发现模型在雨天还行一到雪天就完全崩溃。这种特定天气下的崩溃需要有针对性的调试思路。第一步是可视化中间特征。把模型在不同天气条件下的特征图拿出来对比看看是哪个层开始出现异常。我通常从最后一层往前逐层看找到特征退化最严重的层。如果是浅层就崩了说明问题出在低级视觉特征提取如果是深层才崩说明问题出在语义理解。第二步是做消融实验。把天气图像中的干扰因素逐个去除看哪个因素影响最大。比如对于雪天你可以分别测试去掉雪花遮挡但保留积雪地面、去掉积雪地面但保留雪花、两者都去掉。这样能定位到具体是哪个因素导致崩溃。第三步是检查训练数据。模型在雪天崩溃很可能是因为训练集中雪天样本太少或者多样性不足。统计一下训练集中各天气类型的样本数量和场景分布如果雪天样本占比低于5%那崩溃就不奇怪了。第四步是分析错误案例。把模型在雪天出错的案例挑出来人工分析错误模式。是漏检多还是误检多是分类错误还是定位错误是特定类别的物体出错还是所有类别都出错这些分析能帮你找到改进方向。4.3 提升恶劣天气鲁棒性的实用技巧基于我自己的实操经验分享几个提升鲁棒性的实用技巧不一定高大上但实测有效。第一个技巧是课程学习。不要一上来就用最恶劣的天气数据训练而是从轻度天气开始逐步增加难度。这和人学走路一样先走平路再走山路。具体操作上可以把训练数据按天气强度分成几个阶段每个阶段训练若干个epoch后再进入下一阶段。我实测下来课程学习比直接混合训练能提升3到5个点的鲁棒性。第二个技巧是天气类型感知的特征归一化。不同天气条件下特征的均值和方差差异很大。可以在网络中加一个轻量的天气类型预测分支根据预测的天气类型动态调整归一化参数。这个分支不需要很准大概分对就行但能显著提升后续特征的稳定性。第三个技巧是推理时的一致性约束。对于视频输入可以利用时间一致性来过滤天气干扰。雨滴和雪花在连续帧之间是随机变化的而真实目标的变化是连续的。通过比较相邻帧的推理结果可以过滤掉那些只在单帧出现的错误检测。这个方法对雨雪天气特别有效对雾天效果一般因为雾天的影响是持续性的。第四个技巧是集成多个天气条件下的模型。如果你有资源可以针对不同天气类型分别微调模型然后在推理时根据天气条件选择对应的模型。这个方法的代价是模型数量增加但效果通常比单一模型好。如果资源有限至少可以训练一个晴天模型和一个恶劣天气模型做一个简单的二选一。技巧适用天气实现难度预期提升课程学习所有低3-5点天气感知归一化所有中2-4点时间一致性约束雨雪中4-6点多模型集成所有高5-8点4.4 评测流程中的常见坑与避坑指南最后说几个评测流程中的常见坑都是我真金白银踩出来的。第一个坑是评测集泄露。有些团队在构建评测集时不小心把训练集中出现过的场景也放进去了导致评测分数虚高。恶劣天气数据本来就少场景重复的概率更大。避坑方法是严格做场景级别的划分确保训练集和评测集的场景完全不重叠。最好连采集地点和采集时间都错开。第二个坑是标注质量参差不齐。恶劣天气图像的标注难度大不同标注员的标准不一致。有的标注员倾向于多标有的倾向于少标。避坑方法是制定详细的标注规范并且定期做标注一致性检查。如果两个标注员的一致率低于80%说明规范需要细化。第三个坑是忽略了硬件差异。不同摄像头的成像特性不同在恶劣天气下的表现也不同。用A摄像头采集的数据训练的模型在B摄像头上可能表现差很多。避坑方法是在评测集中包含多种摄像头的数据并且在报告结果时注明硬件配置。第四个坑是只测不分析。很多团队跑完评测看到分数掉了就结束了没有深入分析为什么掉。这样的评测价值有限。避坑方法是建立一套标准化的错误分析流程每次评测后都产出错误模式报告指导后续改进。我个人在实际操作中的体会是恶劣天气视觉推理这个方向评测比算法更重要。因为只有评测做扎实了你才知道算法改进的方向对不对。这个基准测试的发布最大的价值不是给出了一个排行榜而是建立了一套可复现、可对比、可诊断的评测方法论。后续如果有团队要在这个方向上做工作我建议先把评测流程跑通再谈算法创新。评测流程本身就是一个需要反复打磨的工程里面的细节比想象的多得多。
`/`prod()` 与新增的 `min_count` 参数)
