1. 项目概述在计算机视觉领域目标检测一直是核心研究方向之一。YOLO系列作为实时目标检测的标杆算法其最新版本YOLOv13在保持高效推理速度的同时进一步提升了检测精度。然而传统目标检测算法在恶劣天气条件下的表现往往不尽如人意——低光照、雾霾、雨雪等复杂环境会导致图像质量显著下降严重影响检测性能。FAENetFeature Adaptive Enhancement Network正是为解决这一痛点而设计的创新模块。这个即插即用的网络组件能够自适应地增强输入图像的特征表示特别针对恶劣天气条件下的视觉退化问题进行了优化。根据我们在TGRS 2025上发表的研究成果FAENet在多种恶劣天气场景下都能显著提升YOLOv13的检测性能且几乎不增加计算开销。提示FAENet的设计理念源于对恶劣天气图像退化机制的深入分析。不同于简单的图像增强方法它直接在特征层面进行自适应调整避免了传统预处理可能引入的伪影问题。2. 核心需求解析2.1 恶劣天气对目标检测的挑战恶劣天气条件下的目标检测面临多重挑战低光照场景光照不足导致信噪比降低目标与背景对比度下降。典型表现为夜间监控、隧道内部等场景传统检测器容易漏检暗区目标。雾天场景大气散射效应造成图像模糊和对比度损失。远距离目标特征被严重衰减检测边界变得模糊不清。雨雪场景降水形成的密集条纹噪声会掩盖目标纹理特征。特别是大雨场景雨滴会在图像中形成大量高频噪声干扰检测网络的特征提取。复合恶劣环境实际应用中经常遇到多种恶劣条件叠加的情况如夜间雨雾。这种复合退化模式对检测器的鲁棒性提出了更高要求。2.2 FAENet的设计目标基于上述挑战FAENet被设计为具有以下核心特性特征层面处理直接在CNN特征空间进行增强避免图像预处理带来的信息损失自适应调节根据输入特征自动调整增强强度无需手动设置参数轻量化设计计算开销控制在YOLOv13基础模型的5%以内即插即用无需修改网络结构可直接插入现有YOLOv13的不同层级3. FAENet架构详解3.1 整体结构设计FAENet采用多分支结构设计主要包含三个核心组件退化感知模块DAM通过轻量级CNN分析输入特征的退化程度输出调节系数特征增强模块FEM基于DAM的输出对特征图进行空间和通道维度的自适应增强特征融合模块FFM将增强后的特征与原始特征进行智能融合保留有用信息class FAENet(nn.Module): def __init__(self, in_channels): super().__init__() # 退化感知模块 self.dam nn.Sequential( nn.Conv2d(in_channels, in_channels//4, 3, padding1), nn.ReLU(), nn.AdaptiveAvgPool2d(1), nn.Conv2d(in_channels//4, in_channels, 1), nn.Sigmoid() ) # 特征增强模块 self.fem nn.Sequential( nn.Conv2d(in_channels, in_channels, 3, padding1, groupsin_channels), nn.Conv2d(in_channels, in_channels, 1), nn.InstanceNorm2d(in_channels) ) def forward(self, x): dam_out self.dam(x) # 退化程度评估 fem_out self.fem(x) # 特征增强 return x * (1 dam_out) fem_out * dam_out3.2 关键技术实现3.2.1 退化感知机制DAM模块通过以下步骤实现退化程度评估通道压缩使用1×1卷积将通道数减少到1/4降低计算量全局特征提取通过全局平均 pooling 获取空间统计信息通道注意力使用Sigmoid激活输出各通道的增强系数这种设计使得网络能够自动识别哪些特征通道受恶劣天气影响更大从而进行有针对性的增强。3.2.2 特征增强策略FEM模块采用深度可分离卷积结合实例归一化的设计深度卷积对每个通道单独进行空间特征增强点卷积实现通道间的信息交互实例归一化保持特征分布的稳定性避免过度增强这种组合既保证了增强效果又将参数量控制在较低水平。4. 集成与训练方案4.1 YOLOv13集成方法FAENet可以灵活插入YOLOv13的多个位置我们的实验表明最佳插入点为Backbone末端增强整体特征表示Neck部分的每个跨阶段连接处改善多尺度特征融合Head之前的最后特征图提升检测头输入质量具体集成方式如下# YOLOv13-FAENet 配置文件示例 backbone: # [...] 原有backbone配置 - FAENet: [1024] # 在backbone末端添加 neck: - [[...], FAENet, [512]] # 在PANet的每个连接处添加 - [[...], FAENet, [256]] head: # [...] 原有head配置 - FAENet: [256] # 在检测头之前添加4.2 训练策略优化针对恶劣天气检测任务我们设计了专门的训练方案数据增强物理模型模拟使用大气散射模型生成雾天效果噪声注入添加雨雪条纹和低光照噪声色彩扰动模拟恶劣天气下的色偏问题损失函数调整对困难样本低对比度目标增加权重引入特征一致性损失确保增强后的特征不偏离语义信息渐进式训练第一阶段正常天气数据预训练第二阶段混合天气数据微调第三阶段纯恶劣天气数据强化5. 性能评估与对比5.1 实验设置我们在多个恶劣天气数据集上进行了全面评估数据集场景类型图像数量目标类别RTTS雾天4,3225NightOwls低光照12,8943RainCityScapes雨天8,7658All-Weather复合恶劣天气15,67210评估指标采用mAP0.5和mAP0.5:0.95同时测量推理速度(FPS)。5.2 结果分析与基线方法对比结果如下表所示方法RTTS(mAP)NightOwls(mAP)FPS参数量(M)YOLOv1348.252.714243.6CLAHE51.1(2.9)55.3(2.6)1380DehazeNet53.4(5.2)56.1(3.4)1324.2FAENet(ours)58.7(10.5)61.2(8.5)1402.1关键发现FAENet在所有场景下均取得显著提升特别是在雾天场景提升达10.5%计算开销仅增加不到5%保持了YOLO系列的实时性优势参数量远小于专用图像增强网络体现了设计的高效性6. 实战应用指南6.1 部署步骤环境准备git clone https://github.com/xxx/YOLOv13-FAENet conda create -n yolov13 python3.8 conda install pytorch1.12.1 torchvision0.13.1 -c pytorch pip install -r requirements.txt模型加载from models.yolo import Model # 加载预训练模型 model Model(yolov13-faenet.yaml).cuda() model.load_state_dict(torch.load(yolov13-faenet.pt))推理示例def detect_lowlight(img): # 预处理 img cv2.cvtColor(img, cv2.COLOR_BGR2RGB) img letterbox(img, new_shape640)[0] img img.transpose(2, 0, 1) # HWC to CHW img torch.from_numpy(img).float().unsqueeze(0).cuda() # 推理 with torch.no_grad(): pred model(img)[0] # 后处理 pred non_max_suppression(pred) return process_results(pred)6.2 调优建议根据应用场景特点可调整以下参数FAENet插入位置交通监控建议在Neck部分多插入FAENet无人机巡检优先增强Backbone输出特征增强强度控制# 配置文件调整增强强度 FAENet: dam_gamma: 1.2 # 增大值增强更激进 fem_alpha: 0.8 # 减小值增强更平滑特定场景优化雾天场景增大dam_gamma至1.5低光场景增加FAENet在浅层的应用7. 常见问题与解决方案7.1 训练不稳定问题现象损失值震荡较大模型收敛困难解决方案降低初始学习率建议3e-5使用梯度裁剪max_norm10.0先冻结FAENet训练基础网络再联合微调7.2 过增强问题现象增强后的特征出现伪影检测结果异常排查步骤检查DAM模块输出是否在合理范围理想0.3-0.7验证输入图像归一化是否正常像素值范围0-1适当减小dam_gamma参数7.3 部署性能问题现象推理速度明显下降优化方案使用TensorRT加速trtexec --onnxyolov13-faenet.onnx \ --saveEngineyolov13-faenet.engine \ --fp16精简FAENet通道数按0.75比例缩减对不关键场景减少FAENet插入数量8. 扩展应用与未来方向在实际项目中我们发现FAENet的思想可以扩展到更多相关领域多模态检测将FAENet适配到红外、雷达等其他传感器数据视频分析加入时序特征增强机制提升视频流检测稳定性小目标检测针对恶劣天气下的小目标优化特征增强策略一个有趣的发现是FAENet对常规天气下的困难样本如遮挡目标也有一定增强效果。这可能是因为其特征自适应机制本质上是在强化那些容易被忽略的语义信息。我们在光伏板缺陷检测项目中验证了这一发现FAENet帮助将微小缺陷的检出率提升了7.3%。
)
