1. 为什么要在TensorFlow 2上折腾MobileNet版YOLOv4目标检测这个方向YOLO系列一直是工程落地的主力。YOLOv4在精度和速度的平衡上做得相当出色但原版基于Darknet框架CSPDarknet53作为骨干网络参数量不小直接往边缘设备上塞推理延迟和内存占用都会让人头疼。我最早在几个嵌入式项目里尝试过直接部署原版YOLOv4结果在算力有限的板子上帧率惨不忍睹后来才转向用轻量级骨干网络替换的思路。MobileNet系列是Google为移动端和嵌入式场景专门设计的轻量级网络从V1到V3经历了三代演进核心思路都是用深度可分离卷积替代标准卷积来压缩计算量。把MobileNet作为YOLOv4的骨干网络理论上可以在保持可接受精度的前提下把模型体积和推理时间压到原来的几分之一。而TensorFlow 2相比1.x版本在动态图、Keras集成、部署工具链上都有明显改善用TF2来搭建这套平台后续导出SavedModel、转TFLite、上TensorRT都会顺畅很多。这套方案适合谁如果你手头有边缘计算设备需要跑目标检测或者你想在自己的数据集上快速训练一个轻量检测器又或者你单纯想搞清楚YOLOv4的各个组件怎么在TF2里从零搭起来那这篇内容应该能帮到你。我会把MobileNet V1/V2/V3三种骨干的接入方式都讲清楚包括为什么这么选、每个模块的原理、实际训练中会遇到什么问题以及我踩过的那些坑。需要提前说明的是YOLOv4的完整结构包含骨干网络、颈部网络SPPPANet和检测头三部分。换骨干网络只影响第一部分后面的结构和损失函数逻辑保持不变。所以理解这套代码的关键在于搞清楚MobileNet的输出特征图怎么和YOLOv4的颈部网络对接。2. MobileNet三代骨干的核心差异与选型依据2.1 V1的深度可分离卷积到底省在哪里MobileNet V1的核心创新就是深度可分离卷积Depthwise Separable Convolution。标准卷积在做一个3x3卷积时每个输出通道都要和所有输入通道做卷积运算计算量是Dk * Dk * M * N * Df * Df其中Dk是卷积核尺寸M是输入通道数N是输出通道数Df是特征图尺寸。深度可分离卷积把它拆成两步先做逐通道卷积Depthwise Convolution每个通道独立卷计算量是Dk * Dk * M * Df * Df再做逐点卷积Pointwise Convolution用1x1卷积做通道融合计算量是M * N * Df * Df。两者相除计算量压缩比大约是1/N 1/Dk²。以3x3卷积为例理论上能省8到9倍的计算量。实际部署中虽然深度可分离卷积的内存访问模式不如标准卷积友好但在算力受限的设备上这个计算量节省是实打实的。V1还引入了两个超参数宽度乘子Width Multiplier和分辨率乘子Resolution Multiplier。宽度乘子控制每层通道数取0.25到1.0之间的值分辨率乘子控制输入图像尺寸。这两个参数让你可以在精度和速度之间灵活权衡。我在实际项目里通常先用宽度乘子1.0、输入416x416跑一版基线如果延迟不达标再往下调。2.2 V2的倒残差结构解决了什么问题V1有个问题深度可分离卷积的逐通道卷积部分卷积核参数量太少训练时容易退化梯度传播也不够顺畅。V2引入了倒残差结构Inverted Residual Block核心思路是先升维、再卷积、后降维。具体来说标准残差块是先降维、再卷积、后升维两头宽中间窄倒残差反过来先用1x1卷积把通道数扩大通常扩大6倍然后在高维空间做3x3深度卷积最后再用1x1卷积压回低维。这样做的好处是深度卷积在高维空间进行能提取更丰富的特征同时残差连接加在低维的输入输出之间保证了梯度回传。V2还去掉了V1中深度卷积后面的ReLU6激活改用线性激活Linear Bottleneck。原因是ReLU在高维空间做非线性激活后再降维到低维时信息损失较大用线性激活能保留更多信息。这个细节在实现时很容易忽略但影响不小。2.3 V3的SE模块和h-swish激活值不值得上V3在V2的基础上引入了两个关键改进SE模块Squeeze-and-Excitation和h-swish激活函数。SE模块是一个通道注意力机制通过全局平均池化把每个通道压缩成一个标量然后经过两个全连接层学习通道间的权重最后乘回原特征图。这个操作能让网络自适应地强调重要通道、抑制不重要通道。h-swish是对swish激活函数的硬件友好近似。swish是x * sigmoid(x)计算sigmoid在移动端比较费时h-swish用ReLU6来近似x * ReLU6(x3) / 6。实测下来h-swish在深层网络中带来的精度提升比较明显但在浅层用普通ReLU就够了因为浅层特征图分辨率高h-swish的计算开销相对更大。那到底选哪个版本我的经验是如果追求极致轻量V1最省如果精度优先且设备算力尚可V3最好V2是折中选择。在YOLOv4的框架下V3作为骨干通常能比V1高出2到4个mAP点但推理时间也会增加30%到50%。具体选哪个得看你的延迟预算和精度要求。版本核心模块参数量约适用场景V1深度可分离卷积4.2M极低算力设备延迟敏感V2倒残差线性瓶颈3.4M平衡场景通用部署V3SE模块h-swish5.4M精度优先算力尚可3. 在TF2里从零搭建MobileNet骨干网络3.1 用Keras函数式API定义V1的卷积块TF2的Keras API让网络定义变得很直观。V1的卷积块可以封装成一个函数输入是特征图和输出通道数内部依次做3x3深度卷积、BN、ReLU6再跟1x1逐点卷积、BN、ReLU6。这里有个细节深度卷积的padding要设为same步长根据是否需要下采样来定。import tensorflow as tf from tensorflow.keras import layers, Model def conv_block_v1(inputs, filters, strides1): x layers.DepthwiseConv2D(kernel_size3, stridesstrides, paddingsame, use_biasFalse)(inputs) x layers.BatchNormalization()(x) x layers.ReLU(max_value6.0)(x) x layers.Conv2D(filtersfilters, kernel_size1, strides1, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.ReLU(max_value6.0)(x) return xV1的完整结构是一个标准3x3卷积步长2做初始下采样然后堆叠13个深度可分离卷积块其中部分块步长为2用于下采样。最终输出特征图尺寸是输入尺寸的1/32。对于YOLOv4我们需要的是最后三个尺度的特征图分别对应1/8、1/16、1/32的下采样率。3.2 V2倒残差块的实现与通道扩展系数V2的倒残差块实现稍微复杂一点需要处理残差连接的条件。只有当步长为1且输入输出通道数相同时才能加残差连接。通道扩展系数通常取6但也可以根据宽度乘子调整。def inverted_residual_block(inputs, filters, strides, expand_ratio6): input_channels inputs.shape[-1] expanded_channels input_channels * expand_ratio x layers.Conv2D(expanded_channels, 1, use_biasFalse)(inputs) x layers.BatchNormalization()(x) x layers.ReLU(max_value6.0)(x) x layers.DepthwiseConv2D(3, stridesstrides, paddingsame, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.ReLU(max_value6.0)(x) x layers.Conv2D(filters, 1, use_biasFalse)(x) x layers.BatchNormalization()(x) if strides 1 and input_channels filters: x layers.Add()([inputs, x]) return x注意最后一个1x1卷积后面没有激活函数这是线性瓶颈的体现。我在第一次实现时习惯性地加了ReLU结果精度掉了将近1个点排查了好久才发现是这个原因。3.3 V3的SE模块与h-swish激活的代码落地V3的SE模块需要先做全局平均池化然后两个全连接层最后sigmoid激活。h-swish的实现要注意数值稳定性用ReLU6来避免溢出。def se_block(inputs, reduction4): channels inputs.shape[-1] x layers.GlobalAveragePooling2D()(inputs) x layers.Reshape((1, 1, channels))(x) x layers.Conv2D(channels // reduction, 1, activationrelu)(x) x layers.Conv2D(channels, 1, activationsigmoid)(x) return layers.Multiply()([inputs, x]) def h_swish(x): return x * tf.nn.relu6(x 3.0) / 6.0V3的bottleneck块在倒残差的基础上深度卷积后加了SE模块激活函数在特定层用h-swish。实际实现时我建议把h-swish封装成一个自定义层这样在模型保存和加载时不会出问题。3.4 三个尺度特征图的提取与对齐YOLOv4需要骨干网络输出三个尺度的特征图。对于416x416的输入MobileNet系列的下采样率分别是1/8、1/16、1/32对应52x52、26x26、13x13的特征图。在构建骨干网络时需要记录这些中间层的输出。def build_mobilenet_backbone(input_shape(416, 416, 3), versionv2): inputs layers.Input(shapeinput_shape) # ... 构建各层 ... # 假设已经得到三个特征图 return Model(inputs, [feat_small, feat_medium, feat_large])这里有个容易踩的坑不同版本的MobileNet下采样位置不同提取特征图的层索引需要根据实际结构来定。我建议在构建时打印每层的输出形状确认三个特征图的尺寸正确后再往下接颈部网络。4. 把MobileNet骨干接入YOLOv4颈部与检测头4.1 SPP模块的多尺度池化配置YOLOv4的SPP模块加在骨干网络输出的最深层特征图上用不同尺寸的池化核来增加感受野。标准配置是13x13、9x9、5x5、1x1四种池化然后把结果拼接起来。对于MobileNet骨干最深层特征图是13x13池化核尺寸要相应调整否则会出问题。def spp_block(inputs): x1 layers.MaxPooling2D(pool_size13, strides1, paddingsame)(inputs) x2 layers.MaxPooling2D(pool_size9, strides1, paddingsame)(inputs) x3 layers.MaxPooling2D(pool_size5, strides1, paddingsame)(inputs) x4 inputs x layers.Concatenate()([x1, x2, x3, x4]) x layers.Conv2D(inputs.shape[-1], 1, use_biasFalse)(x) x layers.BatchNormalization()(x) x layers.LeakyReLU(alpha0.1)(x) return x注意池化核尺寸不能超过特征图尺寸13x13的特征图用13x13池化刚好但如果输入分辨率变了这个配置也要跟着调。4.2 PANet的双向特征融合路径PANet在FPN的基础上增加了一条自底向上的路径。FPN是高层特征上采样后与低层特征融合PANet再加一条低层特征下采样后与高层特征融合的路径。这样做的目的是让浅层的定位信息和深层的语义信息充分交互。在实现时上采样用最近邻插值下采样用步长为2的3x3卷积。每次融合后跟一个CSP块Cross Stage Partial这个块把特征图分成两部分一部分经过卷积处理后再和另一部分拼接能减少计算量同时保持梯度流动。4.3 检测头的锚框分配与损失函数YOLOv4的检测头在每个尺度上预测三个锚框。锚框尺寸需要根据你的数据集重新聚类不能直接用COCO的配置。我通常用K-means对训练集的标注框做聚类得到9个锚框然后按面积分配到三个尺度上。损失函数包括三部分边界框回归损失CIoU Loss、置信度损失二分类交叉熵、分类损失二分类交叉熵。CIoU Loss相比IoU Loss考虑了中心点距离和长宽比收敛更快。def yolo_loss(y_true, y_pred, anchors, num_classes): # 解码预测框 # 计算CIoU损失 # 计算置信度和分类损失 return total_loss实际训练时我建议先用较小的学习率预热几个epoch再进入正常训练。因为MobileNet骨干是预训练权重初始化的而颈部网络是随机初始化的直接上大学习率容易把预训练权重带偏。4.4 预训练权重的加载与冻结策略MobileNet在ImageNet上的预训练权重可以直接从Keras Applications加载。但要注意YOLOv4的输入分辨率通常是416x416或608x608而ImageNet预训练是224x224输入尺寸不匹配会影响BN层的统计量。我的做法是先加载预训练权重冻结骨干网络训练几个epoch让颈部网络先适应然后解冻全部网络做微调。解冻时学习率要调小通常是初始学习率的十分之一。如果显存不够可以只解冻骨干网络的后半部分。5. 训练调参中那些文档不会告诉你的细节5.1 学习率预热与余弦退火的组合策略YOLOv4原版用的是步进式学习率衰减但在TF2里我更推荐余弦退火配合预热。预热阶段用线性增长把学习率从0升到初始值然后余弦退火慢慢降到接近0。这样训练曲线更平滑最终精度通常也更好。def lr_schedule(epoch, lr): if epoch warmup_epochs: return initial_lr * (epoch 1) / warmup_epochs progress (epoch - warmup_epochs) / (total_epochs - warmup_epochs) return initial_lr * 0.5 * (1 tf.cos(tf.constant(3.14159) * progress))初始学习率我一般设1e-3warmup用5个epoch总epoch数根据数据集大小定通常100到300个epoch。如果数据集小可以适当减少epoch数但增加数据增强强度。5.2 数据增强的Mosaic与MixUp实际效果对比Mosaic是YOLOv4的招牌增强把四张图拼成一张能大幅增加训练样本的多样性特别是对小目标检测效果明显。MixUp是把两张图按比例混合标签也按比例混合。实测下来Mosaic对小目标提升明显MixUp对分类精度有帮助但对定位精度提升有限。我通常两个都用但MixUp的概率设低一些0.1到0.2就够了。Mosaic的概率可以设0.5到1.0。注意Mosaic在训练后期可以关掉让模型在真实分布上做最后的微调。5.3 正负样本平衡与CIoU损失的调参经验YOLOv4的正负样本分配用的是跨网格搜索策略一个真实框可能匹配多个锚框。这会导致正样本数量增加需要调整损失权重来平衡。置信度损失的权重我一般设1.0分类损失设1.0CIoU损失设0.05。如果发现模型倾向于预测背景可以适当提高置信度损失的权重。CIoU损失里的长宽比惩罚项系数v的权重原版是0.5但在小目标数据集上可以调到0.3左右避免长宽比惩罚过度影响小目标的定位。5.4 显存不够时的梯度累积与混合精度如果显存不够有两个实用技巧。一是梯度累积用小batch_size跑多次前向传播累积梯度后再更新一次权重。二是混合精度训练用float16做前向传播float32做权重更新能省将近一半显存。policy tf.keras.mixed_precision.Policy(mixed_float16) tf.keras.mixed_precision.set_global_policy(policy)混合精度训练时要注意损失缩放TF2的优化器会自动处理但自定义损失函数里如果有数值不稳定的操作需要手动加缩放。6. 模型导出与推理部署的完整链路6.1 SavedModel导出与TFLite转换的坑训练完成后用model.save()导出SavedModel格式。转TFLite时如果模型里有自定义层比如h-swish需要提供自定义对象的字典否则转换会失败。converter tf.lite.TFLiteConverter.from_saved_model(saved_model_dir) converter.optimizations [tf.lite.Optimize.DEFAULT] converter.target_spec.supported_ops [tf.lite.OpsSet.TFLITE_BUILTINS] tflite_model converter.convert()如果要做全整数量化需要提供代表性数据集让转换器统计激活值的动态范围。这个过程比较耗时但量化后的模型体积能缩小到原来的四分之一推理速度也能提升2到3倍。6.2 后处理NMS在边缘设备上的优化YOLOv4的输出是三个尺度的特征图需要解码成边界框后再做NMS。在边缘设备上NMS可能是整个推理流程的瓶颈。优化方法包括用快速NMS算法、限制每类保留的框数量、用IOU阈值提前过滤。我通常把置信度阈值设0.25NMS的IOU阈值设0.45。如果发现漏检多可以降低置信度阈值如果误检多可以提高置信度阈值或降低IOU阈值。6.3 实际部署中的输入分辨率与锚框适配部署时的输入分辨率不一定和训练时一样。如果改了分辨率锚框尺寸也要按比例缩放。比如训练用416x416部署用320x320锚框要乘以320/416。这个细节很容易忽略导致检测框位置偏移。另外不同设备的预处理方式可能不同。有的设备输入是RGB有的是BGR有的归一化到0到1有的归一化到-1到1。这些都要和训练时保持一致否则精度会大幅下降。7. 我在三个版本切换中积累的实操心得先说一个最直接的体会不要一上来就追求V3。我最早做边缘部署时看到V3精度最高就直接上了结果在目标设备上帧率只有个位数。后来换成V1帧率翻了三倍精度只掉了不到2个点。所以选型的顺序应该是先用V1跑通全流程确认延迟和精度基线再根据需求决定是否升级到V2或V3。第二个心得是关于预训练权重的。MobileNet的ImageNet预训练权重对YOLOv4的精度提升非常明显特别是当你的数据集比较小的时候。我试过从零训练和用预训练权重同样的数据集预训练版本收敛快了一倍最终mAP高了5个点左右。所以除非你有海量数据否则一定要用预训练权重。第三个是BN层的处理。在微调时如果batch_size太小比如小于8BN层的统计量会不准影响精度。这时候可以考虑冻结BN层或者用同步BN。我在batch_size为4的时候试过冻结BN精度比不冻结高了1.5个点。第四个是关于数据增强的。Mosaic增强虽然效果好但在训练初期会让损失下降很慢因为拼接后的图像分布和真实分布差异大。我的做法是前10个epoch不用Mosaic让模型先学基本特征然后再开启。这样训练曲线更稳定。最后一个建议多尺度训练对MobileNet版YOLOv4的提升比原版更明显。因为MobileNet本身就是在多尺度上设计的对输入尺寸变化适应性好。我通常每隔10个batch随机换一次输入尺寸在320到608之间选最终模型对不同分辨率的鲁棒性会好很多。
