前段时间接了一个边缘设备上的实时检测需求硬件平台的计算资源卡得很死传统那套大模型方案完全跑不起来。试了一圈之后我最终用NanoDet训练了一个自定义的轻量级目标检测模型实际效果超过预期模型体积小、推理速度快部署到受限设备上还能稳定跑到实时帧率。这篇文章完整记录我从数据准备到模型部署的全过程包括数据集标注、配置项修改、训练调参、导出移植以及一路踩过的坑。如果你的设备同样算力有限或者正想用自定义数据训一个能真正落地的轻量检测模型可以参考这条路线。1. 项目概述与整体思路拆解1.1 为什么在轻量化场景里选NanoDet目标检测模型这几年迭代很快但落到实际边缘设备上很多方案天然就超纲。我选型时最关注三个指标模型体积、设备端推理速度、自定义训练的成本。NanoDet在这三件事上平衡得不错它整体采用轻量级的网络结构计算量很低不依赖过多特殊算子导出和移植阶段能少折腾很多。它走的是无锚框检测思路通过逐像素预测目标框和类别省掉了锚框匹配这一层复杂逻辑训练时也少了很多超参数需要调。跟传统检测模型相比NanoDet对输入分辨率的要求更友好。我的设备跑常规模型时延迟感人但用NanoDet把输入缩到320甚至更小依然能保持可用精度的同时把速度拉起来。另一个加分项是它的训练策略比较省心多尺度训练和数据增强是默认带上的对小规模自定义数据集有不错的容错能力。综合下来它适合两类人一类是只做边缘端实时检测但不想研究复杂训练链路的人另一类是从零开始训练自定义小模型、需要快速验证效果的开发者。1.2 从数据到部署完整流水线拆解整个项目我拆成了五个环节数据准备、配置改造、训练调优、模型导出、端侧部署。这五个环节是串行的任何一个出错都会传导到后面。最常见的问题出在两头数据准备阶段标注格式不统一训练阶段自然频繁报错配置文件里类别数不写对损失计算直接就指数维度崩掉导出模型时输入尺寸或者预处理方式没对齐部署端试出来的结果全是乱的。为了不把问题拖到最后我在每个环节都预留了验证动作。比如标注完先抽看样本确认框和类别没有错位训练跑起来先看几十个step的损失是否正常导出前在Python端做一次完整的输入输出对齐测试。多花半小时验证好过在部署阶段排查一整天。2. 环境准备与数据集制作2.1 搭建训练环境环境这部分其实不复杂核心依赖就几个Python环境、深度学习框架、CUDA工具链、以及项目自带的依赖列表。因为是自定义数据集训练还需要准备标注工具和图像处理库。我习惯用虚拟环境隔离项目避免不同项目之间的依赖冲突。创建一个干净的虚拟环境然后按顺序安装框架和依赖。conda create -n nanodet-env python3.8 -y conda activate nanodet-env pip install torch torchvision pip install -r requirements.txt版本选择上我有两个建议。第一CUDA版本跟本机驱动匹配好不要贪新稳定比版本号重要。第二框架版本跟项目要求保持一致差别太大的话容易碰到算子兼容问题尤其是在后边导出模型的时候。环境装完之后建议跑一次官方自带的简单推理样例确认整条链路能走通再开始做数据。实测经验安装阶段尽量一次到位频繁改依赖版本会浪费时间。如果后面训练时遇到算子不支持的报错优先看框架版本是否符合项目预期。2.2 数据标注与格式转换目标检测的自定义数据需要两类信息图像本身和目标位置标注。我拿到的原始数据是一堆图片需要先框出目标并写好类别标签。标注工具选择上看个人习惯我这边用的是开源图形化标注工具直接框选目标后导出即可。训练前要把标注统一成项目要求的格式。NanoDet常用的数据格式和Pascal VOC的目录习惯很像简单来说就是图像文件放一个目录、标注文件放一个目录、训练验证的索引文件单独列出来。data/ my_dataset/ JPEGImages/ # 所有训练图像 Annotations/ # 对应的标注文件 ImageSets/ Main/ train.txt # 训练图片名称列表 val.txt # 验证图片名称列表我当时的数据是杂乱散落在多个文件夹里的所以写了一个整理脚本把图片全部拷贝到JPEGImages目录同时把标注文件按同样的命名规则放到Annotations目录。接着用脚本划分数据集按比例随机拆出训练集和验证集。import os import random random.seed(42) img_dir data/my_dataset/JPEGImages ann_dir data/my_dataset/Annotations train_ratio 0.85 imgs [f for f in os.listdir(img_dir) if f.lower().endswith((.jpg, .png))] random.shuffle(imgs) split int(len(imgs) * train_ratio) train_list imgs[:split] val_list imgs[split:] os.makedirs(data/my_dataset/ImageSets/Main, exist_okTrue) with open(data/my_dataset/ImageSets/Main/train.txt, w) as f: for name in train_list: f.write(os.path.splitext(name)[0] \n) with open(data/my_dataset/ImageSets/Main/val.txt, w) as f: for name in val_list: f.write(os.path.splitext(name)[0] \n)划分比例上我习惯按85%训练、15%验证来分。如果数据量本身就很少可以适当把验证集缩小但至少要留出足够样本判断模型有没有过拟合。2.3 数据增强与小样本场景策略自定义数据集最常见的痛点是数量不足。我这次的项目目标类别有几十个类每个类样本数量差距很大有的大类上千张有的小类只有几十张。直接用原始数据训练模型对少数类基本学不到东西。数据增强在这里就是关键的手段。基础操作包括水平翻转、随机裁剪、颜色抖动和缩放扰动这些操作几乎不会改变图像的语义成本低、见效快。NanoDet训练流程里也支持更激进的拼接式增强相当于在一张训练图里拼多个小图让模型在一个batch里看到更多尺度和背景变化。不过增强也不是越多越好。我第一版配置里把增强参数调得比较猛结果模型在验证集上的表现反而下降。原因是过度增强破坏了原始目标的真实特征模型学到的是一些被过度扭曲的伪模式。小样本场景下的正确做法是轻度到中度的几何增强打底再配合拼接式增强提升多样性同时要保证验证时用原始分辨率和原始图像不要增强。3. 配置文件核心参数解析与修改3.1 配置项的整体结构与阅读顺序拿到项目代码之后不要急着改参数先把配置文件完整看一遍。NanoDet的配置文件是统一的格式整体分为数据、模型结构、训练计划和保存路径几大块。我阅读配置文件的顺序是固定的先看数据路径和类别数再看输入尺寸和训练轮数最后看学习率与优化器。这样能从宏观到微观掌握整个模型的训练状态。数据路径配错是最低级的错误一旦路径读取不到文件训练会直接报错中断类别数不匹配则可能让模型训练过程混乱但报错不一定明显属于更难排查的问题。3.2 动手修改类别数、数据路径与输入尺寸对自定义数据集来说必改的核心配置也就是那么几项。我整理了一张速查表供参考配置项说明修改建议类别数目标类别数量背景不算在内按实际类别数填写训练数据路径图像与标注文件的根目录改为自己的数据目录验证数据路径验证图片索引文件必须与划分出的验证集一致输入尺寸送入网络的图像边长边缘设备建议320或416训练轮数总迭代轮次小数据集从100轮起步配置文件里有一个示例片段我按自己的项目做了替换num_classes: 5 data: train: img_path: data/my_dataset/JPEGImages ann_path: data/my_dataset/Annotations img_list: data/my_dataset/ImageSets/Main/train.txt val: img_path: data/my_dataset/JPEGImages ann_path: data/my_dataset/Annotations img_list: data/my_dataset/ImageSets/Main/val.txt model: input_size: 320 schedule: epochs: 120这里有一点值得展开讲输入尺寸决定了计算量和检测精度的平衡。输入越大模型能看到的细节越多但推理耗时也明显上升。边缘设备上我建议先用320做验证如果精度不够再逐步调到416。不要一开始就用大分辨率后面部署再降下来这样会浪费很多训练时间。注意类别数必须和标注文件里的类别保持一致。如果你标注时漏掉某个类别或者标注工具默认从1开始计数训练时类别映射错位损失会一直异常模型永远学不好。3.3 训练超参学习率、批次大小与轮次训练超参是另一个值得抠细节的地方。我先说结论学习率不是拍脑袋定的它和批次大小强相关。经验做法是线性缩放也就是说批次大小翻倍学习率也对应翻倍。我第一次训练时直接套用了示例配置里的学习率批次调小后没有同步降学习率结果前几个step损失剧烈震荡最后不得不中断重来。后面把批次和学习率的比例调回来训练曲线马上就平滑了。训练轮数方面小数据集可以先用120轮试跑训练结束后看验证集曲线是否还在继续下降。如果最后几十轮的验证精度仍在上升说明训练不够需要加轮次如果验证精度已经震荡甚至下降说明模型开始过拟合应该早点停在最佳点。权重衰减、学习率衰减策略这些参数可以先保持默认不要一开始就追求极限调参。我的习惯是先跑通一版完整流程有了基准结果之后再逐项优化。一开始就同时动五六个参数出了问题根本不知道哪个环节导致。4. 训练执行与调优实战4.1 启动训练与监控指标配置改完就可以启动训练了。启动命令简单直接python train.py --config config/my_nanodet_custom.yml训练日志会按step滚动输出。刚开始跑的时候不要盯着精度看主要看损失的变化趋势。正常的损失曲线应该是前几十个step快速下降之后慢慢趋平。如果损失不降、反复震荡或者直接跳到NaN说明前面某个环节有硬伤先停下来排查。除了终端日志建议把训练过程中的标量数据导出用可视化工具观察曲线。我一般同时看四类信息总损失、分类损失、回归损失、学习率当前值。后三者对定位问题很有帮助。4.2 训练过程中的几个关键调优操作调优不是一锤子买卖训练过程中我做过三件比较有价值的事。第一件是冻结骨干网络做预热。自定义数据量不大的时候随机初始化的骨干网络很容易把训练带入不稳定状态。我先冻结骨干的权重只训练检测头跑20轮左右让模型先学会基本的分类和定位任务然后再解冻整个网络做联合训练。这种方式比直接整网训练收敛快而且最终精度通常更高。第二件是关于样本不平衡的处理。我的数据里有一个类别占了总样本量的一半以上模型天然偏向学那个类。除了常规的采样策略外我还在分类损失里给少数类加了更高的权重具体做法先把每个类别的样本量统计一遍然后按样本量倒数的归一化值去计算类别权重。这个策略对少数类的召回提升非常明显。第三件是混合精度训练。显存紧张的时候开混合精度能省下不少内存而且在多数情况下不损失精度。启动后要注意观察损失曲线是否有异常波动如果出现不正常跳变关闭混合精度再对比一次。4.3 验证评估与最优权重选择训练结束时不要直接拿最后一轮的权重去用正确的做法是持续观察验证集上的表现选出验证精度最高的一轮权重。我用常用的平均精度均值作为主要指标同时观察每个类别单独的平均精度找出模型在哪些类上偏弱。验证脚本跑完会输出各指标。我的流程是先看总体指标是否达到部署要求再看每类的精度是否均衡。如果总体指标达标但个别类非常差那就要回查那一类的标注质量和样本数量。有一类我连续调了好几天精度都上不去后来发现是标注工具有一批数据框偏移严重重新修正标注之后那一类的精度立刻恢复正常。选权重也有一点要注意验证集上的最高点不一定就是最稳妥的部署选择。如果那个最高点前后的波动非常大说明模型稳定性不足我会再往后看几个候选节点选一个精度和稳定性均衡的权重而不是极度追求验证集的单项数值。5. 模型转换与边缘端部署5.1 从训练权重导出ONNX训练完成的模型最终要脱离深度学习框架跑在目标设备上首先要导出成通用格式。我的做法是把训练权重转到ONNX格式再做后续的简化处理。导出时最容易出问题的是模型输入尺寸和动态轴。部署端用的输入尺寸必须和导出时保持一致否则模型内部的特征图对齐会发生错乱。我固定使用训练时的输入尺寸导出并且把批次维度固定为1避免动态维度给推理引擎带来额外负担。import torch model.load_state_dict(torch.load(best.pth, map_locationcpu)) model.eval() dummy_input torch.randn(1, 3, 320, 320) torch.onnx.export( model, dummy_input, nanodet_custom.onnx, opset_version11, input_names[input], output_names[output], )导出后在Python端加载ONNX模型喂一张真实测试图对比输出结果和原模型的预测结果做一致性校验。这一步能提前暴露80%的部署问题千万不要跳过。5.2 量化和大小优化边缘设备的算力和存储都有限导出的ONNX模型还需要进一步压缩。我先检查模型体积如果超过目标要求优先做权重量化。量化的原理简单来说就是把32位浮点数权重量化成8位整数模型体积缩小到原来的四分之一推理速度也能提升不少。量化有一个前提要注意需要准备一小部分校准数据通常是几百张有代表性的图片用来统计权重的数值分布范围。校准集不能跟训练集完全重叠否则量化后的精度评估会偏乐观。我实际量化后用同一批验证图做了对比精度损失控制在可以接受的范围内体积大幅下降整体收益还是很高的。量化经验不要追求所有层都变成8位整数有些敏感层保持浮点精度反而整体效果更好。具体哪层敏感需要用验证集逐层对比不过这属于后期精细优化第一版先全量量化就能快速落地。5.3 部署链路里的预处理对齐部署阶段最容易翻车的不是模型本身而是图像预处理的不一致。训练时模型拿到的是经过特定归一化和尺寸变换的图像如果部署端没有做完全相同的处理推理输出就完全不可信。我这边踩过一次大坑训练时用的是标准化后再除以标准差的流程部署代码里只做了归一化忘记做标准化检测框全部偏到离谱。后面我把预处理流程单独抽出来写了一个测试用例在Python端和部署端分别跑同一张图逐一对比中间张量直到数值完全一致才继续。后处理也要针对模型输出做适配。模型的输出需要经过解码和非极大值抑制才能得到最终目标框。类别数改了之后输出维度也变了后处理里的类别索引必须同步改。置信度阈值和交并比阈值也需要在部署端重新调训练时用的阈值是基于训练集统计的和正式场景的分布不一定匹配。6. 常见问题与排查技巧实录6.1 训练不收敛损失震荡或直接变NaN这个是我遇到最多的问题。损失变NaN先按优先级排查学习率是不是设太高了、数据里有没有异常的标签或者空标注、有没有梯度爆炸。学习率过高的特征非常明显前几个step损失直接飞出去或者跳到NaN。检查学习率是否和批次大小匹配把学习率降一个数量级然后重启训练观察。如果损失还是不稳定检查数据集中的标注文件是否存在坐标超出图像边界、框宽高为0、类别值超出范围的情况。再检查某一个batch是否包含没有目标的完全黑图这类异常数据也会导致损失异常。我整理了一个快速排查表现象可能原因处理办法前几步loss变成NaN学习率过大学习率降到当前值的十分之一loss震荡不下数据标注错误抽样检查框的位置和类别标签训练集正常验证集loss高过拟合增强正则、增加数据量或提前停止某一类别loss始终偏高样本不均衡调整类别权重或重采样6.2 显存不足的工程处理显存不够是最常见的现实约束。我的做法分四步处理按实施成本从低到高排列减小输入尺寸、减小批次大小、开启混合精度、使用梯度累积。输入尺寸从416降到320显存占用能下降接近一半精度损失通常很小。批次大小降到最小为1也无法满足时梯度累积是可靠的手段。它的原理很简单连续多次小批次计算梯度累计梯度的平均值后再更新一次权重。效果上等同于一个较大的批次对显存的要求却低很多。6.3 精度上不去的排查顺序模型训练跑通并不意味着精度达标。精度一直上不去的时候我建议按照这个顺序排查先看数据质量再看类别分布然后调整训练策略最后才动模型结构。数据质量是最关键的。我有一批目标框的类别标签因为录入失误整体错位模型训练了十几个epoch精度仍然平平直到把标注样本可视化之后才发现问题。数据数量不足则优先做数据增强和拼接策略。类别分布不均时给少数类设置更高的损失权重。这些基础工作做完还是不行再考虑要不要换更强的骨干网络或者加大输入尺寸。6.4 部署端与训练端结果不一致部署环境最终出来的结果和训练阶段对不上大概率是三处问题预处理不一致、输出解码写错、模型后处理阈值和算子支持不同。我建议把部署推理的流程拆成三个独立模块图像预处理、模型推理、后处理。先单独验证图像预处理让部署端和训练端输出完全一致的特征图再确认模型推理输出的张量形状和数值范围是否合理最后验证后处理逻辑中类别映射和坐标还原是否正确。三步都独立验证通过之后整体链路自然不会出问题。写在最后的实际体会这段时间反复调试下来有一个很深的感受轻量级目标检测模型的训练最大的瓶颈往往不是模型结构本身而是数据质量和工程链路的一致性。脏标签、路径错误、预处理不一致每一个都会让模型效果大打折扣而且这类问题的排查成本远高于模型调参。所以我现在做项目的习惯是先多花时间把数据和验证脚本打磨到位再开始训练。另外强烈建议训完模型先做一次完整的导出-加载-对比验证再进入部署环节这个步骤能省掉后面很多无谓的加班。如果后续还有余力可以从类别损失的精细化加权和部署端逐层量化对比两个方向继续优化提升空间依然不小。
