1. 为什么无人机航拍的小目标检测这么难先说一个很多人踩过的坑把VisDrone这类无人机数据集直接丢进YOLOv11里训练出来的mAP50可能只有10%上下推理时远处的行人、车辆压根检测不出来全是漏检。这不是模型不行而是无人机航拍场景和常规目标检测场景的底层逻辑完全不一样。无人机航拍的图像有几个天然的特点。第一拍摄高度决定了目标在图像中的像素占比极其小一辆车在2448x2048的原始图中可能只有20x20像素一个行人更是只有8x15像素这种尺寸在COCO数据集里连小目标的下限都够不着。第二目标分布极度不均匀画面里往往几十个目标挤在一块区域其余大片区域空荡荡。第三光照条件复杂无人机在不同高度、不同时段拍摄阴影、反光、遮挡问题交织在一起。在这样的场景下普通的目标检测训练策略会系统性失效。输入尺寸设成640x640时一个20x20像素的小车被压缩到5x5像素特征图上的信息几乎全部丢失模型根本学不到有效特征。即便强行把输入尺寸提到1280x1280显存占用暴涨训练速度也拖慢好几倍而且对极小目标的提升依然有限。所以做无人机小目标检测核心思路必须调整不是把整张大图硬塞给模型而是先切块放大目标再检测最后把结果拼回去。这个思路正是SAHISlicing Aided Hyper Inference的设计初衷也是当前工程界验证过最有效的小目标检测方案之一。2. YOLOv11与SAHI组合的整体设计思路2.1 YOLOv11在航拍场景下的优势与局限YOLOv11虽然是目前YOLO系列里综合表现很好的版本但它本身并不会自动解决小目标问题。它的C3k2模块和C2PSA注意力结构在特征提取上确实比前代更强推理速度也有提升但对无人机航拍场景而言单靠模型结构改进是不够的。真正的问题在于特征金字塔的底层细节保留能力。YOLOv11的P3层80x80特征图对小目标来说依然太粗糙一个只有8x15像素的行人映射到P3层上只有约1x2个像素几乎无法形成有效的特征响应。这就是为什么即便用YOLOv11直接检测航拍小目标依然会大量漏检。2.2 SAHI切片推理的核心思路SAHI的思路非常朴素但极其有效既然目标在整张大图上太小那就把大图切成若干小块每块用一个合适的尺寸去检测。比如2448x2048的图切成640x640的小图每个行人的像素就放大了好几倍原本只有8x15像素的目标现在变成40x75像素左右特征信息丰富得多。SAHI的关键在于切片重叠机制。如果直接把大图切成不重叠的块位于切缝边缘的目标会被拦腰截断一半在左边图一半在右边图两张图都识别不出来。SAHI通过设置overlap ratio参数让相邻切片之间有一定重叠区域比如20%的重叠这样切缝处的目标至少在一张切片中是完整的检测概率大幅提升。切片检测完之后SAHI还会做一次跨切片的合并去重。同一个目标可能出现在多个切片中模型会对它产生多个检测框SAHI通过NMS非极大值抑制机制将这些重复框合并为一个最终输出完整的大图检测结果。2.3 为什么选择YOLOv11与SAHI的组合这个组合之所以主流核心原因是分工明确。SAHI负责解决“目标太小”的问题YOLOv11负责提供强大的特征提取和实时推理能力。单用SAHI配旧版YOLO也能跑但YOLOv11的新结构在同等算力下精度更高单用YOLOv11不配SAHI航拍小目标场景下几乎没法用。从实际工程角度看这套组合还有一个优点——不用改模型结构。很多人一上来就想着改进Backbone、加注意力模块但改动结构容易引入训练不稳定的问题。SAHI方案在推理层面解决问题训练层面用有针对性的数据增强和调参整体改动成本低效果提升却非常明显。我实测下来VisDrone数据集上YOLOv11直接训练的mAP50大约11%左右加上SAHI切片推理和针对性的训练调参后可以到25%上下翻了一倍多。3. 环境准备与基础模型训练3.1 软硬件环境配置先说一下我实测稳定的环境组合不同版本的库混用容易出问题踩坑成本很高。Python 3.9 torch 2.0.1cu118 torchvision 0.15.1cu118 ultralytics 8.3.x sahi 0.11.x opencv-python 4.8安装命令pip install ultralytics sahi opencv-python pip install torch2.0.1 torchvision0.15.1 --index-url https://download.pytorch.org/whl/cu118注意ultralytics版本最好选8.3.x以上因为YOLOv11的模型定义在这个版本才完整支持。SAHI建议用0.11.x版本新版API变动不大但部分函数参数有调整参照我这边的版本号可以少踩一些坑。硬件方面训练阶段建议至少12GB显存因为后续会把输入尺寸提到1280显存不够会很痛苦。推理阶段8GB显存即可SAHI切片推理本来就是为了在有限算力下跑大图。没有高显存显卡的训练时可以适当降低输入尺寸但代价是小目标精度下降。3.2 VisDrone数据集的下载与预处理VisDrone数据集是天津大学发布的无人机视觉数据集包含288个视频片段约261,908帧图像和超过1000万标注目标。常用的静态图像版本有6471张训练图、548张验证图和1610张测试图标注了10个类别pedestrian行人、people人群、bicycle自行车、car汽车、van货车、truck卡车、tricycle三轮车、awning-tricycle带棚三轮车、bus公交车、motor摩托车。下载地址在官方github仓库可以找到需要提交申请表单审核后通过网盘下载。下载后目录结构大概是这样VisDrone2019-DET/ ├── annotations/ ├── images/ ├── train/ ├── val/ └── test/这里有个格式转换的问题要处理。VisDrone的标注格式不是YOLO格式而是自有的格式每一行代表一个目标包含目标类别、边界框的左上角坐标和宽高、置信度分数以及省略号中的额外属性。需要把标注转成YOLO格式的txt文件每个txt文件对应一张图片每行是“类别ID 中心点x 中心点y 宽 高”所有坐标都归一化到0-1之间。建议直接用官方提供的转换工具或者写一段转换脚本处理时注意类别映射关系。VisDrone的类别ID是从1开始的而YOLO从0开始需要整体减1。转换脚本我会在后面的实操章节给出可用的版本。3.3 数据增强与类别不均衡处理VisDrone数据集的类别不均衡问题非常严重。car和pedestrian占了绝大多数标注而bus、awning-tricycle这些类别样本量很少。如果不做处理模型会过度偏向高频类别低频类别的召回率会非常惨。处理方案有三层。第一层是基础数据增强包括随机翻转、颜色抖动、亮度调整、缩放等ultralytics框架里默认开启了一部分但需要根据航拍场景调整参数。第二层是Mosaic增强把四张图拼成一张训练这个对提升小目标检测效果帮助很大因为它扩充了单张图的目标数量和多样性。第三层是类别权重调整对低频类别提高loss权重让模型更关注这些难学类别。VisDrone还有一个特点是目标密集一张图里可能有几十上百个目标。训练时batch size不能设太大否则单张图的目标数量过多会导致梯度更新过于剧烈训练不稳定。我实测batch size 8配合输入尺寸1280比较稳。4. YOLOv11训练与调参实操4.1 基础训练命令数据格式整理好之后先跑一个baseline用默认参数训练80轮。配置文件放在visdrone.yaml内容大概如下path: /data/VisDrone2019-DET train: train/images val: val/images nc: 10 names: [pedestrian, people, bicycle, car, van, truck, tricycle, awning-tricycle, bus, motor]训练命令yolo detect train datavisdrone.yaml modelyolo11s.pt epochs80 imgsz640 batch8 device0这里先用默认的640输入尺寸跑一轮baseline确认代码流程和数据没有问题同时也是为了后面对比输入尺寸对效果的影响。训练结束后看runs/detect/train/下的结果重点看results.png里的mAP曲线和PR曲线。baseline跑完之后记录几个关键指标mAP50、mAP50-95、precision、recall以及各类别的AP。这些指标后续调参都要拿来做对比。4.2 输入尺寸的影响与选择这是调参中最重要的一步。输入尺寸从640提升到1280对航拍小目标检测的影响是决定性的。我用同一套配置分别跑了640和1280的实验结论很明确mAP50从约11%提升到约18%mAP50-95也有明显提升。但输入尺寸不是越大越好。1280已经是很均衡的选择再往上到1536显存占用急剧上升训练速度明显下降精度提升却很有限。原因在于YOLOv11的backbone下采样倍率固定输入尺寸提升后特征图尺寸也线性增长但超过一定程度后小目标特征信息的边际收益递减。选择输入尺寸还需要考虑部署场景。如果做实时视频流分析1280的推理速度可能不够需要结合SAHI切片尺寸来综合权衡。理想的做法是训练时用1280推理时用SAHI配640切片这样既保证了训练时模型见过的特征足够丰富又控制了推理成本。4.3 关键超参数调优技巧VisDrone上最值得调的超参数我按影响程度排序anchors。YOLOv11默认anchor是COCO数据集聚类出来的尺度和宽高比与VisDrone的小目标严重不匹配。强迫模型去适配不适配的anchor会浪费大量学习能力。ultralytics框架支持自动anchor调整在训练时使用auto_anchorTrue参数即可这会在训练前对标注框做聚类分析重新生成适合当前数据集的anchor尺寸。实测这个操作对VisDrone的mAP50有2-4个点的提升非常划算。mosaic和mixup。这两个增强对密集小目标场景帮助很大。YOLOv11默认训练前10轮关闭mosaic后续开启。对VisDrone建议把mosaic的关闭时机延迟到前20轮让模型先用真实场景的图像稳定学习一下再切换到增强数据避免早期训练被过于复杂的合成图像干扰。学习率和warmup。VisDrone数据量大且目标密集学习率设置不当会导致loss直接炸掉或收敛缓慢。推荐初始学习率设为0.01以下配合3轮warmup让优化器先在小学习率下预热。如果用AdamW优化器初始学习率可以设到0.001左右。weight_decay。VisDrone的类别不均衡问题适当增大weight_decay可以抑制过拟合。我实测从默认的0.0005调到0.001验证集mAP有轻微提升。注意这个参数不宜过大设到0.01以上模型可能欠拟合。下面是我在VisDrone上验证过的一套稳定配置yolo detect train datavisdrone.yaml modelyolo11m.pt epochs150 imgsz1280 batch8 device0 optimizerAdamW lr00.001 weight_decay0.001 mosaic1.0 mixup0.2 close_mosaic20这套配置在我这边的实验环境下大约需要12-15小时训练完成输出模型的mAP50在20%-22%之间。作为参考直接跑默认参数在VisDrone上大约只有11%左右。4.4 训练过程中的监控与判读训练过程中不要只盯着终端里的loss数值更关键的是看验证集上的指标曲线。我习惯每10轮记录一次验证集mAP绘制成曲线观察收敛趋势。训练到60轮左右时如果mAP增长明显放缓说明模型开始收敛可以考虑提前终止如果loss继续下降但mAP不再上升说明模型开始过拟合这时可以停止训练了。另外强烈建议开启ultralytics的plotsTrue参数训练过程会自动生成各类曲线图和混淆矩阵方便定位哪些类别的检测效果差。在实际项目中VisDrone数据集中表现最差的通常是pedestrian和people这两个类别因为它们尺寸最小且外观高度相似模型经常混淆。5. SAHI切片推理实战与参数配置5.1 SAHI安装与模型封装训练好模型之后接下来是SAHI推理。安装sahi库后需要把YOLOv11模型封装成SAHI支持的格式。SAHI对ultralytics模型有内置支持用AutoDetectionModel接口可以方便地加载from sahi.model import Yolov8DetectionModel detection_model Yolov8DetectionModel( model_pathruns/detect/train/weights/best.pt, confidence_threshold0.15, devicecuda:0, )这里的confidence_threshold我特意设低到了0.15原因会在后面的4.1节细说。注意当前SAHI版本的模型类名还是Yolov8DetectionModel但它是兼容YOLOv11权重文件的因为ultralytics导出的模型结构格式是一致的。5.2 切片推理核心参数配置SAHI推理的核心参数有两个slice_size和overlap_ratio。这两个参数直接决定了推理效果和速度。slice_size是切片边长通常设为640或512。在VisDrone场景下我强烈建议640。原因是训练时YOLOv11的输入尺寸是1280但SAHI会把切片直接缩放到模型的输入尺寸。640切片缩放到1280相当于模型实际看到了原始图的一小块被放大两倍的画面小目标的特征被显著放大这是SAHI提高小目标精度的核心机制。overlap_ratio是切片间的重叠率默认0.2。这个值建议至少保持0.2低于这个值会明显增加切缝截断目标的风险。如果目标特别密集可以调到0.3甚至0.4。但重叠率越高推理时间越长计算量大约是1/(1-overlap)倍0.2重叠就有1.25倍的冗余计算量0.4重叠则接近1.67倍。我常用的推理配置是from sahi.predict import get_prediction, get_sliced_prediction result get_sliced_prediction( imageval_image.jpg, detection_modeldetection_model, slice_height640, slice_width640, overlap_height_ratio0.2, overlap_width_ratio0.2, )5.3 完整推理脚本与结果保存要让推理结果落地还需要做两件事结果可视化和保存检测结果。VisDrone的visdrone_map指标计算需要标准格式的检测结果文件所以保存格式很重要。一个完整的推理脚本示例import cv2 import glob from sahi.model import Yolov8DetectionModel from sahi.predict import get_sliced_prediction from sahi.utils.cv import visualize_object_predictions detection_model Yolov8DetectionModel( model_pathruns/detect/train/weights/best.pt, confidence_threshold0.15, devicecuda:0, ) output_dir results/ image_paths glob.glob(val/images/*.jpg) image_paths.sort() for idx, image_path in enumerate(image_paths): result get_sliced_prediction( imageimage_path, detection_modeldetection_model, slice_height640, slice_width640, overlap_height_ratio0.2, overlap_width_ratio0.2, ) # 保存检测结果txtVisDrone格式 result.export_visuals(export_dirf{output_dir}/visuals/, file_namestr(idx)) result.export_visuals( export_dirf{output_dir}/labels/, file_namestr(idx).zfill(6), export_formattxt, ) # 可视化 image cv2.imread(image_path) visualization visualize_object_predictions(image, result.object_prediction_list) cv2.imwrite(f{output_dir}/visuals/{idx}.jpg, visualization) print(fProcessed {idx 1}/{len(image_paths)})这里的保存格式需要注意。SAHI的export_visuals输出的是YOLO格式的归一化坐标如果想计算VisDrone官方的visdrone_map需要额外写一个转换函数把归一化坐标转换回VisDrone格式包括目标类别、边界框左上角坐标、宽度、高度、置信度分数。这个环节的细节处理会直接影响最后评估分数的正确性。5.4 推理加速策略SAHI切片推理最大的痛点是速度。2448x2048的大图切成640x640的切片重叠率0.2大概会生成20-30个切片单张图的推理时间可能是直接推理的5-10倍。一个实用的加速方案是使用batch_size参数进行批量推理。SAHI支持对多张切片的批量推理能显著提升GPU利用率result get_sliced_prediction( imageimage_path, detection_modeldetection_model, slice_height640, slice_width640, overlap_height_ratio0.2, overlap_width_ratio0.2, batch_size8, )另一个思路是按需切片。如果已知目标的先验尺寸范围可以动态调整切片大小——目标越小用越小的切片目标较大时直接把input_size缩小。当然这需要根据具体场景灵活应用。6. 常见问题与排查技巧6.1 检测结果大量漏检的原因与对策问题1检测框全在切片边缘被截断。这种问题一般是overlap_ratio设置过小导致的。如果画面中目标分布密集0.2的重叠率不够切缝处的目标会同时被两个切片截断两边都识别不出来。对策是把overlap调整到0.3。另一种有效方案是设置postprocess_match_metricIOSIntersection over Smaller这会改变跨切片匹配策略让SAHI更倾向于保留小框对密集小目标场景有用。问题2目标检测出来了但置信度极低。这是置信度阈值设置不匹配导致的。YOLOv11训练时默认的置信度阈值是0.25但在SAHI中我们要检测的是小目标模型给出0.2甚至0.15的置信度是完全正常的。如果始终用0.25以上阈值很多真实目标会被直接过滤掉。我在VisDrone上的实测结果置信度阈值从0.25降到0.15召回率提升了约8个百分点。代价是假阳性变多需要后续做NMS过滤。问题3类别混淆严重行人和骑摩托车的人分不清。这是在训练阶段就需要解决的问题。VisDrone中pedestrian和motor类别高度相似远处看都是一个小直立目标。训练时增加scale数据增强的强度让模型见过更多不同尺度下的目标同时确保mixup增强合理能帮助模型从上下文背景中学习区分。6.2 训练阶段常见报错CUDA out of memory。这是最常遇到的问题特别是用1280输入尺寸训练时。处理方法减小batch size到4甚至2开启梯度累积。ultralytics的batch参数设为-1可以自动检测显存并调整batch size实测效果不错。如果还爆显存就要考虑关闭部分数据增强mosaic增强本身很耗显存。标注格式报错。VisDrone转YOLO格式时容易踩坑的是坐标越界。有些标注框的边界坐标略微超出了图像范围YOLO格式要求坐标归一化后必须在0-1之间。转换脚本里需要加一个clip操作把所有坐标限制在[0, 1]区间内。类别ID对不上。VisDrone的类别标签和YOLO模型的类别索引必须严格对齐否则模型会把一个类别错当成另一个类别。验证方法是用转换脚本处理完数据后随机挑几张图把YOLO格式的标注转回图像坐标画框可视化检查。6.3 推理测试时常见坑点切片图片变形严重。如果直接拿任意大小的切片喂给模型模型输入尺寸和切片尺寸不一致ultralytics会自动resize但比例如果不一致会导致图像被拉伸目标形变检测精度明显下降。使用SAHI时建议模型输入尺寸与切片尺寸保持一致或倍数关系SAHI底层会处理好缩放但手动操作时需要注意。显存占用计算错误。切片推理的显存占用不等于单次推理的显存因为batch_size参数决定了同时推理的切片数量。显存较小的设备建议把batch_size设小或者用devicecpu当然速度会很慢。保存结果重复。如果在推理循环中不做文件名唯一化处理多个结果会互相覆盖。由于批处理时SAHI内部会生成自适应文件名建议在迫不得已手动处理时统一加上图像索引避免重复。6.4 无人机场景独有的注意事项无人机航拍图像存在大量小目标密集分布的区域这些区域的检测结果经常出现高密度重叠框。如果直接输出可视化时画面全是框很难看后续做统计时也会重复计数。建议在输出结果前做二次NMS把IoU大于0.5的框合并。另一个细节是VisDrone数据集中有大量含遮挡的目标特别是树荫下、车辆缝隙中的人。模型检测这类目标的置信度普遍偏低。如果业务场景对召回率要求高可以把置信度阈值往低调然后用NMS和跟踪算法处理后续的误检问题。7. 调参心得与实操总结整套方案跑下来我个人的体会是无人机小目标检测90%的收益来自三个决策——输入尺寸用1280、用SAHI切片推理、置信度阈值调到0.15。剩下10%的提升来自训练细节的打磨比如anchor自适应、mosaic策略调整、类别不均衡处理。有一个细节值得多说一句训练和推理时的图像尺度最好保持一致逻辑。训练时用1280推理时SAHI切片640再放大到1280本质上是同一套尺度逻辑模型看到的特征分布是一致的。很多人训练用1280、推理时直接压到640效果打折严重就是这个原因。另外VisDrone的官方评估指标和COCO的评估指标有差异。VisDrone的mAP计算时有一个特殊规则——小目标的匹配IoU阈值更低对检测框的定位精度要求更宽松。这意味着你在VisDrone的evaluation server上看到的分数不一定和本地的COCO风格mAP一致。所以做实验对比时务必使用同一种评估方式。最后分享一个小技巧用Ultralytics训练完成之后记得用yolo export导出一下模型格式。在SAHI中加载模型时直接把best.pt传给model_path是可以的但如果将模型导出为ONNX或TensorRT格式再加载推理速度会明显提升。我实测同一套配置TensorRT模式下推理速度大约提升3倍对大规模影像处理非常有帮助。这套方案目前已经在不少无人机巡检和智慧城市项目中作为基础pipeline使用。如果你想在工程落地时再进一步压缩推理时间后续可以从模型剪枝、蒸馏和TensorRT优化三个方向继续深挖但先把YOLOv11加SAHI这套基础流程跑通、跑稳收益就已经非常可观了。
