1. 系统整体设计先搞清楚无人机目标检测和普通安防检测差在哪做这个 Module 16 之前我在实验室里踩过一个大坑一开始直接照搬了成熟的目标检测方案——单反相机加一台高性能工作站模型用 YOLOv8x跑起来 mAP 确实漂亮和白天在海边玩没啥两样。可一旦把这个方案往无人机上搬问题立刻全出来了。首先是算力。机载设备不可能带 4090一块 30W 功耗的 Jetson Orin NANO甚至树莓派加神经计算棒才是常态。我实测下来同样的 YOLOv8s 模型在 Orin Nano 上 FP16 推理一张 640×640 的图大概要 20~40ms看起来还行但如果想同时做避障、目标跟踪、云台稳定CPU 早就被抢光了掉帧是必然的。其次是视角。无人机飞在 50~120 米高度看地面目标尺寸普遍在 20×20 像素以下有些甚至只有 8×8 像素。这个尺寸下普通 YOLO 的 Neck 层已经无法保留足够的语义信息小目标检测成了核心难点。再然后是运动模糊和光照变化。无人机转弯、急加速时机载相机曝光时间长一点就直接糊掉。顺光逆光、树荫反光、水面眩光目标外观变化极大。这些在安防摄像头场景里也有但无人机上更剧烈因为它比摄像头多了一个自由度——整体在动。所以做无人机目标检测我给自己定了三条设计原则传感器选型必须围绕任务场景不能只看分辨率要考虑重量、功耗、帧率、动态范围、是否支持红外或多光谱。模型选型要在“精度”和“机载算力”之间做平衡先测推理延迟再谈 mAP否则落地就是空谈。检测结果必须和飞控形成闭环不是单纯“画个框”就结束要用框的中心点、宽高、置信度去驱动云台跟踪、自主降落或路径规划。1.1 无人机目标检测场景拆解你是要“找什么”和“在什么环境下找”我在实际带团队做这个模块时第一步永远不是写代码而是把使用场景问清楚。同样是“无人机自动找到目标”下面这些场景的解法完全不一样场景典型目标高度目标像素占比关键难点电力巡检绝缘子、螺栓、销钉10~50m极小1%小目标、复杂背景、遮挡农业植保病虫害叶片、杂草斑块5~20m中等1%~5%类间相似、光照变化安防巡逻行人、车辆、可疑物品30~80m较小0.5%~2%运动模糊、逆光、实时性消防救援火源、被困人员红外20~60m小红外图像低分辨率、烟雾遮挡测绘/巡检塔基、裂缝、水坝表面20~100m极小需要高重叠率拍照后拼接分析单帧检测意义有限这些场景背后对应的技术选型会差得非常多。比如电力巡检重点不是检测速度而是能不能稳定检测出 10 像素大小的销钉缺陷这就要在模型训练时对高分辨率特征图做专门处理比如添加 P2 检测头。再看农业植保重点则是大面积快速扫描要检测速度快、漏检率容忍度相对高模型可以压缩得更狠。安防巡逻呢嵌入式端最怕光照剧变和运动模糊就需要在数据增强阶段做模拟并引入多帧融合。1.2 四条传感器路径对比可见光、红外、激光雷达、多模态融合做无人机目标检测的第二个关键决策是用什么传感器来“看”世界。我给四条常见路径做了实测对比大家可以直接参照选用单目可见光最常见的路径。优点是便宜、轻量、信息最丰富、模型成熟度高缺点是深度信息缺失、夜间和弱光环境下基本废掉。适用于白天环境下的目标检测首级筛选。双目可见光多了视差信息可以粗略估算目标距离但计算量大、对纹理要求高纯色地面直接歇菜而且两目之间的基线长度限制了有效测距范围。红外/热成像夜间、烟雾、草丛遮挡场景的杀手锏。目标人体、发动机、火源在红外波段有显著温差特征检测反而更简单。但红外图像分辨率低、纹理少直接套用可见光训练的 YOLO 模型效果很差必须重训。激光雷达LiDAR点云用于三维目标检测可以直接输出目标的 3D 包围框和精确坐标。重量和成本都高点云稀疏和相机融合才能发挥最大价值。我自己的组合方案是“可见光 红外双光吊舱”可见光跑主目标检测红外做热源检测确认和夜间补盲两个结果最后在决策层做投票融合。2. YOLO 目标检测流程全链路拆解从数据集到机载部署这个 Module 16 的核心实操环节就是完整跑通一次“训练→优化→部署→推理”的 YOLO 目标检测流程。下面这部分内容值得反复对照操作。2.1 数据采集和标注无人机视角的数据特点和坑公开的无人机目标检测数据集有不少比如 VisDrone、UAVDT、DTLD覆盖了车、人、船、自行车等常见目标可以直接拿来预训练。但真实项目里目标一定和这些公开数据有差异必须自采数据微调。自采数据有三个关键点模拟不同高度层采集5 米、20 米、50 米、100 米各拍几组让小目标的尺度分布足够广。只在 20 米高度采集就会导致模型对高空视角泛化极差。模拟不同角度正俯视、斜视 45 度、平视同一个目标在图像里外形差异极大。模拟天气和光照阴天、顺光、逆光、清晨、傍晚都要覆盖注意用偏振镜减少水面、玻璃反光。标注的时候我建议用 Roboflow 或 labelImg。需要注意几个细节目标太小时低于 10 像素不要硬标标了反而引入噪声严重遮挡的目标也不要标除非专门做遮挡鲁棒性测试绝缘子这类密集小目标建议用点标注或者实例分割辅助标注比手动画框快得多。2.2 训练环节的硬件配置和参数建议我用的是 YOLOv8现在也有 YOLOv9/v10/v11但 v8 生态最成熟文档最全最适合入门。训练机器是实验室的 RTX 309024GB 显存如果只有 8GB 显存也能跑把 batch size 和 imgsz 调小即可。训练参数我建议关注这几个imgsz640兼顾精度和速度的默认选择。做极小目标检测可以试 1280但推理时间会翻几倍。batch163090 上比较稳。显存不够就降到 8。epochs200用 early stopping 兜底看 val loss 不再降就停。optimizerSGD 或 AdamW小数据集上 AdamW 收敛快正式数据集上 SGD 泛化更好。mosaic1.0YOLOv8 默认开启马赛克增强对小目标训练非常重要它能把四张图拼在一起变相增加小目标数量。训练完之后优先看 PR 曲线和混淆矩阵建议按置信度阈值 0.25、IOU 阈值 0.5mAP0.5来做评估。无人机场景下 mAP50-95 会偏低但如果 mAP0.5 上了 0.9落地完全够用。2.3 模型压缩量化、剪枝、蒸馏三板斧浮点 FP32 模型直接部署到 Jetson 上速度和功耗都不行。我一般按这个顺序做压缩剪枝把接近 0 的权重通道直接剪掉YOLOv8s 可以剪掉 40%~50% 参数量精度损失 2~3 个点。量化FP32 转 FP16 基本无损推理速度提升 1.5~2 倍直接默认开启。INT8 量化模型体积缩小到 1/4但精度可能掉 2~5 个点需要做校准集来微调。蒸馏用大模型YOLOv8x当老师教小模型YOLOv8s学特征能拉回一些被压缩掉的精度。在 Jetson 上部署时建议用 TensorRT选好动态和静态 batch。如果想更轻量也可以用 NCNN 或 OpenVINO但 TensorRT 是英伟达自家生态优化最彻底。2.4 小目标检测的专项优化热搜词里出现了“小目标检测”、“红外小目标检测模型”和“MTD 动目标检测”说明很多朋友在这个环节卡住了。针对 20 像素以下的小目标我实测最有效的手段是增加 P2 检测头YOLOv8 默认输出 P3~P5 三层对应 80×80、40×40、20×20 的特征图对于 4 倍下采样以下的极小目标已经失效。可以在 P2160×160 特征图上增加一个检测头让小目标特征从 2 倍下采样层直接输出。这样模型变大、训练变慢但小目标召回率能提高 5~10 个点。引入 Transformer 编码器YOLOv8 改 ViT 风格后通过自注意力机制捕捉全局上下文小目标的检测会显著改善代价是推理延迟上升。切片推理SAHI把大图切成 640×640 的小块分别检测再合并结果。无人机高分辨率图片下非常管用缺点是推理次数增加不适合对延迟极敏感的场景。3. 从“看到框”到“实际找到”目标坐标解算与飞行控制联动很多教程到“模型检测出目标框”就结束了但做无人机项目框本身没有任何意义。无人机需要的不是“图片上有个框”而是“目标相对于无人机的真实三维位置”。这个从像素坐标到空间坐标的转换过程是整个 Module 中最容易翻车的部分。3.1 坐标系变换像素坐标→机体坐标→惯性坐标三维空间中无人机要想“去目标点”需要知道目标在真实世界中的坐标。这要用到四个坐标系像素坐标系图像上的 u、v、相机坐标系以光心为原点的三维坐标、机体坐标系以无人机重心为原点、惯性坐标系通常用东北天 ENU 坐标系也就是北东上。相机针孔模型公式[u, v, 1]^T K · [R | t] · [X, Y, Z, 1]^T这里 K 是相机内参矩阵焦距 fx、fy 和光心 cx、cyR 和 t 是相机相对机体坐标系的旋转和平移。如果相机是固定的无云台R 和 t 是常数如果有云台就需要实时读取云台的姿态角。问题是这个方程里有三个未知数X、Y、Z但只有两个方程u、v解不出来。要得到三维坐标至少还要一个额外约束。常见做法有已知目标高度比如搜索海面目标时目标高度接近 0解方程就能算出水平位置。双目/深度相机通过视差直接算深度 Z再反推 X、Y。单目 测距传感器用激光测距或毫米波雷达测出 Z然后解出 X、Y。先做粗略距离估计再用云台伺服跟踪云台锁住目标后通过调整云台角度让目标回到画面中心利用云台角度和目标在图像上的偏移进行闭环迭代逼近真实坐标。实际项目中我常用的是“已知目标高度 单目”的组合非常稳健。无人机巡检电线杆时电线杆高度已知比如 12 米目标位置用高度约束就能锁定。3.2 目标框与云台跟踪闭环检测到目标之后不能只发一个坐标就完事还要确保目标一直在画面中心附近。我设计的闭环逻辑如下目标检测网络输出目标框中心点 (u0, v0)。计算它和画面中心 (640/2, 480/2) 的偏移量 (Δu, Δv)。把这个偏移量送进云台 PID 控制器输出云台偏航角和俯仰角的设定值。云台转动新的画面进入网络目标框位置重新计算进入下一轮循环。这样整个系统就变成了一个视觉伺服闭环目标一旦被锁定即使无人机在移动云台也能一直“咬住”目标。很多工业无人机云台的“目标锁定”功能底层就是这个逻辑。3.3 检测结果如何结合飞控和避障要把检测结果真正用到飞控里需要分清任务如果是“飞到目标点”计算目标在惯性系中的三维坐标反馈给飞控的位置控制器作为位置设定值飞控自动生成油门、俯仰、滚转、偏航指令。如果是“保持固定距离盘旋观察”给飞控一个向心加速度和一个切向速度以目标为圆心做螺旋飞行。如果是“自主降落”检测降落标志物估算机体相对标志物的位置和偏航角再衔接飞控的降落模式。避障要不要单独做我做项目时的经验是目标检测和避障不要共用同一个模型。常见错误是用一个 YOLO 模型把“障碍物”也加到类别里这样既做目标检测又做障碍物识别模型复杂度大幅提高误检和漏检率也明显上升。推荐的做法是目标检测模型只负责找目标实时避障单独交给深度相机 VIO/光流融合方案或者用激光雷达的 3D 点云做障碍物检测两者结果在决策融合层做一个优先级判断。飞控底层如果是 PX4一般用 MAVLink 指令例如 SET_POSITION_TARGET_LOCAL_NED给飞控发送位置目标如果用的是自研飞控就要通过 UART 把目标点坐标打包发过去。中间涉及 MAVSDK 或者 MAVLink 库调用这块网上资料很多但实际调试时注意消息频率和坐标系单位距离用米、速度用米/秒别搞混。3.4 讲讲串级 PID 和无人机自身的控制基础热搜词里出现了“无人机串级PID、内外环的作用及时间间隔”说明不少朋友是从视觉端切入但到控制联调时发现飞控知识不够用。简单梳理一下无人机位置控制用串级 PID外环是位置环输出速度内环是速度环输出姿态角设定值。姿态环再往里还有角速度环内内环形成一个三级串级。设计时注意外环频率可以慢一点10~20Hz 就够内环角速度环至少要 200~500Hz否则姿态响应跟不上内外环的时间间隔本质上是带宽的差异。外环带宽低内环带宽高这样才能保证外环指令被内环稳定跟踪不会出现震荡。如果只调了视觉无人机稍微一动目标就飞出画面多半不是视觉的锅而是内环姿态不稳导致镜头跟着抖。目标检测对图像模糊极为敏感飞控不稳视觉再强也没用。4. 实操全流程演示Ubuntu PX4 Gazebo 仿真拿到飞机和机载感知环境下面是实战演示。这部分我用了 Ubuntu 22.04 ROS 2 Humble PX4 Gazebo 作为仿真环境把整个链路跑通。4.1 搭建 PX4 无人机仿真环境如果没有真机先在仿真里跑通整个视觉检测-控制闭环既安全又高效。我推荐使用 Gazebo经典版配合 PX4 官方固件。先把基础环境和 PX4 源码装好# 安装依赖 sudo apt update sudo apt install git cmake ninja-build python3-empy python3-pip python3-jinja2 python3-yaml protobuf-compiler libeigen3-dev libopencv-dev # 克隆 PX4 固件 git clone https://github.com/PX4/PX4-Autopilot.git --recursive cd PX4-Autopilot make px4_sitl gazebo-classic等编译完会启动一个带多旋翼模型的 Gazebo 仿真环境无人机稳定悬停在起始点上。如果 Gazebo 启动崩溃常见原因是版本不匹配建议检查~/.bashrc里的 Gazebo 版本环境变量。PX4 的仿真默认给了一个简单的飞行器但上面没有相机我们需要在 sdf 模型文件里加一个相机传感器或者直接用 ROS 2 里的gazebo_ros_camera插件挂载相机。4.2 用 ROS 2 YOLO 做实时推理在 ROS 2 里我使用cv_bridge将 Gazebo 输出的图像话题比如/camera/image_raw转成 OpenCV 的 Mat 格式然后送入 YOLO 模型。一个精简的推理节点代码框架可以这么写import cv2 from ultralytics import YOLO import rclpy from rclpy.node import Node from sensor_msgs.msg import Image from cv_bridge import CvBridge class DroneDetector(Node): def __init__(self): super().__init__(drone_detector) self.sub self.create_subscription(Image, /camera/image_raw, self.image_callback, 10) self.pub self.create_publisher(Image, /detection/annotated, 10) self.bridge CvBridge() self.model YOLO(best.pt) self.get_logger().info(YOLO model loaded.) def image_callback(self, msg): cv_img self.bridge.imgmsg_to_cv2(msg, bgr8) results self.model(cv_img, conf0.4) annotated results[0].plot() self.pub.publish(self.bridge.cv2_to_imgmsg(annotated, bgr8))这里best.pt是前面训练好的模型conf0.4是一个平衡误检和漏检的常用置信度阈值。发布带标注的图片话题后用 rviz2 订阅就能实时看到检测结果。4.3 从像素坐标换算视线水平距离示例假设相机光轴与机体轴平行无云台无人机平飞相机光轴与水平面平行或固定俯仰角 θ。已知目标在相机图像中的像素坐标为 (u, v)相机焦距 f单位为像素光心 (cx, cy)。如果目标在地面上且无人机高度为 H相机俯仰角为 θ光轴与水平面夹角那么目标相对无人机在机体坐标系下的水平前向距离可以这样近似假设相机无俯仰角θ≈0目标在图像中偏离光心垂直方向 Δv v - cy则地面距离 D 约等于 H * f / |Δv|。这是一个非常粗略的直线模型适合用来实现基本跟随精确还需考虑相机俯仰角、滚动角使用完整透视反投影公式。实际使用时要注意H 越小误差越小H 很大时Δv 差几个像素距离估算就会差很多。所以在高空中建议先用云台锁定把目标拖到画面中心附近再算距离误差会有效收窄。4.4 把坐标指令发给飞控坐标解算完之后通过 MAVSDKPython 版本把目标位置发给 PX4 飞控import asyncio from mavsdk import System async def goto_target(): drone System() await drone.connect(system_addressudp://:14540) # 设置本地 NED 坐标系北东地注意地是向下 # 假设目标在机体前方 30 米右方 5 米高度比无人机低 10 米 target_north 30.0 target_east 5.0 target_down 10.0 await drone.action.goto_location(latitude_degNone, ...) # 或者用位置控制接口确切接口不同版本略有差异但核心思路一致把目标给到位置环飞控自动生成控制量。如果想做自主追踪还要周期性地把新解算的目标坐标发给飞控形成一个动态跟踪回路。建议先用 Gazebo 仿真联合调参再上真机。仿真能快速暴露坐标系不统一、数据频率不匹配、单位错误这三类最坑的 bug。5. 常见问题与排查技巧实录最后一部分把我在实际项目中踩过的坑和几个常被问的问题整理成速查表供大家参考。故障/现象直接原因排查方法/解决方案模型检测出目标但无人机不往目标飞目标坐标没有正确换算到惯性坐标系打印飞行日志确认坐标系用的是 NED 还是 ENU目标点的坐标单位是不是米目标时有时无尤其转弯时消失运动模糊过于严重提高快门速度增加全局快门相机或者把曝光时间调低同时提高 ISO目标检测很准但云台乱转云台 PID 参数没调好或偏移量符号方向反了先单独调云台 PID再在画面上手动加上偏移量测试符号确认 Δu、Δv 的正负方向模型在电脑上 60 FPS到机载板只有 10 FPS未做 TensorRT 加速或模型过大切换到 TensorRT FP16/INT8或者换更小的模型如 YOLOv8n实测 Jetson Orin Nano 上 YOLOv8s TensorRT FP16 能到 30 FPS 左右红外图像检测效果极差直接用可见光训练的权重推理热成像用红外数据集重训或者域自适应不能用可见光模型直接硬怼红外图无人机飞高后小目标全部漏检没有做小目标专项优化增加 P2 检测头加入高分辨率训练跑切片推理SAHI或采用多尺度训练仿真里一切正常真机疯狂震荡仿真模型参数和真机差异过大用真机的转动惯量、电机推力参数更新仿真模型先做姿态内环调参再放开外环在电源管理上还有一个容易忽略的点视觉模块和飞控如果共用一个电源推理峰值功耗会引起电压跌落直接干扰飞控的传感器读数导致姿态异常。我踩过一次后来给视觉板单独配了一个 5V/2A 的 BEC 稳压模块才解决问题。做整机集成时电源树设计一定要和视觉算力功耗放在一起评估。电机选型也需要一带而过如果目标检测后需要快速俯冲或急转电机响应带宽不够姿态会滞后画面糊得更厉害。电机的 KV 值、桨叶尺寸和电池放电倍率要匹配别让动力系统成为视觉性能的瓶颈。还有一个高频问题无人机目标检测会不会和无人机编队飞行冲突不冲突但要分清主次。编队飞行是多个无人机之间的相对位置控制单机目标检测是该无人机的感知任务。编队中可以有一架“长机”负责目标检测通过通信链路把目标坐标分发给其他“僚机”这时候要注意通信时延。延时超过 100ms 就要做预测补偿否则僚机到达的位置已经偏离目标。无人机集群做分布式目标检测时可以考虑多机数据融合但这属于更深层的话题了后续有机会再单独展开。我在实际项目里最后总结出的经验是先让飞控稳到“即使不依赖视觉也能悬停得像钉在地上一样”再去做视觉目标检测。视觉和控制是两条腿有一条腿瘸了整个系统就跑不起来。把这个最简单的前提抓好后面的路就会顺很多。
