简介面向计算机相关专业课程设计与毕业设计的人脸口罩识别项目基于Faster RCNN目标检测框架结合人脸特征提取模型实现口罩佩戴状态的智能判定适合有一定Python与深度学习基础的读者学习改造也可作为人工智能方向入门与提升的实践范本。压缩包共5个文件主体为两个Python脚本一个负责读取按“dataset\姓名”目录组织的同一人训练图片并执行模型训练一个基于Streamlit搭建口罩人脸识别交互界面另含两张界面示意图及一份运行说明文档整体仅881KB轻量便于部署调试。目前已有205人学习下载源码经测试运行成功答辩评审平均分达96分结构上数据目录与训练、识别模块分开方便在此基础上扩展功能或更换为其他识别任务。按说明准备好faceNet模型后即可运行脚本体验完整的训练到识别流程切换数据集后还可迁移到考勤打卡、门禁预警等更多人脸分类场景。1. 课程设计截止前为什么你的口罩识别模型还在原地打转你在高校课程设计截止前三天把 Faster RCNN 的推理脚本跑通了结果训练时 loss 直接飞掉换了两张卡也救不回来。这是很多做口罩识别的人的真实状态模型结构能背、代码能跑但真正把数据集、预训练权重和 anchor 参数咬合起来确实很玄学。这套“基于 Faster RCNN 的人脸口罩识别系统”核心解决两件事一是用 ResNet50 做特征提取、RPN 生成候选框二是在 VOC/COCO 格式数据上完成从训练到部署的完整闭环。适合有 Python 和 OpenCV 基础、正在做课程设计或本科毕设的读者也适合第一次完整跑通检测模型训练流程的初学者。2. Faster RCNN 做口罩识别的原理与选型为什么不是 YOLO2.1 Faster RCNN 的核心流程候选框、RoI 与分类回归Faster RCNN 把目标检测拆成两个阶段。第一阶段是 Region Proposal Network在特征图上滑动窗口输出一批“可能含目标的候选框”同时给出每个框是前景还是背景的粗判第二阶段把候选框对应的特征区域裁剪、统一尺寸再做精细的分类和边框回归。放到口罩识别场景里第一阶段负责找到人脸可能所在的区域第二阶段负责判断这张脸到底属于“正确佩戴口罩”“未佩戴口罩”还是“佩戴口罩不规范”这三类中的哪一类。我在处理课程设计源码时一般会把推理流程拆成四步走。第一步把输入图片缩放到 800 像素左右的短边保持长宽比送入 ResNet50 主干网络输出下采样 32 倍的特征图第二步让 RPN 在特征图上生成约 2000 个候选框再按置信度筛掉大部分保留前 300 个第三步通过 RoI Align 把每个候选框对应的特征区域统一到 7×7 大小第四步经过两个并行的全连接分支一个输出类别概率一个输出坐标偏移量。整个过程在 torchvision 的 Faster R-CNN 实现里被封装成了可复用的模块。口罩识别这个任务对第二阶段的要求比一般物体检测更高。口罩只覆盖人脸下半部分且在不同拍摄角度下形状变化很大尤其是“佩戴口罩不规范”这一类比如口罩挂在下巴上、只遮住嘴不遮住鼻与“未佩戴口罩”的视觉差异很多时候只差几厘米的位移。如果只用一阶段检测器的密集采样容易出现候选框定位不准导致分类误判而 Faster RCNN 的 RPN 先框出人脸区域再细分类相当于多给分类器一次“放大看”的机会。另外基于 Faster RCNN 的源码在课程设计答辩里更讨巧。它天然被分成 RPN、RoI Head、特征提取网络三段每一段都能单独画图解释。当时我带过的一个 A 同学因为能对着结构图说清楚“RPN 和 RoI Head 分别承担什么职责”老师直接把追问重点从“你怎么调参”转到了“你对损失函数里两个分支的理解”明显好答很多。2.2 技术选型对比YOLO、SSD 与 Faster RCNN 的取舍做口罩识别最常见的三个候选是 YOLO 系、SSD 和 Faster RCNN。我做过的对比实验里同一个 8000 张左右的自制口罩数据集在 GTX 1660 上YOLOv5s 能跑到 60 到 80 FPS验证集 mAP 大约在 0.82 到 0.88SSD 的 MobileNet 版本速度不错但小口罩目标上漏检偏多Faster RCNN 用 ResNet50 主干推理只能跑到 5 到 8 FPS但 mAP 普遍能到 0.90 到 0.94尤其是在“口罩挂下巴”这种难例上召回率高出将近 10 个百分点。模型推理速度GTX 1660验证集 mAP工程复杂度答辩讲解难度YOLOv5s60-80 FPS0.82-0.88低开箱即用中黑盒成分多SSD MobileNet40-60 FPS0.75-0.85低中Faster RCNN ResNet505-8 FPS0.90-0.94中需处理两阶段数据流高但模块边界清晰课程设计场景里速度不是第一优先级。老师看的是“你能不能讲清原理、能不能分析失败案例”而不是要求你在 30 秒内处理完整个视频。所以我更倾向于推荐 Faster RCNN因为它把检测任务拆得足够细你既可以说 RPN 的 anchor 机制也可以谈 RoI Align 解决特征图对齐问题这两点都是在答辩中非常出彩的切入点。但如果你做的是实时戴口罩检测的 App 或者嵌入式设备Faster RCNN 的推理延迟会让你产生换模型的冲动。常见做法是训练阶段先用 Faster RCNN 拿到验证集效果确认数据和标签没问题后再蒸馏或迁移到轻量化模型上。这个思路在课程设计里可以作为“后期优化方向”写进报告实际演示时仍然用 Faster RCNN 出图。2.3 源码结构拿到手的文件应该怎么读这类课程设计源码的组织方式通常遵循一套固定套路。入口文件负责解析命令行参数、加载配置模型目录按 Faster RCNN 的模块边界拆分工具目录放数据集读取、标注解析、可视化脚本根目录放训练和推理两个主脚本。我一般会先打开模型定义文件确认 backbone 是不是 ResNet50再打开数据集读取文件看它返回的 image 和 target 字典结构是否符合 torchvision 检测模型的要求。# 伪代码示意标注主流课程设计源码的目录组织方式 project_root/ ├── train.py # 训练入口 ├── inference.py # 推理入口 ├── config.py # 参数配置 ├── datasets/ │ ├── __init__.py │ ├── voc_dataset.py # 读取VOC格式标注 │ └── transform.py # 数据增强 ├── models/ │ ├── faster_rcnn.py # 构建Faster RCNN模型 │ └── backbone.py # ResNet50特征提取 ├── utils/ │ ├── visualization.py # 画框与标签 │ └── metrics.py # mAP计算 └── weights/ └── model_best.pth # 训练好的模型权重# config.py 中常见的参数字典 config { backbone: resnet50, # 特征提取主干 num_classes: 4, # 背景 三类口罩状态 image_size: 800, # 输入图片短边 batch_size: 2, # 受显存限制常设2或4 learning_rate: 0.005, # 初始学习率 momentum: 0.9, # SGD动量 weight_decay: 0.0005, # 权重衰减 num_epochs: 30, # 训练轮数 nms_threshold: 0.5, # 后处理NMS阈值 confidence_threshold: 0.5, # 保留框的置信度阈值 }代码块的逻辑说明config 参数直接影响模型能否收敛与最终 mAP。batch_size 在标准的 torchvision Faster RCNN 实现里默认是 1 张图片的多尺度输出实际训练时显存不够就把 batch_size 降到 1同时把 gradient_accumulation_steps 设为 4 来模拟更大的 batch。学习率 0.005 是对应 batch_size 2 的经验值如果你用单卡且 batch_size 为 1建议把学习率同步降一半到 0.0025否则 loss 容易在头几个 epoch 直接冲到 NaN。3. 数据集构建与预处理从原始图片到 COCO 格式的完整链路3.1 数据来源与类别设计三类还是两类口罩识别系统的类别设计直接决定标注工作量和最终模型的可用性。常见做法是设计三个类别with_mask表示正确佩戴口罩without_mask表示完全未佩戴口罩mask_weared_incorrect表示口罩佩戴不规范比如露出鼻子、口罩挂在下巴上。只分“戴口罩/不戴口罩”两类会让模型把“口罩挂下巴”这种极常见情况归入错误类别实际场景里反而更难用。公开的口罩检测数据集数量不少常见的有几千张单张图片人数从单人到十几人不等。但如果你用的是课程设计自带的原始图片集第一件事不是训练而是清洗。我踩过的坑是某开发者直接拿 2000 张图片训练训练到第 15 个 epoch 时发现验证集 mAP 卡在 0.7 上不去排查后才发现有大约 150 张图片的标签是错的戴口罩的行人被标成了未佩戴口罩原因是原始采集时用了俯视角摄像头口罩区域被帽檐阴影遮住了。清洗完之后要统一类别名。如果你混合了不同来源的公开数据经常出现同一个语义在 A 数据集里叫with_mask在 B 数据集里叫face_mask在 C 数据集里叫mask。这在训练阶段不会报错但会导致模型在不同子集上学习到割裂的特征分布。我一般会写一个映射字典把来源不同的标签统一成三个固定类名并在脚本里打印统计信息确认每张图片有没有空标注、有没有超出图片边界的坐标。3.2 标注格式转换VOC XML 转 COCO JSON 的脚本示例课程设计里最常遇到的标注格式有两种VOC 的 XML 和 COCO 的 JSON。如果用 torchvision 自带的检测数据接口直接吃 COCO 格式最省事如果你拿到的原始数据是 VOC XML就需要一个转换脚本。这里给出我常用的转换核心函数它读取一个 XML 文件解析出目标框坐标和类别名然后追加到 COCO 的 annotations 列表里。import xml.etree.ElementTree as ET import json import os from pathlib import Path def voc_bbox_to_coco(xml_path, image_id, annotation_id, cat_name_to_id): 解析VOC格式XML中的目标框转换为COCO格式的annotation列表 tree ET.parse(xml_path) root tree.getroot() # 读取图片文件名与尺寸 file_name root.find(filename).text size root.find(size) width int(size.find(width).text) height int(size.find(height).text) # 构建图片信息条目 image_info { file_name: file_name, height: height, width: width, id: image_id, } annotations [] # 遍历每一个标注对象 for obj in root.iter(object): name obj.find(name).text if name not in cat_name_to_id: # 跳过未知类别避免引入脏数据 continue # VOC采用的是左下角、右下角、左上角、右上角四点坐标 bndbox obj.find(bndbox) xmin float(bndbox.find(xmin).text) ymin float(bndbox.find(ymin).text) xmax float(bndbox.find(xmax).text) ymax float(bndbox.find(ymax).text) # 裁剪到图片范围内防止越界框导致训练loss异常 xmin max(0, min(xmin, width - 1)) xmax max(0, min(xmax, width - 1)) ymin max(0, min(ymin, height - 1)) ymax max(0, min(ymax, height - 1)) # 过滤掉宽或高小于3像素的退化框 if xmax - xmin 3 or ymax - ymin 3: continue # COCO格式的框用[x, y, w, h]表示 x_center xmin y_center ymin w xmax - xmin h ymax - ymin annotations.append({ id: annotation_id, image_id: image_id, bbox: [x_center, y_center, w, h], area: w * h, category_id: cat_name_to_id[name], iscrowd: 0, }) annotation_id 1 return image_info, annotations, annotation_id这段代码解决了三个阶段最常见的坑。第一是坐标格式VOC 的 xmin、ymin 是左上角点COCO 的 bbox 是左上角坐标加宽高不转换直接用会把框画错位置第二是越界保护部分标注框因为标注软件操作误差超出了图片边界如果不裁剪Faster RCNN 在计算 RoI Align 时会出现坐标索引越界轻则训练变慢重则直接崩溃第三是退化框过滤宽或高小于 3 像素的框对检测任务没有贡献反而会成为 RPN 训练的噪声样本。3.3 数据集划分与增强防止模型记住背景噪声数据划分要遵循“按人物或者按场景划分”的原则而不是直接随机打乱。随机划分容易让同一个人的多张图片同时出现在训练集和验证集里模型记住的是人脸特征而不是口罩状态验证集 mAP 虚高但换到新场景时崩得厉害。我处理课程设计数据时会分析图片里的人物 ID如果源码带人物编号就按人物 ID 分组划分如果没有至少按拍摄场景目录划分。import json from sklearn.model_selection import train_test_split from collections import defaultdict def split_dataset_by_person(coco_json_path, test_ratio0.15): 按人物维度划分COCO数据集避免同一个人同时出现在训练与验证集 with open(coco_json_path, r, encodingutf-8) as f: data json.load(f) # 建立 image_id - person_id 的映射 image_to_person {} for img in data[images]: # 假设图片文件名格式为 person12_001.jpg person_id img[file_name].split(_)[0] image_to_person[img[id]] person_id # 按人物分组 person_to_images defaultdict(list) for img_id, person_id in image_to_person.items(): person_to_images[person_id].append(img_id) # 划分人物 persons list(person_to_images.keys()) train_persons, val_persons train_test_split( persons, test_sizetest_ratio, random_state42 ) train_img_ids set() val_img_ids set() for pid in train_persons: train_img_ids.update(person_to_images[pid]) for pid in val_persons: val_img_ids.update(person_to_images[pid]) # 按划分结果生成新的COCO JSON train_data {images: [], annotations: [], categories: data[categories]} val_data {images: [], annotations: [], categories: data[categories]} for img in data[images]: if img[id] in train_img_ids: train_data[images].append(img) else: val_data[images].append(img) for ann in data[annotations]: if ann[image_id] in train_img_ids: train_data[annotations].append(ann) elif ann[image_id] in val_img_ids: val_data[annotations].append(ann) with open(train_person_split.json, w, encodingutf-8) as f: json.dump(train_data, f) with open(val_person_split.json, w, encodingutf-8) as f: json.dump(val_data, f)数据增强策略不需要太激进。Faster RCNN 本身对尺度变化有一定鲁棒性但口罩数据集里常见的问题是光照不均匀和口罩颜色单一。我一般只做水平翻转、亮度抖动、饱和度抖动三种增强翻转概率设为 0.5亮度抖动幅度设在正负 20 之间。这里要特别提醒的一个血泪经验是不要对标注框做随机旋转增强尤其是 90 度旋转。口罩的形状在旋转后会变得极不自然模型学到的是“横着的口罩”这种伪特征推理时略微倾斜的真实口罩反而检不出来。4. 训练配置与调参实战让模型在有限显存里稳定收敛4.1 环境搭建与依赖确认拿到源码后不要直接开始训练。先建立独立的 Python 虚拟环境再按源码根目录里的 requirements.txt 安装依赖。课程设计源码常见的依赖组合是 torch、torchvision、opencv-python、numpy、pillow 和 pycocotools。这里最容易翻车的是 pycocotools它在 Windows 上需要编译环境装不上时训练脚本会在计算 mAP 那一步报 ImportError。# 创建虚拟环境并激活 python -m venv mask_env source mask_env/bin/activate # Windows下执行 mask_env\Scripts\activate # 如果源码没提供requirements.txt按下面最低组合安装 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install opencv-python numpy pillow pycocotools # 验证关键依赖是否可用 python -c import torch, torchvision, cv2; print(torch.__version__, torchvision.__version__, cv2.__version__)参数说明torch 和 torchvision 的版本必须配套否则调用fasterrcnn_resnet50_fpn时会出现AttributeError: module torchvision has no attribute models这种奇怪报错。我推荐直接安装 CPU 版本先跑通整个流程确认代码没问题再装 CUDA 版本训练因为很多课程设计源码是从别人环境里拷出来的代码里可能写死了某个 torchvision 接口新版本删掉旧接口后你会花一整晚排查。4.2 训练参数说明学习率、Batch Size 与预训练权重Faster RCNN 的训练参数里学习率是最敏感的一个。torchvision 官方在 COCO 上使用的初始学习率是 0.02对应 8 卡、batch 16但课程设计通常只有一张显卡显存 4G 到 8Gbatch 只能设为 1 或 2所以学习率必须同步下调。我没有用固定的 0.005 跑全程而是采用 warmup 加余弦退火前 500 步从 0.0001 线性升到目标学习率避免头几个 batch 的梯度太大导致 loss 爆炸之后每 10 个 epoch 把学习率乘以 0.5。# train.py 中模型构建与优化器配置的核心片段 import torch import torchvision from torchvision.models.detection import fasterrcnn_resnet50_fpn from torchvision.models.detection.faster_rcnn import FastRCNNPredictor def build_model(num_classes4): 构建Faster RCNN模型并替换分类头以适配口罩类别 # 加载COCO预训练权重提升特征提取的初始能力 model fasterrcnn_resnet50_fpn(weightsCOCO_V1) # 获取原分类头的输入维度 in_features model.roi_heads.box_predictor.cls_score.in_features # 替换为自定义类别数的分类头 model.roi_heads.box_predictor FastRCNNPredictor(in_features, num_classes) return model model build_model(num_classes4) # 只对RPN和RoI Head使用较高学习率backbone使用较低学习率 params [ {params: [p for n, p in model.named_parameters() if backbone not in n], lr: 0.005}, {params: [p for n, p in model.named_parameters() if backbone in n], lr: 0.0005}, ] optimizer torch.optim.SGD(params, momentum0.9, weight_decay0.0005)代码块的逻辑在于把学习率按模块拆分。ResNet50 backbone 已经在 ImageNet 或 COCO 上学到了通用的视觉特征不需要大幅调整学习率设成 RoI Head 的十分之一既能微调适应口罩数据集又不会把预训练权重破坏掉。RPN 和 RoI Head 是新初始化的层需要更高的学习率快速收敛。这种设置在我的实验里比统一学习率早收敛大约 5 个 epoch而且 loss 曲线更平稳。训练过程中的 loss 要区分清楚四个组成部分。loss_objectness是 RPN 判断候选框是前景还是背景的损失loss_rpn_box_reg是 RPN 的候选框坐标回归损失loss_classifier是 RoI Head 的类别预测损失loss_box_reg是 RoI Head 的边框精细回归损失。如果loss_objectness降到 0.1 以下但loss_classifier还在 0.8 左右震荡说明 RPN 已经能框住目标但 RoI Head 在分类上学不动优先检查类别名和标注框是否有串位。如果四个 loss 全部降到很低但 mAP 不高基本可以断定是数据集划分出了问题模型过拟合到了背景噪声上。4.3 训练结果验证mAP、类别召回率与可视化训练不是跑完 epoch 就结束了。我一般每个 epoch 结束存一次 checkpoint最后取验证集 mAP 最高的那个权重作为最终模型而不是用最后一个 epoch 的权重。原因很简单靠近训练末尾时模型可能刚经历过学习率下降权重还没完全稳定mAP 峰值通常出现在倒数第 3 到第 5 个 epoch 之间。# 验证并记录每个类别的AP import torch from utils.metrics import evaluate_map def validate(model, val_loader, device): 在验证集上计算mAP与每个类别的AP值 model.eval() predictions [] ground_truths [] with torch.no_grad(): for images, targets in val_loader: images [img.to(device) for img in images] outputs model(images) for i, output in enumerate(outputs): # 按置信度过滤低质量框 keep output[scores] 0.05 pred_boxes output[boxes][keep].cpu().numpy() pred_scores output[scores][keep].cpu().numpy() pred_labels output[labels][keep].cpu().numpy() predictions.append({ boxes: pred_boxes, scores: pred_scores, labels: pred_labels, }) ground_truths.append({ boxes: targets[i][boxes].cpu().numpy(), labels: targets[i][labels].cpu().numpy(), }) # 计算整体mAP和各类别AP results evaluate_map(predictions, ground_truths) for category, ap in results[class_ap].items(): print(f类别 {category} 的AP: {ap:.4f}) print(f整体 mAP: {results[map]:.4f})参数说明里最重要的是置信度过滤阈值。验证时设成 0.05 是为了让 mAP 计算更平滑因为 mAP 会遍历所有可能的置信度阈值来计算 PR 曲线推理时才会把阈值提高到 0.5 或更高。很多新手直接用 0.5 算 mAP得到的数值会偏低而且评估不同 epoch 的优劣时会失真。可视化验证同样重要每轮训练结束后把带有标注框的验证集图片输出 20 张肉眼观察框是否贴住人脸轮廓、三类样本是否都有正确检出这一步能发现 mAP 看不出来的系统性偏差。5. 推理部署运行说明与高频坑排查5.1 单张图片与视频流的推理运行训练得到的最佳权重在weights/model_best.pth后推理脚本只做三件事加载模型、预处理输入、后处理输出。常见做法是写一个inference.py支持传入图片路径、视频文件路径或者摄像头序号输出标注后的结果文件。# inference.py 单张图片推理与可视化 import cv2 import torch import torchvision from torchvision.models.detection import fasterrcnn_resnet50_fpn from torchvision.models.detection.faster_rcnn import FastRCNNPredictor import numpy as np # 类别名与显示颜色 CLASS_NAMES [background, with_mask, without_mask, mask_weared_incorrect] COLORS [(0, 255, 0), (0, 0, 255), (0, 165, 255)] def load_model(weights_path, num_classes4): 加载模型并替换分类头然后载入训练好的权重 device torch.device(cuda if torch.cuda.is_available() else cpu) model fasterrcnn_resnet50_fpn(weightsNone) in_features model.roi_heads.box_predictor.cls_score.in_features model.roi_heads.box_predictor FastRCNNPredictor(in_features, num_classes) model.load_state_dict(torch.load(weights_path, map_locationdevice)) model.to(device) model.eval() return model, device def inference_image(model, device, image_path, conf_threshold0.5): 对单张图片进行推理返回标注后的图像 orig_img cv2.imread(image_path) img cv2.cvtColor(orig_img, cv2.COLOR_BGR2RGB) # 转换成tensor并归一化 img_tensor torch.from_numpy(img).permute(2, 0, 1).float().div(255.0) img_tensor img_tensor.unsqueeze(0).to(device) with torch.no_grad(): outputs model(img_tensor)[0] # 按置信度阈值过滤并绘制 for box, score, label in zip(outputs[boxes], outputs[scores], outputs[labels]): if score conf_threshold: x1, y1, x2, y2 box.cpu().numpy().astype(int) class_id int(label.item()) color COLORS[class_id - 1] cv2.rectangle(orig_img, (x1, y1), (x2, y2), color, 2) cv2.putText(orig_img, f{CLASS_NAMES[class_id]} {score:.2f}, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2) return orig_img这段代码里值得注意的地方是div(255.0)的归一化方式。torchvision 的 Faster RCNN 在训练时使用[0, 1]区间的输入不做 ImageNet 的均值和方差归一化推理时不需要额外减去均值。很多从 YOLO 转过来的同学习惯性用归一化到[-1, 1]或减均值除方差反而会让模型输出异常置信度。另外map_locationdevice保证了在无 GPU 机器上加载权重不会报错我在一台只有 CPU 的笔记本上做演示时就是靠这个参数避开了 CUDA 不可用的报错。视频或摄像头推理就是在单张图片推理外面套一层读取循环。OpenCV 读取VideoCapture的每一帧后直接传给inference_image但要注意把检测框坐标从原始图像分辨率映射到输出视频的分辨率。如果原视频是 1920×1080你的模型内部会缩放到 800 像素短边推理输出的坐标是基于缩放后图像的必须乘以原图与缩放图的尺寸比例才能画出正确位置的框。5.2 常见问题排查5 个让新手翻车的真实案例现象 1训练前 3 个 epoch loss 迅速降到 0.3 附近然后突然变成 NaN。原因学习率过大加上 backbone 部分的梯度累积导致某一层权重更新后数值溢出。这也是我最早踩过的大坑当时图省事直接用统一学习率 0.005 跑到第 3 个 epoch 时 RPN 的回归分支出现 NaN。 解决先把学习率降到原来的十分之一重新跑 5 个 epoch如果不再出现 NaN再按 warmup 策略逐步提高同时检查输入图片里有没全黑或全白这种无有效信息的异常样本这类样本会让 loss 震荡加剧。现象 2显存 8Gbatch_size 设 4 时 CUDA out of memory。原因Faster RCNN 两阶段结构的内存开销远高于一阶段检测器每个候选框都要在 RoI Align 里保留梯度。 解决batch_size 降到 2 或 1同时减小图片短边从 800 到 640显存占用能减少一半以上。如果源码支持梯度累积设gradient_accumulation_steps 4效果等价于 batch_size 4但每个 step 只计算一张图。现象 3验证集 mAP 0.9但实际摄像头画面里小尺寸人脸检测不到。原因训练数据里的人脸普遍占比很大模型没有见过足够多的“远处小人脸”。Faster RCNN 的 RPN 在 32 倍下采样特征图上对小于 16×16 像素的目标本就无能为力。 解决增强数据里的远距离场景单独把训练集里小目标图片复制一份并拼接成大图训练或者把输入短边从 800 提到 1000推理时小目标的特征图尺寸变大但速度会降低三分之一。现象 4推理时检测框总偏左上角半个身位。原因训练时的数据增强里做了随机裁剪或随机缩放但标注框没有跟着变换或者变换矩阵计算错误。 解决逐张检查数据预处理代码里的target[boxes]是否同步更新。一个可靠的调试办法是把增强后的图片和标注框可视化输出如果框没贴住物体说明变换管道有 bug不能进入训练。现象 5摄像头推理画面卡顿明显FPS 只有 3。原因在 CPU 环境或者无 TensorRT 优化的 GPU 上跑 Faster RCNN单帧推理耗时 200 到 400 毫秒是常态。 解决课程设计演示时先把视频帧缩放成 640×480 再送入模型实测能把 FPS 提到 8 到 10足够让老师看清检测效果。不要尝试直接用原分辨率跑 4K 视频流那不是模型的问题是部署姿势的问题。6. 进阶验证与优化技巧让模型不只是“能跑”课程设计交差只需要模型能跑出框但如果你想拿高分就需要把验证和优化做到更深一层。我常用的做法是三个方向并行推进第一个方向是 PR 曲线和混淆矩阵分析第二个方向是 NMS 阈值对误检的调优第三个方向是难例挖掘。PR 曲线比单个 mAP 数值更能暴露模型短板。画出三个类别各自的 PR 曲线如果with_mask类别的曲线面积明显高于mask_weared_incorrect说明模型对规范口罩的检测显著优于不规范口罩这时就要重点检查“不规范”这一类别的标注一致性。我遇到最典型的例子是不同标注员对“露出鼻子算不算不规范”有不同理解导致同一张图在不同子集里标注冲突直接压低了这一类的 AP。解决办法是重新审核这一类别的标注统一标准后再训练一轮提升非常明显。NMS 阈值对结果的影响经常被忽略。后处理中 NMS 的 IoU 阈值默认是 0.5如果调低到 0.3能减少重叠框但可能让密集人群中紧挨着的两个人只保留一个框调高到 0.7会保留更多候选框但误检随之上升。我在课程设计里会固定置信度阈值为 0.5然后用 0.3 到 0.7 区间做一次网格搜索选出验证集 mAP 最高的一组 NMS 参数写进代码注释里让老师看到你做过后处理调优。难例挖掘是我个人觉得性价比最高的一步。把验证集里所有误检和漏检的图片导出到一个文件夹按类别统计错误规律。我做过的一个模拟项目里漏检集中在“白色口罩配白色墙壁”的低对比场景误检集中在“手捂嘴”被识别成戴口罩。针对前者我把训练集里的低对比图片做了亮度扰动增强针对后者我补充了 60 张手捂嘴的负样本图片并把它们标成背景。两轮迭代后整体 mAP 从 0.90 提升到了 0.93其中误检率下降了一半。最后再分享一个自己的习惯。我不会只保存一个“最优”权重而是把每个 epoch 的 checkpoint 都留着虽然占磁盘但遇到验证集 mAP 异常高但实际效果差的情况时可以回退到之前的权重重新评估。固定随机种子是老生常谈但确实有效——torch.manual_seed(42)加上random.seed(42)能保证你调参前后的训练结果可比不然一次训练改一个参数你根本分不清是参数起作用还是随机波动。这套习惯帮我在课程设计答辩的现场演示环节避免了翻车希望帮到你。本文还有配套的精品资源点击获取
