简介面向深度学习和计算机视觉研究者这份完整代码基于MTCNN级联卷积网络实现人脸检测清晰覆盖P-Net候选框提议、R-Net边界框精修、O-Net关键点定位的完整流程。包体共80个文件以Python源码为核心包含48个py文件分别承担模型定义、数据加载、训练与测试等核心任务同时配备caffemodel预训练权重、prototxt网络配置、npy中间数据、可交互执行的ipynb教程及演示视频压缩后约23.13MB目录按检测、训练、测试等模块划分便于按需查阅。目前已有989人学习浏览适合作为MTCNN原理复现、实验对比或人脸检测项目二次开发的参考基底。除了完整可跑的代码外还可从中获得从数据准备、级联训练、NMS后处理到视频检测的工程化思路有助于理解级联结构如何兼顾检测速度与精度并为进一步研究人脸识别技术打下基础。1. MTCNN人脸检测为什么传统方法被它取代完整代码到底要写什么做刷脸考勤或相册智能分类时第一关永远是“图片里有没有人脸、人脸在哪”。传统级的Haar级联检测在正脸、光线好的情况下表现不错一旦遇到侧脸、低头、暗光或遮挡漏检率很快就上去了。MTCNNMulti-task Cascaded Convolutional Networks用三级级联网络把这个问题拆开第一级用很小的P-Net快速刷出候选框第二级R-Net剔除假阳性第三级O-Net做精细判定并回归出双眼、鼻尖、嘴角五个关键点。这套方案的速度和精度对多数业务场景够用训练成本也不高推理代码同样不复杂是最值得先落地一遍的人脸检测方案。如果你正准备在项目里加入人脸检测又不想依赖过于庞大的检测模型这篇笔记会把从数据准备到训练到部署的完整代码路径拆开讲清楚。2. MTCNN原理与代码架构P-Net、R-Net、O-Net三级网络怎么协作2.1 三个子网络分别解决什么问题候选召回、假阳性过滤、关键点回归实际做业务时一个检测任务越到后面越要“精细化”但精细化意味着计算量上升。MTCNN的策略是先用最便宜的网络把大量候选框捞回来后面的网络逐步提高输入分辨率对候选框再做筛选和校准把开销集中在真正像人脸的区域上。这个“由粗到精”的思路和人脸检测里其他单阶段检测器的设计哲学不同它不追求一次到位而是用三级接力把误检一点点压下去。P-NetProposal Network输入12x12的彩色图结构是三层卷积加两个1x1卷积输出分支。因为全卷积的特性推理时喂入一张任意尺寸的图它会在特征图的每个位置上输出三个结果是否人脸的得分、候选框相对位置的偏移量、关键点的偏移量。这里的关键点输出在P-Net阶段并不参与最终判定更多是让共享特征能学习到人脸的结构信息。P-Net的阈值如果设太低比如0.3候选框数量会爆炸R-Net的处理时间被拉长设太高比如0.9容易把模糊的小人脸直接滤掉。常见做法是在0.6左右起步再根据验证集微调。R-NetRefine Network输入24x24结构在P-Net基础上加了一层全连接分类能力更强。它接收P-Net输出的所有候选框在原图上的裁剪区域做批量判定并二次回归边框。这一级的目标是把P-Net产生的假阳性大幅降下去同时修正一部分位置偏移。O-NetOutput Network输入48x48是三个网络里最深的也只有它输出最终的五点关键点坐标分别是左眼、右眼、鼻尖、左嘴角、右嘴角。三个网络的输出分支设置是一致的分类得分、边界框回归、关键点回归。但不同阶段对这些分支的使用方式不同。P-Net和R-Net在训练时就把关键点回归作为辅助任务加入这是多任务学习的常见做法目的是让网络学习到更鲁棒的人脸结构表征推理时只用分类得分和框回归关键点的正式输出放在O-Net阶段。这样设计的好处是前两级网络不用把关键点算得很准计算量可以被压得很小。实践里还要注意一个边界R-Net和O-Net的输入并不能随意改动。如果你觉得24x24太小、想把R-Net输入改成32x32那么关键点偏移的归一化方式和数据生成脚本都得同步改否则坐标还原会错位。我在复现某个跨平台人脸检测系统时就吃过这个亏只改了模型输入尺寸没改数据生成脚本结果框回归一直漂排查了两天才发现是样本裁剪尺寸和网络输入不一致。2.2 完整项目代码的目录结构与依赖选择一套可复现的MTCNN项目我通常建议按这样的目录组织mtcnn/ ├── configs/ │ └── train_config.py # 全局训练参数阈值、样本比例、学习率 ├── data/ │ ├── wider/ │ │ ├── WIDER_train/ │ │ └── wider_face_train_bbx_gt.txt │ └── landmark/ │ └── train_data.txt ├── scripts/ │ ├── gen_pnet_data.py # 生成P-Net训练样本 │ ├── gen_rcnet_data.py # 生成R-Net / O-Net训练样本 │ └── train.py # 三级网络训练入口 ├── src/ │ ├── dataset.py # 数据加载与在线难例采样 │ ├── losses.py # 分类/框回归/关键点损失 │ ├── models.py # PNet / RNet / ONet定义 │ └── detector.py # 推理流水线 └── weights/ ├── pnet.pt ├── rnet.pt └── onet.ptgen_pnet_data.py只负责生成P-Net的训练样本逻辑相对简单读WIDER Face标注对每张图随机采样负样本和关键点样本统计IoU后决定样本类型保存成样本文件。gen_rcnet_data.py则不同它要先加载已经训练好的P-Net权重对每张训练图跑一遍完整金字塔检测流程得到候选框后再做NMS用候选框与真实框的IoU判定正负样本。这个流程必须复用推理代码否则训练样本的分布和推理时会不一致这也是很多复现版本效果差的原因。依赖方面训练用PyTorch更省心版本在1.8以上即可推理阶段如果不想把完整训练框架带进生产环境可以导成ONNX后用ONNX Runtime来跑后面第六章会专门讲。数据增强用torchvision.transforms自带的RandomHorizontalFlip就够了不需要额外引入复杂的图像增强库但读取WIDER Face标注、可视化检测结果时还是需要opencv-python。numpy和tqdm是训练循环和进度展示的标配建议一起装上。2.3 数据准备WIDER Face采样与关键点标注对齐这一步最容易翻车。WIDER Face标注里人脸框不全是标准的正矩形而且大量标注框和图片边缘相交裁剪时坐标经常越界。处理方式是在生成样本前先做一次边界裁剪把越界部分截掉同时重新计算真实框与关键点的坐标。关键点标注各数据集格式差异较大常见格式是每条记录包含文件名、关键点数量5个、每个点的x和y坐标读取时先按空格或逗号切分再逐项解析。代码# scripts/gen_pnet_data.py 核心片段 import numpy as np import cv2 def random_crop(img, bbox, landmark, size12, modetrain): # bbox: [x1, y1, x2, y2]landmark: 5x2数组 h, w img.shape[:2] x1, y1, x2, y2 bbox bw, bh x2 - x1, y2 - y1 # 随机偏移系数控制裁剪框与真实框的IoU区间 if mode train: offset np.random.uniform(-0.2, 0.2) else: offset 0.0 cx (x1 x2) / 2 offset * bw cy (y1 y2) / 2 offset * bh crop_w bw * np.random.uniform(0.8, 1.2) crop_h bh * np.random.uniform(0.8, 1.2) # 裁剪框坐标并夹紧到图像边界内 cx1 int(max(0, cx - crop_w / 2)) cy1 int(max(0, cy - crop_h / 2)) cx2 int(min(w, cx crop_w / 2)) cy2 int(min(h, cy crop_h / 2)) # 二次夹紧防止宽高为0 if cx2 - cx1 2 or cy2 - cy1 2: return None, None, None crop_img img[cy1:cy2, cx1:cx2] # 真实框相对裁剪框的坐标 new_bbox np.array([ x1 - cx1, y1 - cy1, x2 - cx1, y2 - cy1 ], dtypenp.float32) # 计算裁剪框与真实框的IoU iou compute_iou( new_bbox, np.array([0, 0, cx2 - cx1, cy2 - cy1]) ) # 缩放并归一化到[-1, 1] crop_img cv2.resize(crop_img, (size, size)) crop_img crop_img.astype(np.float32) / 127.5 - 1.0 return crop_img, new_bbox, iou这段代码的核心是控制裁剪框与真实框的IoU落在哪个区间从而决定这条样本是负样本、正样本还是部分样本。具体阈值是IoU小于0.3为负样本0.4到0.65之间为部分样本大于0.65为正样本。crop_w乘一个0.8到1.2的随机系数是为了让裁剪框尺寸有扰动模拟人脸在图中大小不固定的情况这也是数据增强的一部分。坐标夹紧到图像边界内是必须的否则OpenCV读到越界坐标会直接报错或者裁剪出的图尺寸不对。要注意的是如果裁剪框在图像边缘真实框相对坐标new_bbox可能有一部分是负值训练时框回归任务用的是相对偏移而不是绝对坐标所以少量负值没问题。但如果落在裁剪框外的面积超过原框面积的50%这条样本的特征已经严重变形直接丢弃更稳妥。另外P-Net训练样本的生成需要覆盖大量纯背景负样本这类负样本不是围绕人脸框裁剪的而是在全图随机取框再判断与所有人脸框的IoU是否都小于0.3。这个全图随机采样逻辑要单独写不能沿用围绕单个人脸框裁剪的思路。3. 从零搭建MTCNN训练代码数据加载、联合训练与损失配比3.1 数据加载与IoU样本划分一条数据流水线同时喂给三个网络MTCNN的训练样本不是一次性生成完毕后就不变了常见做法是先离线生成三级网络的样本文件训练时再按需加载。样本文件一般是纯文本或pickle每行记录图片路径、裁剪框坐标、样本类型标签、关键点坐标。这样后续在训练脚本里只需要一个Dataset类就够了三个网络的区别只在输入尺寸不同。代码# src/dataset.py import torch from torch.utils.data import Dataset import cv2 import numpy as np class MTCNNDataset(Dataset): def __init__(self, sample_list, net_size): super().__init__() self.samples sample_list # 每项为字典 self.net_size net_size def __getitem__(self, idx): s self.samples[idx] img cv2.imread(s[img_path]) # 裁剪区域坐标已经在生成样本时算好 x1, y1, x2, y2 s[crop_box] crop img[y1:y2, x1:x2] if crop.size 0: return self.__getitem__((idx 1) % len(self.samples)) crop cv2.resize(crop, (self.net_size, self.net_size)) crop crop[:, :, ::-1] # BGR - RGB crop crop.astype(np.float32) / 127.5 - 1.0 img_tensor torch.from_numpy(crop).permute(2, 0, 1) # 标签0负样本 1正样本 2部分样本 3关键点样本 cls torch.tensor(s[cls], dtypetorch.long) box torch.tensor(s[box_offset], dtypetorch.float32) landmark torch.tensor(s[landmark_offset], dtypetorch.float32) return img_tensor, cls, box, landmark def __len__(self): return len(self.samples)这个Dataset把样本文件里的裁剪框当作输入训练时只要求该裁剪区域是有效且非零尺寸即可。不同网络训练时传入不同的net_sizeP-Net传12R-Net传24O-Net传48。__getitem__里的递归调用是为了防止某条样本因为图片路径失效导致训练中断直接用下一条替代这在实际跑数据时能省很多排查时间。如果你用cv2.imread读取图片后不做BGR到RGB的转换训练出来的模型在推理时会很依赖颜色通道顺序表现为验证集上效果尚可、实际照片上准确率掉一截。这个转换要放在数据加载里不要依赖某个特定训练环境。归一化用/127.5-1.0还是/255-0.5不重要只要训练和推理保持一致但调整厚度必须在resize之后做顺序反了会引入额外的像素偏移。3.2 三步训练流程P-Net、R-Net、O-Net怎么接力训练与硬采样官方训练策略是先把P-Net训练好再用P-Net生成R-Net的训练样本训练R-Net然后生成O-Net样本训练O-Net。这里有个常见误解不是把三个网络的损失加在一起反向传播而是每个网络单独训练逻辑上更像“流水线式的课程学习”。代码# scripts/train.py 核心训练循环以O-Net为例 def train_one_epoch(model, loader, optimizer, device, alpha): model.train() total_loss 0.0 for imgs, cls, box, lm in loader: imgs imgs.to(device) cls cls.to(device) box box.to(device) lm lm.to(device) cls_pred, box_pred, lm_pred model(imgs) # 分类损失交叉熵 cls_loss F.cross_entropy(cls_pred, cls, reductionnone) # 只统计有效样本忽略类型为-1的 valid (cls 0).float() cls_loss (cls_loss * valid).mean() # 框回归损失只算正样本和部分样本 box_mask ((cls 1) | (cls 2)).float().unsqueeze(1) box_loss F.smooth_l1_loss(box_pred, box, reductionnone) * box_mask box_loss box_loss.sum() / box_mask.sum().clamp(min1) # 关键点损失只算关键点样本 lm_mask (cls 3).float().unsqueeze(1) lm_loss F.smooth_l1_loss(lm_pred, lm, reductionnone) * lm_mask lm_loss lm_loss.sum() / lm_mask.sum().clamp(min1) # 加权合并 loss alpha[0] * cls_loss alpha[1] * box_loss alpha[2] * lm_loss optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(loader)这段代码的关键在于mask的用法。分类损失的valid掩码把所有类型为-1的样本排除因为一个batch里不同类型样本数量往往不平衡直接用mean会被数量多的类型带偏。box_loss的计算里box_mask是(batch, 1)形状乘到(batch, 4)的回归差值上会自动广播这类形状对齐问题在PyTorch里非常容易踩。lm_loss同理只有类型为3的关键点样本才参与。样本类型-1表示该样本在某个任务上不计算损失。比如部分样本只参与框回归不参与关键点回归负样本只参与分类关键点样本三种任务都参与。这个“置-1跳过”的设计是整个多任务训练能稳定的基础很多复现版本把样本类型直接设成0到3忘了部分样本在关键点任务上要屏蔽结果关键点回归被大量“无意义坐标”干扰。硬采样在线难例挖掘发生在O-Net训练时。具体做法是每个epoch结束后用当前O-Net对训练集里所有负样本重新推理把得分高于0.5的负样本抽出来与下一轮的正样本和部分样本混合构成新batch。这样做能让O-Net持续看到它容易犯错的样本而不是只依赖初始生成的静态数据集。实现难点在维护负样本索引设计好数据加载器即可不需要重新生成图片数据。在P-Net训练完成并保存权重后生成R-Net样本的脚本要加载这个权重并运行一轮简化版检测流程把生成候选框、NMS、IoU筛选的过程封装成一个函数。这样做能保证“样本生成-训练-推理”三个阶段使用同一套坐标转换逻辑而不是各自实现一套。我在跑模拟项目X时用torch.no_grad()包住样本生成过程节省了大量显存不然一次生成上千张图的候选框会重复计算梯度显存很快爆掉。3.3 损失函数与关键参数α配比、batch size、学习率怎么设损失函数三个分支的加权系数、batch size、学习率是训练MTCNN时最需要细调的三个东西。下面这张参数表是我按官方思路整理的一组常用配置适合单卡训练网络输入尺寸batch size学习率分类权重框回归权重关键点权重主要训练数据P-Net12x125120.0011.00.50.5负:正:部分 3:1:1R-Net24x242560.0011.00.50.5负:正:部分 3:1:1O-Net48x481280.00051.00.251.0加入硬采样负样本学习率一般配合余弦退火或Adam默认配置使用。MTCNN官方用的是SGD实际工程里用Adam收敛更快缺点是最终精度略低。如果对检测稳定性要求高我一般会回到SGD加动量momentum0.9。学习率不要三个网络都用同一个值O-Net结构更深、输入更大学习率要调低一些否则后期loss会震荡。加权系数alpha的取值不是固定的。O-Net阶段关键点任务更重要可以把关键点权重提到1.0框回归权重降到0.25。我习惯先按上表跑一轮看验证集上三类损失的数值量级再按量级反比调整权重。如果分类loss是0.5、框回归loss是0.01、关键点loss是0.02三者数量级差距大直接把系数配成1.0/1.0/1.0会让分类分支主导整个优化方向框和关键点学不动。4. MTCNN推理流水线图像金字塔、NMS与关键点坐标还原的完整代码4.1 图像金字塔构建与P-Net滑窗候选框生成推理时MTCNN的第一步是构建图像金字塔目的是检测不同尺寸的人脸。如果直接把原图喂给P-Net它只能检测到输入缩小的尺度下约12x12左右的人脸区域对于原图中尺寸较大的人脸反而会漏掉。通过把原图按多个尺度缩小P-Net就能在不同尺度上找到大小不同的人脸。代码# src/detector.py 推理核心简化版 import cv2 import numpy as np import torch class MTCNNDetector: def __init__(self, pnet, rnet, onet, devicecpu): self.pnet pnet.eval().to(device) self.rnet rnet.eval().to(device) self.onet onet.eval().to(device) self.device device # 三个网络各自的置信度阈值 self.threshold [0.6, 0.7, 0.7] self.factor 0.709 # 金字塔缩放因子 self.min_face_size 20 # 最小人脸尺寸 def _pyramid(self, img): h, w img.shape[:2] min_side min(h, w) scales [] current self.min_face_size / min_side while current 1: scales.append(current) current * self.factor return scales def _pnet_forward(self, img, scale): h, w img.shape[:2] nh, nw int(h * scale), int(w * scale) resized cv2.resize(img, (nw, nh)) tensor torch.from_numpy(resized).permute(2, 0, 1).float().to(self.device) tensor (tensor / 127.5 - 1.0).unsqueeze(0) cls, box, _ self.pnet(tensor) # box: 1x4xHxW return cls, box, nw, nh参数说明min_face_size决定金字塔的起点常见取20或24。取值越小越能检出远距离小脸但P-Net的候选框数量会增大R-Net和O-Net的处理时间也相应变长。factor取0.709时每层金字塔的面积差约为一半这个值能平衡速度与召回率。如果你的场景全是中近景人脸可以把min_face_size提高到40推理速度能提升30%以上。P-Net的下采样倍数决定每个输出位置对应的原图区域大小。假设缩放后的图是WxH经过P-Net后特征图尺寸近似为W/2 x H/2每个输出位置对应原图上一个约12x12的滑窗。恢复候选框坐标时把特征图坐标乘以2再乘以当前尺度的缩放倍率能得到近似的原图坐标。由于padding和卷积步长的影响这个映射会有少量偏移工程上通常再加一个固定的边界修正项或者直接用P-Net输出的框回归分支来校正。4.2 NMS与框校正候选框从P-Net到R-Net的精修NMS是人脸检测里绕不开的步骤作用是把重叠度过高的检测框合并只留下置信度最高的一个。MTCNN链路里至少要做三次NMSP-Net输出后、R-Net输出后、O-Net输出后。三次的IoU阈值可以不同P-Net阶段候选框比较粗IoU阈值放宽到0.5R-Net和O-Net阶段收严到0.6或0.7避免把相邻人脸错误合并成同一个框。代码def nms(boxes, scores, threshold, methodunion): # boxes: Nx4, scores: N if len(boxes) 0: return [] x1 boxes[:, 0] y1 boxes[:, 1] x2 boxes[:, 2] y2 boxes[:, 3] areas (x2 - x1) * (y2 - y1) order scores.argsort()[::-1] keep [] while order.size 0: i order[0] keep.append(i) xx1 np.maximum(x1[i], x1[order[1:]]) yy1 np.maximum(y1[i], y1[order[1:]]) xx2 np.minimum(x2[i], x2[order[1:]]) yy2 np.minimum(y2[i], y2[order[1:]]) inter np.maximum(0.0, xx2 - xx1) * np.maximum(0.0, yy2 - yy1) if method union: iou inter / (areas[i] areas[order[1:]] - inter) else: iou inter / np.minimum(areas[i], areas[order[1:]]) inds np.where(iou threshold)[0] order order[inds 1] return keep这里要特别提醒nms里的order[inds 1]是因为order[1:]已经去掉了当前最置信的框inds索引对应的是order[1:]里的位置要映射回order得加1。很多复现版本在这里写错导致NMS结果不稳定视频检测时同一张脸出现两个框来回跳。框校正是MTCNN里容易被忽略的细节。P-Net和R-Net输出的不是边框坐标而是边框相对于当前候选框的偏移量需要通过线性变换映射回原图坐标。常见映射公式是原始坐标 候选框坐标 偏移量 * 候选框宽高。这个变换在每个stage的候选框坐标上都要做不能直接叠加NMS后的框再做一次否则边界估算误差会不断累积。4.3 O-Net输出与关键点坐标还原最终检测结果怎么组装候选框经过R-Net筛选后进入O-Net做最终判定。O-Net不仅输出分类得分和框回归还会输出5个关键点的偏移量。这些偏移量的单位是相对于O-Net输入尺寸的比例还原关键点坐标时要乘以裁剪区域的实际宽高再加上裁剪框左上角坐标。代码def detect_face(self, img): # 假设已经有了pnet_boxes这里展示RNet/ONet的精修流程 rnet_boxes [] for box in pnet_boxes: x1, y1, x2, y2 box[:4] crop img[int(y1):int(y2), int(x1):int(x2)] if crop.size 0: continue crop cv2.resize(crop, (24, 24)) tensor preprocess(crop).unsqueeze(0) cls, box_offset, _ self.rnet(tensor) score torch.softmax(cls, dim1)[0, 1].item() if score self.threshold[1]: # 框偏移映射回原图 new_box self.apply_offset(box, box_offset[0].cpu().numpy()) rnet_boxes.append([*new_box, score]) keep nms(np.array(rnet_boxes)[:, :4], np.array(rnet_boxes)[:, 4], 0.6) rnet_boxes [rnet_boxes[i] for i in keep] final_boxes [] for box in rnet_boxes: x1, y1, x2, y2 box[:4] crop img[int(y1):int(y2), int(x1):int(x2)] crop cv2.resize(crop, (48, 48)) tensor preprocess(crop).unsqueeze(0) cls, box_offset, lm_offset self.onet(tensor) score torch.softmax(cls, dim1)[0, 1].item() if score self.threshold[2]: new_box self.apply_offset(box, box_offset[0].cpu().numpy()) final_boxes.append(self.pack_result(new_box, score, lm_offset)) return final_boxes这段代码把R-Net和O-Net的处理统一成循环每个候选框只在它的裁剪区域上做一次forward所以需要把裁剪图缩放到对应网络输入尺寸。preprocess函数负责把numpy数组转成CHW张量并归一化归一化方式必须和训练时一致。候选框数量在几百个时逐个forward可以接受但P-Net阈值放很低导致候选框上千时建议把所有裁剪区域放进一个batch做一次forward能大幅降低延迟。关键点坐标还原是另一个返工高发点。lm_offset是网络在全连接层之后输出的归一化偏移常见表示的坐标范围是[-1, 1]还原像素坐标时先按(offset * 0.5 0.5)换算到0到1再乘以裁剪区域的宽和高最后加上裁剪框左上角坐标。有些开源实现没做这个反归一化导致关键点全部挤在裁剪框左上角附近肉眼看起来就是五官被压到了左下角。所有裁剪图在送入R-Net和O-Net前必须保持与训练时相同的处理顺序。最常见的坑是训练时用(img - 127.5) / 128推理时误用成(img / 255) - 0.5两者虽只差一个线性变换但模型找到的特征分布会完全错位。我把这个检查项写进了自己的测试清单每次改完推理代码先对同一张图片跑一遍训练代码的数据加载分支和推理代码比对中间tensor的数值差异超过0.01就说明预处理链路不一致。5. MTCNN训练与推理中的避坑指南损失不收敛、框漂移、关键点错位5.1 现象一训练损失不下降准确率一直卡在某个值现象P-Net训练了一百个epoch验证集分类准确率始终在80%左右上不去损失曲线来回震荡换学习率也不管用。原因最常见的原因是样本类型比例失衡。负样本数量如果远小于正样本网络会偏向把所有输入都判定为人脸分类损失虽然能降但框回归和关键点回归会因为缺少真实负样本而学不好。另一个常见原因是IoU划分标准不对负样本的IoU阈值用了0.5而不是0.3导致大量“部分人脸”被当成负样本网络学到的边界很混乱。解决把生成数据脚本里负样本的IoU阈值改回0.3并统计样本文件里正负样本比例把负样本数量提到正样本的3倍左右部分样本数量接近正样本。如果还不收敛重点排查数据增强里是否加了过强的亮度扰动。MTCNN对光照的鲁棒性来自多尺度训练而不是靠随机亮度变换硬掺亮度增强过猛反而会让早期的P-Net学不到稳定的边缘特征。5.2 现象二检测框在视频里抖动边界忽大忽小现象单张图片检测结果正常但视频连续帧里同一个人的检测框大小和位置不停跳动看起来像人在“抖动”。原因MTCNN每个stage的框回归是对离散滑窗位置做的人脸在相邻帧里的位置差异会让不同尺度的候选框被选中。帧间没有做任何时序平滑也是主要原因。另外如果min_face_size设得太小远处的小脸被检出后下一帧人脸靠近又被检出另一个尺度的框视觉上就是大小跳变。解决最简单有效的办法是给最终检测框加一阶低通滤波当前帧坐标 上一帧平滑坐标 * 平滑系数 当前帧原始坐标 * (1 - 平滑系数)平滑系数取0.6到0.8之间。另一种做法是对连续三帧检测框做中值滤波选择中位数坐标能去掉单帧的抖动尖峰。注意滤波只能在每个stage输出之后做在金字塔尺度之间做会引入坐标换算误差。在某视频人脸识别应用里跑MTCNN时我被这种抖动折磨了很久加大NMS阈值、提高置信度都没用最后发现是resize时用了INTER_AREA插值相邻帧的裁剪内容有细微差异换成INTER_LINEAR后抖动明显减轻。这个偏玄学但INTER_AREA在多尺度缩小时的响应曲线确实不平滑替换成本很低值得一试。5.3 现象三关键点检测明显偏离五官位置现象检测框位置基本准确但关键点要么整体偏移要么左眼落在了眉心位置右嘴角跑到鼻翼旁边。原因多数情况下不是网络问题而是坐标还原写错了。关键点输出是归一化偏移有些实现把它当绝对坐标用有些实现把它乘错了宽高。另一个常见原因是数据生成阶段关键点样本的裁剪框没有把关键点完整包含进来导致网络看到的训练样本里关键点经常越界最终学到的关键点位置是“模糊平均”。解决先做离线验证选一张正脸图片用训练好的O-Net输出关键点直接读取lm_offset的数值范围。如果范围在0到1之间说明输出已经是归一化比例如果范围在-1到1之间就要用(offset 1) / 2换算成0到1再乘宽高。这步搞清楚之后再去检查数据生成代码里关键点相对坐标的存储方式保证两者一致。如果训练数据里关键点样本太少比如不到正样本的十分之一关键点回归任务会被分类任务压制建议把关键点样本数量提到和正样本同级。5.4 现象四显存不足batch size调小后模型反而不收敛现象跑O-Net训练时batch size设到256报显存不足改成64后训练loss波动变大收敛速度明显变慢最后精度也变差。原因batch size减小后每个batch内正样本数量变少损失函数的梯度估计方差变大。尤其对O-Net这种输出分支较多的网络影响明显不是模型结构有问题而是采样分布被打散了。解决不要单纯缩小batch size优先尝试混合精度训练。torch.cuda.amp通常能把显存占用降低一半O-Net这种小模型收益明显。如果显存实在不够可以设置dataloader的drop_lastTrue并按样本类型组织stratified sampler确保每个batch都包含足够的正样本、部分样本和关键点样本。用stratified sampler后64的batch size也能跑出接近256 batch size的效果。训练O-Net时每张裁剪图都要先resize到48x48如果数据加载直接用cv2.resize逐个处理GPU利用率会被CPU瓶颈拖累。把resize放到多进程worker里做num_workers设成和CPU核心数相当能明显缓解“GPU等CPU”的情况。损失函数的加权系数在这个阶段不用大改因为混合精度和采样分布是主要矛盾。5.5 现象五暗光和逆光场景下人脸完全检不出来现象办公室正常光照下人脸检测稳定到了傍晚或逆光场景检测数量急剧下降有时整张脸都检测不到。原因MTCNN训练集以自然光照下的WIDER Face为主模型对极端光照的鲁棒性不是特别强。但更常见的原因是输入到P-Net的图没有做任何预处理暗部区域的人脸对比度太低缩放到12x12后纹理信息几乎丢失。解决先做一次CLAHE局部对比度增强再送入检测流水线。clipLimit设2.0、tileGridSize设(8,8)对小目标检测改善通常很明显。另外推理时不直接使用BGR原始图而是同时保留彩色图和灰度图对灰度图单独检测一次二者结果做并集适合对召回率要求高的场景。如果模型已经导出为ONNXCLAHE可以在金字塔构建前一次性完成不会对每层金字塔重复计算性能开销很小。6. 把MTCNN代码改造成工程可用模型轻量化与部署优化6.1 ONNX导出与推理摆脱PyTorch依赖训练验证完三级网络权重还停在PyTorch格式业务服务端可能没有GPU也没有PyTorch环境。常见做法是导出ONNX再用ONNX Runtime推理。以下是P-Net的导出示例# scripts/export_onnx.py import torch from src.models import PNet pnet PNet() pnet.load_state_dict(torch.load(weights/pnet.pt, map_locationcpu)) pnet.eval() dummy torch.randn(1, 3, 720, 1280) # 任意大于12的尺寸 torch.onnx.export( pnet, dummy, weights/pnet.onnx, input_names[input], output_names[cls, box, landmark], dynamic_axes{input: {2: height, 3: width}}, opset_version11 )ONNX导出时dynamic_axes是关键因为P-Net是全卷积网络推理时输入尺寸会随图像金字塔变化。如果固定输入尺寸每个金字塔尺度都要导出一个模型文件非常笨重。opset_version设为11是为了兼容老版本ONNX Runtime新版本同样能识别。ONNX Runtime推理时对每个尺度传入不同尺寸的tensor即可不需要重新导出模型。如果业务基于TensorRT部署也可以在ONNX导出后直接转TRT引擎。这一步做下来服务端不再需要Python和PyTorch用其他语言都能直接集成。6.2 检测速度优化多线程处理与多任务复用ONNX Runtime本身很轻但在CPU上跑还是不够快。这里介绍两个工程技巧。第一个是多尺度候选框并行计算图像金字塔各尺度的缩放互不依赖可以用线程池同时跑P-NetR-Net和O-Net阶段依赖P-Net的候选框不能直接并行但候选框之间的批次推理可以放进一个batch。第二个是设置一个推理温度当视频连续帧的人脸数量没有变化时间隔几帧跳过R-Net和O-Net只跑P-Net做粗跟踪人脸如果还在候选框集合里就用上一帧O-Net结果替代。这些优化做下来一个1920x1080视频流在普通CPU上能从每帧180毫秒降到60毫秒左右但代价是检测结果有轻微滞后。如果你做的是人脸识别前置步骤建议保留三级网络完整链路毕竟漏检比延迟更致命。以我自己的习惯来说完成一套MTCNN代码后先会拿一张多人合影做一次可视化输出把P-Net的中间候选框、R-Net筛选后的保留框、O-Net的最终框叠在同一张图上看看每一级到底滤掉了什么。这个习惯帮我排查过好几次数据生成阶段的坐标换算错误比直接看最终结果有效得多。希望这篇笔记能帮你在MTCNN这条路上少踩几个坑把完整代码跑通并真正用起来。本文还有配套的精品资源点击获取
