做毕设那会儿我最早的想法特别朴素找个人脸识别的开源代码跑通、录个演示视频、写份文档齐活。真动手才发现坑一个接一个——数据集里同一个人的照片被分到了训练集和验证集验证准确率飙到 99%答辩前一晚自己拿手机试认错人认到怀疑人生好不容易把模型训出来摄像头一开帧率掉到 8 帧演示现场卡成 PPT更离谱的是调了三天 loss 不降最后发现是标签文件里多了一个空格。这篇就把基于深度学习的人脸识别这条链路从设计、原理、数据、训练到集成演示整条捋一遍重点讲那些文档里不写、但你一定会遇到的东西。不管你是刚定题、准备动手还是模型跑完正在做系统集成应该都能从里面抠出点能直接抄的东西。全文按为什么这么设计—核心原理—数据准备—训练调优—系统落地—排错的顺序走每一节我都会把参数背后的账算给你看。1. 项目整体架构与技术选型思路1.1 先把毕设需求翻译成工程需求很多人一上来就冲着业界最强模型去结果三个月过去了还在调环境。我建议第一步先把题目翻译成三条硬约束时间通常 3 到 4 个月还得写论文、算力大概率是一张消费级显卡甚至只有实验室公用机器、可演示性答辩现场要能实时跑起来。这三条约束决定了你不可能去训一个百亿级的大模型也不可能从零设计骨干网络。基于这个前提我在这个项目里把需求拆成了四块一是人脸检测从图片或视频帧里框出人脸位置二是关键点定位与对齐把歪头、侧脸、缩放不一致的人脸摆正成统一规格三是特征提取把人脸压成一个固定维度的向量也就是 embedding四是比对与检索用向量之间的距离判断是不是同一个人。这四块在学术上可以合并成一个端到端网络但在毕设场景里分成流水线做好处是每一块都能单独调试、单独出实验结果、单独写进论文出问题也能快速定位是哪一环崩的。这里有个很现实的取舍端到端方案听起来高级但你很难解释清楚为什么这个网络自己学会了找眼睛而分阶段方案你可以画出对齐前后的对比图、画出不同损失函数下的特征分布散点图这些图在论文里都是实打实的加分项。毕设评审看的不是你用了多新的架构而是你能不能把一件事讲明白、把实验做扎实。还有一点容易被忽略可复现性。答辩老师很可能会问你这个结果我能不能跑出来。所以从第一天起就要把随机种子、数据划分文件、配置文件全部固定下来写成固定格式存好。我吃过亏第二次跑同一个配置结果差了 2 个点查了一晚上发现是数据加载时的 shuffle 没设种子。1.2 三阶段流水线还是端到端把账算清楚流水线方案检测 → 对齐 → 识别和端到端方案一个大网络直接从原图出特征最核心的差别在于对齐。人脸识别的准确率高度依赖姿态归一化同一张脸旋转 15 度特征距离可能就翻倍。端到端网络理论上能自己学出空间变换但需要海量数据和很长的训练周期才能收敛到这个能力毕设的算力根本喂不饱。所以我选了流水线。具体到每一步的选型逻辑是这样的环节候选方案毕设场景下的取舍理由人脸检测传统 Haar 级联 / 轻量 CNN 检测器 / 大型检测器传统方法在侧脸和遮挡下漏检严重大型检测器显存和速度吃紧选轻量 CNN 检测器最平衡关键点检测器自带五点 / 单独的关键点网络优先用检测器自带五点少一个模型就少一处故障点识别骨干轻量网络 / 中型残差网络论文实验用中型网络保证精度演示用轻量网络保证帧率两套权重损失函数Softmax / 带间隔的度量学习损失带角度间隔的损失在中小数据集上提升明显是当前主流做法比对余弦相似度 / 欧氏距离特征做 L2 归一化后两者等价余弦更直观阈值更好解释这张表看着简单但每一行背后都对应我踩过的坑。比如检测器选型我一开始用的传统级联方法在自己拍的测试图上还行换到公开数据集的侧脸子集上召回率直接掉到 60% 多视频里人一转头就丢框演示效果极差。换成 CNN 检测器之后同样数据召回率上到 95% 以上代价是单帧耗时从 15ms 涨到 40ms这个后面用跳帧检测解决了。1.3 硬件与框架别让环境问题吃掉两周框架我选的是 PyTorch理由很实际动态图调试方便社区里人脸识别的开源实现多出问题搜得到答案。版本上建议锁死别用最新版尤其是 CUDA 和 cuDNN 的组合新版本经常和某些算子不兼容。我当时的组合是 Python 3.8 PyTorch 1.10 CUDA 11.3这套组合在各种机器上装下来最稳。显存这块要提前算账。以 112×112 输入、batch size 256、中型残差骨干为例模型参数加梯度加优化器状态大概占用 3 到 4 GB再加上中间激活值单卡 8 GB 能跑但很紧12 GB 比较舒服。如果你想上更大的 batch可以用混合精度训练显存大约能省 30% 到 40%速度还能快一些但要注意损失函数里的数值稳定性尤其是带间隔的损失在 fp16 下容易出现梯度溢出建议用带损失缩放的混合精度方案。注意不要一上来就开混合精度。先用 fp32 把整个流程跑通、确认 loss 正常下降再切 fp16 对比。我见过不少人混合精度一开 loss 就变 NaN然后花几天怀疑人生其实关掉就好了。另一个坑是数据加载。人脸数据集动辄几万到几十万张图如果每次 epoch 都从磁盘读原图再解码GPU 会大量时间空转。我的做法是提前把对齐后的人脸裁成 112×112 存成打包格式训练时直接按索引读配合多进程加载吞吐能翻好几倍。这一步看起来是工程细节但它直接决定了你能不能在一个晚上跑完 20 个 epoch。2. 核心原理拆解人脸识别到底在算什么2.1 检测、对齐、特征提取、比对这四件事分别在解决什么把这四步用生活化的方式讲一遍后面调参你就知道自己在动哪根弦了。检测相当于在一张合照里用手指点出哪几个位置有人脸输出的是矩形框坐标和置信度。它的难点在于尺度变化近处大脸、远处小脸、姿态变化侧脸、低头、遮挡口罩、手挡。对齐是把检测到的框里的人脸摆正。做法是找到五个关键点左右眼中心、鼻尖、左右嘴角然后用相似变换把这张脸映射到一个标准模板上通常是 112×112。为什么是五个点因为五个点足以确定平移、旋转、缩放这四个自由度再多就是锦上添花。为什么是 112×112这是主流开源模型训练时用的输入尺寸你用别的尺寸预训练权重就对不上。特征提取是把 112×112 的人脸图压成一个向量常见是 512 维。这个向量有个关键性质同一个人的不同照片向量要尽量接近不同人的照片向量要尽量远离。这一步是整个项目的灵魂损失函数的设计全在服务这个目标。比对最简单两个向量算余弦相似度超过阈值就判为同一人。注意1:1 验证两张图比是不是同一人和 1:N 检索一张图在底库里找是谁用的阈值不一样后者要严格得多因为底库越大误匹配的概率越高。这四步里对齐是最容易被新手跳过的也是最影响结果的。我做过对比实验同一批测试图不做对齐直接缩放1:1 验证在误接受率 0.1% 时的通过率大概是 88%加上五点对齐之后同样的指标能到 96% 以上。八个点的差距全在摆正这两个字上。2.2 从普通分类损失到角度间隔损失为什么要为难模型一开始我用的是最普通的 Softmax 分类。数据集里有多少人就有多少类模型学的是这张脸属于第几号人。训练集上准确率能刷到 99.9%但把中间层特征拿出来算距离同一个人的两张照片有时候还不如不同人的近。原因是 Softmax 只要求分对类不要求类内紧凑、类间分离它优化的决策边界在角度空间里是均匀分布的没有额外的间隔压力。后来学术界一路演进从加性角度间隔到加性余弦间隔再到角度间隔核心思想都是给正确类别的 logit 加一个惩罚项逼模型把类内距离压得更紧、类间留出更大的空隙。目前用得最多的是角度间隔那一版核心公式长这样$$ L -\frac{1}{N}\sum_{i} \log \frac{e^{s \cdot \cos(\theta_{y_i} m)}}{e^{s \cdot \cos(\theta_{y_i} m)} \sum_{j \neq y_i} e^{s \cdot \cos \theta_j}} $$拆开看$s$ 是缩放因子控制分布的陡峭程度$m$ 是角度间隔控制惩罚力度。$\theta_{y_i}$ 是特征和正确类别权重的夹角。加上 $m$ 之后模型必须把夹角压到 $\theta m$ 才能算对相当于人为抬高了及格线。参数怎么定业界实践里 $s64$、$m0.5$ 是比较通用的起点。$s$ 太小比如 16会让分布太平梯度信号弱收敛慢$s$ 太大比如 128容易训崩。$m$ 太小比如 0.2几乎没效果太大比如 0.8前期根本训不动因为模型一开始连基本分类都没学会你就要求它挤到那么紧梯度会爆炸。我自己的经验做法是分两段训前几个 epoch 用 $m0$退化成普通余弦 Softmax让模型先学会基本的人脸分类等 loss 稳定了再把 $m$ 逐步升到 0.5。这个过程叫 margin warmup实现起来就是根据当前 epoch 线性增加 $m$ 的值。实测下来比一上来就 $m0.5$ 收敛快大约 30%而且不容易崩。2.3 评价指标别只盯着准确率新手最爱看的指标是训练集准确率和验证集准确率这两个在 1:1 验证任务上意义有限因为正负样本比例是可以人为构造的。真正有说服力的指标有三个1:1 验证的通过率给定一对图模型判断是否为同一人在固定的误接受率比如千分之一下能达到多高的通过率。这个指标对阈值不敏感能真实反映特征质量。1:N 检索的首位命中率拿一张查询图在底库里找最像的那个看是不是本人。这个指标受底库规模影响很大底库 100 人和 10000 人的结果没法比论文里必须写清楚底库规模。ROC 曲线和 AUC把不同阈值下的误接受率和通过率画出来直观展示模型的整体判别能力。答辩的时候这张图很管用。具体算的时候有个细节1:1 验证的正负样本对要按固定比例构造比如正样本对 3000 对、负样本对 3000 对然后穷举所有阈值算通过率和误接受率。如果负样本太少误接受率的分母不够算出来的千分之一指标波动特别大。还有一个几乎所有人都会犯的错误按图片划分训练集和验证集而不是按身份划分。同一个人的 20 张照片18 张进训练、2 张进验证模型在训练时已经见过这个人验证时当然分得对。我第一版就是这么干的验证准确率 99.2%自我感觉良好结果换一批从没见过的人的脸来测准确率掉到 70% 以下。这个知识点一定要写进论文里它是数据泄漏的典型案例评审很看重你有没有意识到。3. 数据集准备与预处理实操3.1 数据从哪来以及必须提前想清楚的合规问题毕设的数据来源一般就三条路公开学术数据集、自己采集、网络素材。我的建议是优先用公开学术数据集做训练和评测自己采集的数据只作为演示补充。原因很简单公开数据集的划分标准、评测协议都是现成的你写论文时有参照评审也认。自己采集的话涉及到一个绕不开的问题隐私和授权。凡是涉及真人面部数据必须让被采集者知情同意明确数据用途、保存期限和销毁方式不要把采集到的人脸数据上传到任何公开平台论文里展示样例图要打码或者用自己本人的照片并注明授权。这些不是形式主义是基本底线。我见过有人直接把同学的照片打包丢进公开仓库这事儿真不能干。公开数据集的选择要考虑三点身份数量够不够太少了模型学不到判别性、每人图片数够不够太少了对齐和增强没空间、场景多样性够不够有没有侧脸、光照变化、年龄跨度。一般建议身份数在几千到几万的量级比较合适每人 10 到 50 张。数据量太小比如只有几百人的话不建议从零训应该用预训练模型做微调。注意使用任何数据集前先看清楚它的许可条款有些数据集只允许学术研究用途商用需要另行授权。论文里要写清楚数据来源和许可情况这是学术规范的一部分。3.2 清洗、划分和类别不均衡处理拿到数据后第一步不是写代码是清洗。清洗要做的事包括删除损坏文件、删除人脸检测失败的样本、删除同一张图重复出现的样本去重用感知哈希就够了、删除明显不是人脸的误标注。这一步做完通常会损失 3% 到 8% 的数据别心疼。第二步是划分。按身份划分训练集、验证集、测试集的身份完全不重叠。比例建议 8:1:1 或者 7:1:2测试集的身份数不要少于 500否则指标波动大。划分结果存成三个文本文件每行是图片路径 身份编号以后所有实验都用这套划分保证可比性。第三步是处理不均衡。人脸数据集天然不均衡有的人 50 张有的人 8 张。轻度不均衡最多和最少的比例在 10 倍以内可以不管重度不均衡会导致模型对样本多的人过拟合。处理方式有几种对样本少的人做过采样、用带类别权重的损失、或者干脆裁掉样本过少的身份。我一般选第三种把少于 8 张的身份剔除简单粗暴但有效。3.3 五点对齐的具体实现这部分代码网上版本很多但很多人抄完了不知道每一步在干什么。核心逻辑是准备一组标准模板点然后对每张图上检测到的五个点做相似变换让它们尽量和模板点重合。标准五点模板112×112 输入通常是这样一组坐标左右眼、鼻尖、左右嘴角依次排列。做法是用 OpenCV 的相似变换估计函数传入源点和目标点拿到 2×3 的变换矩阵再对原图做仿射变换。import cv2 import numpy as np # 112x112 标准五点模板 ARC_TEMPLATE np.array([ [38.2946, 51.6963], # 左眼 [73.5318, 51.5014], # 右眼 [56.0252, 71.7366], # 鼻尖 [41.5493, 92.3655], # 左嘴角 [70.7299, 92.2041], # 右嘴角 ], dtypenp.float32) def align_face(img, landmarks, out_size112): landmarks: shape (5,2)检测器输出的五点坐标 landmarks np.asarray(landmarks, dtypenp.float32) # 只允许平移、旋转、等比缩放不允许错切保证人脸比例不变形 M, _ cv2.estimateAffinePartial2D(landmarks, ARC_TEMPLATE, methodcv2.LMEDS) if M is None: return None aligned cv2.warpAffine(img, M, (out_size, out_size), borderValue0.0) return aligned这里有个关键选择用estimateAffinePartial2D而不是estimateAffine2D。后者允许错切shear在关键点有噪声的时候会把脸拉伸变形虽然能更精确地贴合模板点但会把人的脸型改掉反而损害识别。前者只保留旋转、缩放、平移更稳。再一个细节是边缘填充。变换后人脸可能超出图像边界borderValue设成 0黑色比较合适不要用边缘复制那会在脸的边缘造出一条假的纹理干扰特征提取。对齐完建议做一次肉眼检查随机抽 50 张对齐后的图拼成网格看一眼。我见过不少人对齐代码写错了坐标顺序把嘴角当成眼睛训出来的模型也不报错就是精度上不去查了两周才发现。3.4 数据增强哪些能用哪些是雷人脸识别的增强比通用图像分类保守得多因为很多增强会破坏身份信息。能用的随机水平翻转。争议比较大有人认为人脸左右不对称翻转会引入噪声我的实测是对精度影响很小正负 0.2 个点以内但对小数据集有正则效果可以用。随机擦除Random Erasing。模拟遮挡提升鲁棒性效果明显建议开。亮度、对比度、饱和度的小幅抖动。光照变化是人脸识别的主要难点之一这个必须开但幅度别太大我一般控制在 0.3 以内。轻微的颜色通道扰动。幅度控制在 10 以内。慎用或别用的大角度旋转超过 15 度。对齐这一步已经把姿态归一化了再转就重复了而且会造出不自然的样本。随机裁剪幅度太大。会把眼睛或嘴巴裁掉身份信息丢失。高斯模糊。适度模糊模拟远距离或运动模糊有用但强度不好控制容易把五官糊成一团。还有一个坑增强的强度和你的数据集规模是负相关的。数据集小的时候增强是救命稻草数据集大的时候过强的增强反而降低收敛速度。我一般在训练前期用强增强、后期减弱这个策略叫增强退火实现起来就是在数据加载器里根据 epoch 动态调整概率。4. 模型训练与调优实战4.1 骨干网络论文用一套演示用一套骨干网络的选择要在精度和速度之间找平衡。中型残差网络约 4300 万参数精度好、生态成熟、预训练权重好找适合作为论文里的主模型轻量级网络100 万参数量级精度低 1 到 2 个点但推理速度快 5 倍以上适合实时演示。我当时是两套都训了。中型网络单次训练 20 个 epoch 大概 6 到 8 小时轻量网络 2 小时左右。论文里做消融对比用中型网络的实验结果演示系统里换轻量网络的权重。注意两套网络的输入对齐方式必须完全一致否则换权重的时候会对不上。参数量怎么估简单记法卷积层的参数量是输入通道 × 输出通道 × 卷积核面积全连接层是输入维度 × 输出维度。比如一个 3×3 卷积输入 64 通道、输出 128 通道参数量就是 64×128×9≈74 万。特征提取网络最后的分类层输入 512 维、类别数 1 万参数量就是 512 万这一层往往比整个骨干还大。所以很多实现会在分类层前面加一个维度压缩层把 512 压到 512 或者更低顺便做特征归一化。还有一个容易被忽略的点BatchNorm 的统计量。如果训练用大 batch推理时用的小 batch 或者单张图BN 的滑动统计量和实际分布不匹配会导致精度下降。解决办法是训练结束前用整个训练集跑一遍前向重新标定 BN 的均值和方差或者直接用 GroupNorm 代替。这个细节在小 batch 训练时影响特别大我踩过一次训练精度 99%、推理精度 85%查了很久才发现是 BN 的问题。4.2 超参数把每一项的账算给你看超参数我的取值依据调整方向输入尺寸112×112主流预训练权重约定的输入改成 128 需重训收益约 0.5 个点batch size256单卡 12G 显存下的安全上限显存足够可到 512学习率同步放大优化器SGD momentum 0.9人脸识别任务上比 Adam 泛化更好大 batch 时可用 LAMB初始学习率0.1与 batch size 256 匹配batch 翻倍学习率也翻倍学习率调度线性预热 余弦退火前期稳、后期细预热 1000 步足够权重衰减5e-4抑制过拟合小数据集可加到 1e-3损失缩放因子 s64业界经验值训练不稳可降到 32角度间隔 m0.5业界经验值类内差异大可升到 0.6训练轮数20 到 30收敛后继续训收益很小观察验证指标决定学习率和 batch size 的关系这里展开说一下。很多人知道batch 翻倍、学习率翻倍这条经验但不知道它的适用条件它推导自线性缩放假设前提是优化器是 SGD 且没有自适应机制。如果你用 Adam这条规则不成立应该保持学习率不变或者只微调。而且 batch 太大超过 1024的时候线性缩放会失效得改用平方根缩放。学习率预热也很关键。前 1000 步把学习率从 0 线性升到目标值目的是避免训练初期参数剧烈震荡。我试过不预热前两个 epoch 的 loss 曲线像心电图甚至偶尔会冲高然后回落加了预热就平滑得多。4.3 损失函数的落地实现和调试细节带角度间隔的损失实现起来有几个细节抄代码容易抄错。核心步骤是特征和权重都做 L2 归一化算余弦相似度用反余弦求出角度给正确类别的角度加上间隔再乘缩放因子最后走交叉熵。import torch import torch.nn as nn import torch.nn.functional as F import math class AngleMarginLoss(nn.Module): def __init__(self, in_features, num_classes, s64.0, m0.5): super().__init__() self.s s self.m m self.weight nn.Parameter(torch.randn(num_classes, in_features)) nn.init.xavier_uniform_(self.weight) def forward(self, feat, label): # 特征和权重都归一化余弦相似度才成立 feat F.normalize(feat, dim1) w F.normalize(self.weight, dim1) cos feat w.t() # 反余弦必须在 [-1eps, 1-eps] 内否则梯度是 nan cos cos.clamp(-1 1e-7, 1 - 1e-7) theta torch.acos(cos) one_hot F.one_hot(label, num_classescos.size(1)).float() # 只在正确类别上加间隔其余类别不变 target_logit torch.cos(theta self.m) logits cos * (1 - one_hot) target_logit * one_hot return F.cross_entropy(self.s * logits, label)这里clamp那一步千万别省。余弦值在浮点运算下可能略微超过 1acos返回 NaN然后整个 loss 变 NaN训练直接崩。这个 bug 我见过至少三次每次都是别人来问loss 突然变 nan 了八成就是这个原因。另外要注意权重初始化。分类层的权重如果是全零或者全相同所有类别的余弦相似度一样梯度对称模型学不动。用 Xavier 或者正态分布初始化标准差控制在 0.01 左右。调 margin 的时候建议画一张 loss 曲线对比图$m0$、$m0.3$、$m0.5$ 各跑 5 个 epoch看收敛速度和最终 loss。你会发现 $m$ 越大最终 loss 越高因为任务更难但验证指标更好。这两个数不能混为一谈有人看到 loss 变高就以为训坏了其实是正常的。4.4 训练过程怎么盯看什么曲线判什么信号训练启动后每 100 步打印一次 loss 和准确率每个 epoch 结束在验证集上算一次 1:1 验证通过率画成曲线。判断训练是否健康看几个信号健康的loss 在 500 步内明显下降训练准确率稳步上升20 个 epoch 内到 95% 以上验证通过率跟随上升和训练准确率的差距在 3 个点以内。有问题的loss 前 200 步完全不降——检查学习率是不是太小、数据标签是不是错位、归一化是不是漏了loss 剧烈震荡——学习率太大或者 batch 太小训练准确率涨但验证不涨——过拟合或者数据泄漏loss 降到某个值就纹丝不动——margin 太大或者学习率衰减太快。还有个反直觉的现象训练准确率不需要刷到 100%。带间隔的损失下训练准确率停在 97% 到 99% 很正常因为间隔机制让部分样本始终不够格。如果训练准确率很快就到 100%反而是危险的信号说明数据太简单或者泄漏了。我习惯在训练中途保存多个 checkpoint比如每 5 个 epoch 存一次然后用验证集挑最好的那个。注意不要用测试集挑模型那是另一种数据泄漏。测试集只在最后用一次用完就封存。4.5 推理加速从论文模型到能跑的 Demo论文模型训完只是第一步要做成演示系统得考虑速度。几个层次的优化模型层面换成轻量骨干剪枝掉不重要的通道量化到 int8。量化要注意人脸特征对数值精度敏感int8 量化后精度可能掉 1 到 2 个点需要做量化感知训练来补偿。图层面导出成 ONNX然后用推理引擎优化。导出时注意固定输入尺寸和 batch动态尺寸会拖慢推理。流程层面这是最有效的。检测器每帧跑太慢改成每 5 帧检测一次中间帧用简单的跟踪算法比如光流或者卡尔曼滤波推算位置。我实测这样能把整体帧率从 8 提到 25 以上而且演示时肉眼几乎看不出差别。工程层面把预处理和后处理放到独立线程和推理流水线化图像缩放用硬件加速避免每帧都做 Python 层的深拷贝。这些小优化加起来能有 30% 的提升。5. 系统集成与演示效果落地5.1 实时识别的处理流程设计实时演示的流程和离线评测完全不一样最大的区别是不能假设每帧都有人脸、不能假设每帧都是同一个人。我最后定下来的流程是这样的视频流进来之后先按固定间隔做检测比如每 5 帧拿到人脸框对每个人脸做对齐送进识别网络拿特征特征和底库做比对得到相似度和身份最后做一个时间维度的投票平滑——连续 5 帧里同一个人出现 3 次以上才确认显示避免单帧误检导致名字闪来闪去。这个投票机制看起来简单但对演示效果的提升非常大。没加之前画面上的名字一秒钟跳三次看着像坏了加了之后稳定得像商用系统。投票窗口大小可以调窗口大更稳但响应慢我一般用 5 帧。底库管理也要提前设计。演示用的底库一般就十几个人直接把特征存成 numpy 数组比对时算一次矩阵乘法就完事。底库规模到上千人的时候才需要上向量检索库。存储的时候记得把特征做 L2 归一化再存比对的时算内积就等于余弦相似度省一次除法。5.2 阈值怎么定没有一个数能通吃阈值是人脸识别系统里最玄学的东西因为它是场景相关的。同一个模型做 1:1 门禁验证阈值可以设到 0.5做 1:N 考勤检索阈值可能要设到 0.65做无感抓拍阈值甚至要 0.7 以上。定阈值的方法不是拍脑袋是在验证集上画一张相似度分布图把正样本对的相似度和负样本对的相似度分别画成直方图看两条曲线的交叠区域阈值往保守方向挪一点落在交叠区间的偏右侧。既要保证正样本通过率够高又要保证负样本误接受率够低。还有个实用技巧分场景设阈值。人脸质量好的时候正面、光照足、清晰可以放宽质量差的时候侧脸、模糊、逆光要收紧。质量分可以用检测置信度、关键点置信度、图像清晰度拉普拉斯方差综合算。这套逻辑实现起来不难但对最终效果的提升很明显。注意演示前一定要用真实的现场环境跑一遍再定阈值。实验室灯光和答辩教室的灯光可能差很多我在实验室调好的阈值到了会场投影仪一开曝光变了全场识别失败。后来改成每帧自动调整亮度和对比度问题才解决。5.3 活体检测要不要做如果题目只写人脸识别活体检测不是必选项。但如果你的系统涉及门禁、考勤这类防照片攻击的场景不做活体会被评审直接问住。轻量的方案有两种一种是动作配合要求用户眨眼、转头、张嘴用连续帧的关键点位移判断。实现简单用户体验一般但足够应付答辩。另一种是单帧反欺诈用一个小网络判断输入图是真人还是翻拍。这类模型体积很小几 MB推理耗时几毫秒效果比动作配合好但需要额外的训练数据。我当时的做法是动作配合理由是数据好搞、逻辑好讲、不增加模型复杂度。答辩老师问起来我可以从为什么要防攻击动作序列怎么设计误拒率怎么控制三个角度讲清楚比甩一个黑盒网络有说服力。5.4 演示系统的界面和容错设计界面不需要多漂亮但必须让人一眼看懂。我的布局是左边摄像头画面加人脸框和姓名标签右边显示识别历史和时间戳底下显示当前帧率和底库人数。容错设计比界面重要。要考虑的情况包括摄像头打不开提前准备一个备用的本地视频文件、底库为空启动时检查为空就提示、识别不到人脸显示未检测到人脸而不是黑屏、网络断了所有模型本地加载不依赖网络。我答辩那天前面那组的同学演示到一半网络断了远程调用的接口全挂现场很尴尬。所以我的原则是演示系统的每一条依赖都必须是本地的模型权重、底库、配置文件全部打包在同一个目录里拷到任何一台装了运行环境的机器上都能跑。这条经验值一万字。6. 常见问题排查与避坑清单6.1 训练类问题速查表现象最可能的原因排查动作解决方式loss 一直是 2.3 左右不动学习率太小或标签全错打印一个 batch 的标签和预测调学习率检查标签映射表loss 变 NaN反余弦越界、fp16 溢出关掉混合精度重跑加 clamp改用 fp32 或开损失缩放训练准确率 99%验证只有 70%数据泄漏检查训练和验证的身份是否重叠按身份重新划分训练和验证都上不去对齐错了或增强过强肉眼检查对齐结果修对齐降低增强强度训练后期 loss 突然飙升学习率衰减策略有问题看学习率曲线换余弦退火加梯度裁剪换了 batch size 后不收敛学习率没同步调整对比新旧学习率按线性或平方根规则缩放单张图推理结果和批量推理不一致BN 统计量问题对比两种模式的输出重标定 BN 或换归一化方式这张表里最值得展开的是训练准确率虚高这一条。我第一版就栽在这上面验证集上 99% 的准确率答辩预演时老师随手拿手机拍了自己一张脸来测系统认成了另一个人。当时脸都红了。后来复盘发现两个问题一是划分时没按身份隔离二是验证集里同一个人的照片和训练集高度相似同一场景连拍。修完这两个问题真实场景的准确率从 70% 提到了 92%。还有一个问题是换了机器结果就不一样。这通常是因为随机种子没固定、CUDA 的非确定性算子、或者数据加载顺序不确定。彻底解决要设torch.manual_seed、numpy.random.seed、random.seed开torch.backends.cudnn.deterministic并把数据加载器的worker_init_fn也设上种子。虽然会损失一点速度但结果可复现。6.2 推理与演示类问题帧率上不去先做性能剖析看时间花在检测、对齐还是识别上。大多数情况是检测占了 60% 以上。对策是跳帧检测加跟踪或者换更轻的检测器。别一上来就怀疑模型太大我见过有人为了提帧率把识别模型换成超轻量的结果精度掉了 5 个点其实瓶颈根本不在识别上。同一个人一会儿认得出、一会儿认不出先看对齐质量。侧脸的时候五点检测不准对齐后的图是歪的特征自然不稳定。对策是加质量过滤关键点置信度低于阈值的帧直接跳过不参与投票。底库加人之后老成员识别率下降这是典型的 1:N 检索问题底库越大误匹配概率越高。对策是提高阈值或者给底库里的每个人存多张特征不同角度、不同光照比对时取最大相似度。我一般每人存 3 到 5 张。画面偏色或者过曝摄像头自动曝光在灯光变化时会有几秒的调整期这段时间识别基本失效。对策是加自动白平衡和直方图均衡或者在投票机制里容忍这几秒的失败。6.3 论文和答辩视角的加分点技术做完了怎么讲同样重要。几个我觉得性价比最高的加分项消融实验。把不做对齐和做对齐、普通 Softmax和角度间隔损失、有增强和无增强分别跑一组对比用表格列出来。这比堆十页原理公式有说服力得多。失败案例分析。主动展示几张识别失败的图分析原因遮挡、侧脸、光照、底库样本不足说明改进方向。评审最喜欢看这个因为它证明你真的动手跑过、思考过而不是抄了个代码。系统性能数据。把帧率、单帧耗时、内存占用、模型体积列出来说明你的方案在什么硬件上能达到什么效果。这是工程能力的体现。隐私合规的说明。在论文里用一小节说明数据来源、授权方式、数据保护措施。这个点很多人不写写了就是加分。最后说个我自己的体会这个题目做到最后真正拉开差距的不是模型有多新而是你有没有把每一个环节的为什么想清楚。为什么用五点不用六十八点为什么 batch 是 256 不是 512为什么阈值定在 0.55 不是 0.6——这些问题的答案藏在你的实验记录里不在任何一篇教程里。我建议从第一天起就维护一个实验日志每次改配置都记下时间、改动内容、结果变化到写论文的时候你会发现这份日志比任何资料都值钱。
