简介压缩包内含一套基于机器学习的车牌检测算法实现适合计算机、人工智能、电子信息等专业的学生用于课程设计、毕业设计或作为算法学习参考。项目代码经过调试下载后即可运行但需要具备一定的编程与模型基础才能深入修改和复现。资源共68个文件主要包括Python脚本、YAML配置、模型权重pth/pt以及少量图片字体等辅助材料覆盖模型训练、推理导出、数据预处理与检测演示等环节便于按流程理解车牌检测从数据到部署的完整链路。压缩包大小约19.59MB轻量易用。目前已有254人学习下载适合希望快速搭建车牌识别实验环境、对照源码梳理YOLOv5与LPRNet等算法细节的读者。通过阅读代码结构与demo示例可掌握数据标注格式、模型调用方式、OCR识别模块和推理脚本的组织方法为后续二次开发或论文实验提供可直接修改的工程基础。1. 车牌检测项目为什么值得把源码从头跑一遍拿到一份「基于机器学习的车牌检测算法源码.zip」第一反应别急着解压跑训练。车牌检测这个方向看起来成熟但真正落到自己数据集上翻车点比你想象的多得多——光照过曝、车牌倾斜、蓝牌绿牌黄牌白牌混着来模型在公开测试集上的漂亮指标换个场景立刻打回原形。这份源码既然打着机器学习的旗号大概率不是传统颜色分割那套老办法而是基于深度学习检测器YOLO、SSD 或 Faster R-CNN的完整 Pipeline。对从业者来说它的价值不止是「能检测出车牌」而是你能从数据组织、模型训练、后处理过滤一路看到工程化落地的细节。本文会从选型、跑通、拆代码、踩坑到调优把这条链路讲透适合刚接触目标检测的初学者也适合想快速评估一份车牌检测源码能不能用的熟手。2. 车牌检测的技术选型传统视觉与机器学习方案的分水岭2.1 为什么传统颜色分割方案做不好车牌检测在机器学习成为主流之前车牌检测最常见的做法是颜色空间分割加形态学处理。先转 HSV把蓝色和黄色的像素区域抠出来再用轮廓查找和宽高比过滤候选区域。这套方案在固定卡口、角度正、光照均匀的场景下确实能用而且速度极快树莓派上都能跑实时。但它有两个致命短板。第一是泛化能力差车牌颜色只要稍微偏色老旧蓝牌褪色、新能源绿牌反光HSV 阈值就得重新调一遍调参的过程基本靠玄学。第二是抗干扰能力弱车身上贴的蓝色装饰条、前挡风玻璃的反光、路牌上的蓝底白字都会被当成候选区域拉出来后级识别模块得处理大量误检。机器学习方案则把「什么样的区域像车牌」这个问题交给模型去学。你只需要标注足够多的车牌边框模型自己会总结出纹理、颜色分布、字符排列组合这些高层特征。这也是为什么现在工业级的车牌检测系统基本都跑深度学习模型——不是传统方法不能用而是鲁棒性差距太大。2.2 车牌检测源码里常见的三种模型结构拿到一份车牌检测源码第一步就是看它用的是哪种检测框架。常见的有三类第一种是两阶段检测器代表是 Faster R-CNN。先由 Region Proposal Network 生成候选框再对每个候选框做分类和回归。优点是精度上限高小目标和遮挡目标表现好缺点是速度慢一张图在 GPU 上跑几百毫秒很常见不适合视频流实时处理。第二种是单阶段检测器SSD 和 YOLO 系列都属于这一类。它们直接在特征图上做密集采样和回归一次前向传播同时输出类别和边框。速度优势明显YOLOv5 的中等模型在 GTX 1080 上能跑到 60 FPS 以上精度经过调优后跟两阶段模型的差距也在缩小。现在的车牌检测开源项目里YOLO 系是绝对主流。第三种是更轻量的方案比如 EfficientDet 或基于 MobileNet 的检测头。这类模型主要为边缘设备设计精度会妥协一些但模型体积可以压到几十 MB。我一般会建议优先跑 YOLO 系源码原因很实际资料多、调参经验丰富、部署工具链成熟遇到问题搜得到答案。如果你手里的源码是基于 Faster R-CNN 的也别扔它的候选框机制在处理极端长宽比车牌时反而有优势后面会细说。2.3 从源码目录结构判断项目的成熟度解压 zip 之后先别急着看模型文件先看目录结构。一个成熟的车牌检测项目通常包含这几类内容数据组织目录train 和 val 的图片文件夹、标注文件XML、TXT 或 JSON模型定义文件backbone 结构、检测头、损失函数训练脚本超参数配置、数据加载器、学习率调度推理脚本单图检测、视频流检测、摄像头实时检测工具脚本数据集格式转换、标注可视化、模型评估如果一份源码只有模型文件和推理脚本没有训练代码和数据处理脚本那它只能算「半成品」你想在自己的数据集上微调就得自己补很多活。反过来如果训练脚本和数据增强代码都齐全这份源码的参考价值就高得多。3. 用 YOLO 系模型跑通车牌检测数据集准备到训练的最小闭环3.1 车牌数据集的获取与格式整理跑车牌检测第一步是搞定数据。公开数据集里CCPDChinese City Parking Dataset是最常用的中文车牌数据集包含超过 20 万张图片覆盖了不同光照、角度和背景的城市停车场景。它自带标注文件但格式是 JSON需要转换成 YOLO 需要的 TXT 格式。如果你手里的源码基于 YOLO标注格式要求是每张图片对应一个同名 TXT 文件每行内容为class_id x_center y_center width height注意这里 x_center、y_center、width、height 都是归一化到 0~1 的坐标值用像素坐标除以图片宽高得到。类别 id 从 0 开始单类车牌检测就是 0。转换 CCPD 的标注时有个坑它的 JSON 里存的是车牌的四个角点坐标vertices不是标准矩形框。你需要先算出最小外接矩形的中心点和宽高再归一化。代码逻辑如下import json import os def ccpd_json_to_yolo(json_path, img_width, img_height): with open(json_path, r, encodingutf-8) as f: data json.load(f) # CCPD 标注结构{cars: [...]} 或直接包含vertices vertices data.get(vertices) or data[cars][0][vertices] xs [p[x] for p in vertices] ys [p[y] for p in vertices] x_min, x_max min(xs), max(xs) y_min, y_max min(ys), max(ys) box_w x_max - x_min box_h y_max - y_min x_center (x_min x_max) / 2.0 y_center (y_min y_max) / 2.0 # 归一化到 [0, 1] x_center_norm x_center / img_width y_center_norm y_center / img_height w_norm box_w / img_width h_norm box_h / img_height return f0 {x_center_norm:.6f} {y_center_norm:.6f} {w_norm:.6f} {h_norm:.6f}这段代码把四角坐标转为归一化中心点加宽高。这里有个关键逻辑直接用四角坐标的 min/max 求外接矩形会把倾斜车牌的背景区域也包进来。如果车牌倾斜角度大超过 15 度建议改用 cv2.minAreaRect 算最小外接矩形否则模型会学到多余的背景纹理。后面避坑章节会专门讲这个问题。3.2 训练脚本的核心参数与一次完整训练流程数据准备好之后训练脚本是关键。YOLO 系项目的训练命令一般长这样python train.py --data ./data/license.yaml --weights yolov5s.pt \ --img 640 --batch-size 16 --epochs 100 --device 0--data 指向的 yaml 文件里定义了训练集和验证集路径、类别数和类别名。一个标准的 license.yaml 长这样train: ./data/train.txt # 训练集图片路径列表 val: ./data/val.txt # 验证集图片路径列表 nc: 1 # 类别数只检测车牌 names: [plate] # 类别名--img 650 是输入分辨率。车牌字符属于小目标如果原图是 1920x1080 的卡口照片车牌区域可能只有 80x30 像素直接缩放到 640 分辨率会丢失细节。常见做法是先训练一个 640 的模型再用 --img 1280 跑一轮 fine-tune可以明显提升小目标召回率。训练过程中有几个指标需要盯。loss 曲线要平滑下降val/obj_loss 如果在某个 epoch 后开始反弹就是过拟合的征兆需要早点停或者加大数据增强。mAP0.5 是核心指标车牌检测任务上做到 0.95 以上才算及格。我习惯在训练前用以下代码做一次数据检查避免标注格式错误导致训练白跑import cv2 import os def check_annotation(img_path, txt_path): img cv2.imread(img_path) h, w img.shape[:2] with open(txt_path, r) as f: lines f.readlines() for line in lines: parts line.strip().split() cls_id, x_c, y_c, bw, bh map(float, parts) x1 int((x_c - bw / 2) * w) y1 int((y_c - bh / 2) * h) x2 int((x_c bw / 2) * w) y2 int((y_c bh / 2) * h) cv2.rectangle(img, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.imshow(check, img) cv2.waitKey(0)这段脚本的作用是可视化标注框确认框是否贴合车牌边缘。如果发现框大面积包含车牌以外的区域说明数据预处理阶段的坐标转换有问题趁早修别等训练完了才发现。3.3 数据增强对车牌检测效果的增益YOLO 自带的 Mosaic 增强在处理车牌数据时有一个潜在冲突Mosaic 会把四张图拼在一起再随机缩放车牌是极小目标拼完图之后车牌可能缩到几个像素反而成了噪声。我的处理方式是关闭部分增强项或者调整增强概率。在 YOLOv5 的超参数文件 hyp.scratch.yaml 里重点关注这几个参数hsv_h: 0.015 # 色调增强保持低值避免车牌颜色失真 hsv_s: 0.7 # 饱和度增强可以适当提高增加泛化 hsv_v: 0.4 # 亮度增强模拟不同光照 degrees: 5.0 # 旋转角度车牌倾角一般不超过 30 度 translate: 0.1 # 平移 scale: 0.5 # 缩放 mosaic: 0.5 # 马赛克增强概率建议从默认 1.0 降到 0.5车牌检测对颜色信息很敏感尤其是蓝牌的饱和度特征。hsv_h 如果调太大车牌颜色会漂移成紫色或红色模型学到的是错误的颜色关联。hsv_h 保持在 0.01~0.02 区间即可。4. 源码核心模块拆解预处理、检测网络与后处理逻辑4.1 预处理环节无论是训练还是推理都绕不开的操作跑通训练后回头读源码里的预处理逻辑。车牌检测的预处理通常包含三步图像缩放、归一化、通道转换。以推理场景为例OpenCV 读入的是 BGR 格式而 PyTorch 模型输入要求 RGB 且归一化到 0~1顺序错了模型输出就是乱的。一个标准的推理预处理代码片段import cv2 import torch from torchvision import transforms def preprocess(img_path, input_size640): img cv2.imread(img_path) # BGR, HWC img_rgb cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 等比例缩放 letterbox 填充保持宽高比 h, w img_rgb.shape[:2] scale min(input_size / w, input_size / h) new_w, new_h int(w * scale), int(h * scale) resized cv2.resize(img_rgb, (new_w, new_h)) canvas np.full((input_size, input_size, 3), 114, dtypenp.uint8) canvas[:new_h, :new_w] resized # HWC - CHW归一化 tensor torch.from_numpy(canvas).permute(2, 0, 1).float() / 255.0 tensor tensor.unsqueeze(0) # 加 batch 维度 return tensor, scale, (new_w, new_h)这里有一个关键参数填充值 114。这是 ImageNet 预训练模型的通用填充色不是随便取的。如果你用的是自己从零训练的模型填充值不影响结果但迁移学习场景下输入分布偏移越少特征提取效果越好。letterbox 操作的另一个坑是推理完成后把检测框映射回原图坐标时必须减去填充偏移再除以缩放比例。很多新手在这里直接拿模型输出的坐标除以 scale导致框的位置偏了。4.2 检测网络的特征层选择与车牌目标的匹配源码里的检测网络部分重点看 anchor 设置和特征层选择。车牌的目标尺寸分布很特殊宽高比集中在 2.5~4.5 之间标准蓝牌是 440x140比例约 3.14绝对像素尺寸小。YOLO 默认的 anchor 是针对 COCO 数据集设计的包含小到大的各种目标直接用在车牌上不够精准。需要在训练前重新聚类 anchorYOLO 项目里一般自带聚类脚本核心逻辑是import numpy as np from sklearn.cluster import KMeans def kmeans_anchors(wh_list, num_anchors6): # wh_list: 所有标注框的 [width, height] 像素值列表 wh_array np.array(wh_list, dtypenp.float32) kmeans KMeans(n_clustersnum_anchors, random_state0).fit(wh_array) anchors kmeans.cluster_centers_ # 按面积排序小 anchor 在前 anchors anchors[np.argsort(anchors[:, 0] * anchors[:, 1])] return anchors.astype(int) anchors kmeans_anchors(wh_list) print(anchors) # 输出形如 [[8, 26], [15, 32], ...]聚类出来的 anchor 面积会比默认值小很多宽高比也更扁。改完 anchor 后记得同步修改模型配置文件里的 anchor 参数和检测头的 stride 设置。如果不管 anchor 直接训练模型也能收敛但召回率会有几个点的差距。特征层选择方面车牌小目标主要靠 P3 层stride 8的特征图检测。有些源码为了提速会砍掉 P5 层stride 32这对车牌检测影响不大因为车牌很少是大尺寸目标。但如果你要检测的车牌距离相机很近、占画面比例超过 30%P5 层的语义特征反而更有效。实际情况中这种场景很少见。4.3 后处理NMS 参数与置信度阈值的联动效应模型输出的原始预测框是冗余的一个车牌可能被十几个框覆盖。后处理阶段的标准流程是先按置信度阈值过滤低分框再做 Non-Maximum SuppressionNMS合并重叠框。这里有一个容易被忽略的参数联动置信度阈值 conf_thres 和 NMS 的 IoU 阈值 iou_thres。conf_thres 设得太低比如 0.1大量背景框进入 NMS计算量增大且容易误杀设得太高比如 0.8低置信度但真实的车牌框会被扔掉。车牌检测任务上我一般把 conf_thres 设在 0.25~0.35iou_thres 设在 0.45~0.5。NMS 之后还有一个提升精度的技巧对保留的框做坐标微调。有些源码会接一个简单的偏置回归头有些直接用检测头的回归结果。如果源码里没有这个环节也可以自己加一段加权框融合Weighted Boxes Fusion把重叠框的坐标按置信度加权平均能小幅提升 IoU。效果在密集场景下比较明显单车牌场景收益不大。5. 车牌检测源码落地避坑五条踩过的真实记录5.1 标注框不贴合倾斜车牌导致 mAP 虚高现象模型训练完 mAP0.5 高达 0.97但可视化检测结果时发现预测框永远比车牌大一圈边界模糊。原因数据预处理阶段用四角坐标的 min/max 生成外接矩形把车牌的倾斜背景区域包了进来。模型学到的是「比车牌更大区域的纹理特征」而不是车牌本身的边界。mAP 仍能保持很高因为评估时算的是预测框和标注框的 IoU标注框本身就偏大两个偏大的框重合度自然高。解决改用 cv2.minAreaRect 计算最小外接矩形保证标注框紧贴车牌边缘同时把训练数据里倾斜角度超过 30 度的车牌图片挑出来检查确认没有标注漂移。5.2 蓝牌和绿牌颜色接近导致漏检现象新能源绿牌在某些光照条件下呈现蓝绿色模型把绿牌当成背景直接漏掉。原因模型在特征提取阶段过度依赖颜色特征。数据增强里的 hsv_h 色相扰动太大让模型在「蓝色」和「绿色」之间学出了模糊边界另一个原因是训练集里绿牌样本比例过低。解决先统计数据集的类别分布绿牌占比低于 5% 就考虑做过采样复制。同时把 hsv_h 从 0.02 调低到 0.01hsv_s 从 0.7 调到 0.5减少颜色漂移的干扰。5.3 夜间场景检测框抖动视频流时序不稳定现象单帧图片检测效果好但视频流里同一辆车的检测框在帧间跳动位置偏移十几个像素。原因单帧推理没有考虑时序信息。夜间光线暗模型每帧的置信度波动大低置信度帧的回归结果不稳定。另一个原因是输入分辨率低640 分辨率下夜间车牌的边缘纹理模糊模型每次输出的特征响应位置略有偏差。解决引入简单的时序平滑——维护一个检测框缓冲区新框与上一帧框的 IoU 超过 0.6 时用指数移动平均更新坐标。代码逻辑不复杂但效果明显class BoxSmoother: def __init__(self, alpha0.6): self.alpha alpha self.last_box None def update(self, new_box): if self.last_box is None: self.last_box new_box return new_box # 指数移动平均历史信息占比 alpha smoothed self.alpha * self.last_box (1 - self.alpha) * new_box self.last_box smoothed return smoothedalpha 取 0.6 表示当前帧只贡献 40% 的权重。这个值如果太大则平滑效果弱太小则框的反应太慢车辆快速变道时框会拖尾。5.4 训练时显存溢出但 batch_size 已经很小现象显存 11GB 的显卡batch_size 降到 4 仍然 OOM。原因Mosaic 增强拼接了四张图实际参与计算的分辨率是 1280x1280虽然最终缩放回 640但中间过程的特征图占用显存远高于单图训练。另外如果开启缓存图片到内存的选项大批量数据也会吃满 RAM。解决关闭 Mosaic 增强mosaic: 0改用普通缩放或者把 --img 从 640 降到 480等模型收敛后再用 640 fine-tune。还有一种做法是开启梯度累积batch_size 保持 4但累积 4 个 batch 再更新一次梯度等效于 batch_size 16只是训练时间变长。5.5 模型文件能加载但输出维度对不上现象下载的预训练权重 .pt 文件能正常加载但跑推理时报维度不匹配的错误。原因源码的模型配置文件修改了类别数比如从 80 类改成 1 类但预训练权重还是 80 类的版本检测头的输出通道数不一致。YOLO 项目里有一个机制会自动剥掉检测头权重但裁剪逻辑在某些版本里不完善就会留着旧的输出层维度。解决加载预训练权重时指定跳过检测头参数代码里这么处理# 加载预训练权重跳过不匹配的层 checkpoint torch.load(yolov5s.pt, map_locationcpu) state_dict checkpoint[model].float().state_dict() model_dict model.state_dict() # 过滤掉形状不匹配的权重 pretrained_dict {k: v for k, v in state_dict.items() if k in model_dict and v.shape model_dict[k].shape} model_dict.update(pretrained_dict) model.load_state_dict(model_dict)关键逻辑是 v.shape model_dict[k].shape 这个条件判断只有形状完全一致的层才加载。检测头的权重因为类别数变了形状对不上会被自动跳过只更新 backbone 部分。6. 把检测结果接到车牌识别置信度阈值与 ROI 裁剪的联动调优拿到检测框之后真正的业务需求往往是识别出车牌号。检测模块的输出是「车牌在哪」识别模块需要回答「车牌是什么」。两个模块的衔接处有一个容易被低估的调优点检测置信度和 ROI 裁剪尺寸的联动关系。车牌识别模型常见的是 LPRNet 或 CRNN对输入尺寸很敏感标准输入一般是 94x24 或 168x48。检测框输出的宽高比是动态的裁剪时需要做等比例缩放和 padding。这里有一个经验值识别模型的输入宽度最好是字符数量的整数倍附近这样每个字符的特征映射更均匀。假设你的车牌最多 7 个字符蓝牌标准不含汉字省份简称输入宽度设为 168每个字符平均分配到 24 像素识别效果最稳定。置信度阈值方面检测和识别的阈值应该分开调。检测的 conf_thres 低一点0.25保证车牌不漏检识别结果的 confidence 阈值高一点0.9 以上因为识别错的代价远高于识别不出来。如果识别置信度长期偏低先别急着调阈值回头检查检测框是否包含大量背景——识别模型在额外背景噪声下性能下降明显真实原因是检测框偏大而非识别模型差。一个实用的调优验证办法是统计不同 conf_thres 下的识别准确率conf_thres0.25 检测召回0.98 识别准确率0.91 conf_thres0.45 检测召回0.93 识别准确率0.94 conf_thres0.65 检测召回0.82 识别准确率0.95发现规律没有——提高检测置信度会牺牲召回但识别准确率反而上升因为送进识别模块的候选框更干净了。实际落地时要根据业务场景取舍停车场出入口的车牌必须尽量全识别出来召回优先而高速卡口的抓拍系统可以接受一定漏检换更高识别精度精确率优先。我自己的习惯是维护一个简单的评估脚本每次调完参数就在同一批验证集上跑一遍检测和识别的联合指标而不是只看检测 mAP。mAP 是检测器的自嗨指标业务方真正关心的是「100 辆车过去有几辆的车牌号被完整读出来」。这两个数字之间的差距往往就藏在检测框质量和置信度阈值的配合里。近段时间做车牌检测项目的经验是模型结构选 YOLO 系没错但数据处理和后处理花的时间一定超过模型本身。先把数据标注的精度提上去再去追 SOTA 模型结构性价比高得多。希望这篇记录能帮你少踩几个坑。本文还有配套的精品资源点击获取
