简介这份资源面向计算机视觉入门者、机器学习课程学习者以及需要完成毕设或课设的学生提供一套基于CNN与OpenCV的车牌识别完整实现方案用于解决复杂场景下车牌定位与字符识别准确率不足的问题。压缩包共约2000个文件以1994张jpg图像样本为主体辅以3个Python脚本、1个txt说明、1个docx报告模板及1个7z子包整体约202.74MB涵盖数据、代码与文档三类内容。资源已有1055人学习下载说明其在同类课设资料中具备一定参考价值。读者可获得从图像灰度化、二值化、去噪到CNN特征提取与分类的完整流程代码并借助报告模板与答辩材料梳理实验思路大量标注图像也便于自行复现训练、调整网络结构或对比传统边缘检测与颜色分割方法的效果适合作为课程设计、毕业设计及远程调试训练的实践起点。1. 从一张歪斜的车牌说起CNNOpenCVPython 车牌识别到底在做什么停车场出口的摄像头拍下一张图车牌是斜的、带反光、边缘还有泥点传统模板匹配直接歇菜。这时候基于机器学习CNNOpenCVPython的车牌识别就派上用场了OpenCV 负责把车牌从整张图里抠出来并矫正CNN 负责把抠出来的字符一个个认出来Python 把两者串成一条能跑通的流水线。这套组合之所以常年霸占毕设课设选题榜是因为它把图像处理、深度学习、工程部署三块知识压进了一个能演示、能调参、能写论文的闭环里。适合谁手上有 Python 基础、想找一个看得见结果的机器学习入门项目的人以及需要交付一个可远程调试训练环境的同学。下面我按自己踩过的路把这条流水线拆开讲。2. 车牌识别的两段式流水线为什么不是端到端一把梭2.1 检测与识别分离的工程理由很多人第一反应是搞一个端到端网络输入原图直接输出车牌字符串。理论上可行但落到毕设和课设场景两段式检测定位 字符识别才是稳妥选择。原因有三第一车牌在整张图里占比很小端到端网络要同时学在哪和是什么小数据集上极容易过拟合第二检测阶段用 OpenCV 的传统方法就能拿到不错的候选框省下大量标注成本第三两段式每一段都能单独调试、单独出图答辩时你能拿出中间结果证明每一步都work这在评审眼里是加分项。常见做法是先用颜色分割 形态学 轮廓筛选定位车牌区域做透视变换把斜车牌拉正再送进 CNN 做字符识别。CNN 这一侧通常不用通用 OCR而是自己训一个针对车牌字符集省份汉字 字母 数字的小型卷积网络类别数在 65 左右31 个省份简称 24 个字母数字去掉易混的 I、O。2.2 环境搭建Python 3.8 OpenCV 深度学习框架环境是第一个翻车点。热词里ModuleNotFoundError: No module named opencv、python下载cv2、ubuntu install opencv高频出现说明卡在装包上的人一大把。我的建议是别去折腾源码编译 OpenCV直接用 pip 装预编译轮子。# 建议 Python 3.8兼容性最好很多毕设模板都基于这个版本 python -m venv plate_env source plate_env/bin/activate # Windows 用 plate_env\Scripts\activate # 核心依赖opencv-python 是预编译版不用自己编译 pip install opencv-python4.5.5.64 pip install numpy1.21.6 pip install pillow pip install matplotlib # 深度学习框架二选一TensorFlow 或 PyTorch pip install tensorflow2.8.0 # 或者 pip install torch torchvision逻辑说明opencv-python和opencv-contrib-python的区别在于后者带 SIFT、SURF 等专利算法车牌识别用基础版就够。版本锁 4.5.x 是因为 4.6 之后部分findContours返回值有变化老代码直接报错。numpy锁 1.21 是为了避开和 TensorFlow 2.8 的 ABI 冲突——这个坑我在三台机器上复现过numpy 1.24 配 TF 2.8 会报numpy.dtype size changed。提示如果你在 Ubuntu 上遇到libGL.so.1: cannot open shared object file装apt install libgl1-mesa-glx即可这是 OpenCV 的图形库依赖跟代码无关。2.3 用 OpenCV 定位车牌颜色分割 形态学 轮廓筛选车牌定位是整个流水线里最玄学的一步光照一变参数就得调。我一般用 HSV 颜色空间做蓝色/绿色车牌分割再做闭运算连成块最后按长宽比筛轮廓。import cv2 import numpy as np def locate_plate(img): # 转 HSV蓝色车牌 H 在 100-124 区间 hsv cv2.cvtColor(img, cv2.COLOR_BGR2HSV) lower np.array([100, 43, 46]) upper np.array([124, 255, 255]) mask cv2.inRange(hsv, lower, upper) # 闭运算把断裂的车牌字符连成整块核大小 17x5 是经验值 kernel cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5)) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) # 找轮廓按面积和长宽比筛选 contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) for cnt in contours: x, y, w, h cv2.boundingRect(cnt) ratio w / float(h) # 中国车牌长宽比约 3.14放宽到 2.5-4.5 if 2.5 ratio 4.5 and w 80: return img[y:yh, x:xw] return None逻辑说明HSV 的 H 通道对光照不敏感比直接 RGB 阈值稳。闭运算核(17,5)是横向长条专门用来把车牌里被字符隔断的区域连起来核太小连不上太大容易把相邻车身也吞进来。长宽比 2.5 到 4.5 是给透视变形留的余量标准蓝牌是 440x140比值 3.14。参数怎么改如果检测不到先把lower的 S、V 下限调低比如 43 改 30因为暗光下车牌饱和度会掉。如果误检太多把w 80提高或者加一个h 20的下限过滤掉细长噪声。2.4 透视变换矫正把斜车牌拉正定位到的车牌往往是斜的直接切字符会错位。用cv2.getPerspectiveTransform做四点矫正把车牌映射成标准矩形。def rectify_plate(plate): h, w plate.shape[:2] # 源四点车牌四角实际项目里用最小外接矩形或霍夫直线求 src np.float32([[0, 0], [w, 0], [w, h], [0, h]]) # 目标标准 440x140 dst np.float32([[0, 0], [440, 0], [440, 140], [0, 140]]) M cv2.getPerspectiveTransform(src, dst) return cv2.warpPerspective(plate, M, (440, 140))逻辑说明真实项目里src四点不是图像四角而是通过cv2.minAreaRect拿到最小外接矩形的四个顶点再按坐标排序左上、右上、右下、左下。排序错了矫正出来是镜像的这是新手最常见的翻车点。目标尺寸固定 440x140 是为了后续字符分割的坐标可预测。3. CNN 字符识别从数据集到能收敛的模型3.1 车牌字符数据集怎么造公开车牌数据集不多而且大多只给整图不给字符级标注。我的做法是自己切把矫正后的车牌按垂直投影法切成 7 个字符普通蓝牌每个字符缩放到 20x20 灰度图按字符内容建文件夹存。def split_chars(plate_gray): # 二值化Otsu 自动阈值 _, binary cv2.threshold(plate_gray, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) # 垂直投影统计每列白色像素数 col_sum np.sum(binary 255, axis0) # 找字符边界投影从 0 变正为起点从正变 0 为终点 chars [] in_char False start 0 for i, v in enumerate(col_sum): if v 0 and not in_char: start i in_char True elif v 0 and in_char: if i - start 5: # 过滤太窄的噪声 chars.append(binary[:, start:i]) in_char False # 缩放到统一 20x20 return [cv2.resize(c, (20, 20)) for c in chars]逻辑说明垂直投影法假设字符之间有空隙对标准车牌成立。i - start 5是过滤掉铆钉、边框产生的窄条。切完必须人工过一遍因为川湘这类字左右结构中间有缝会被切成两半——这是数据集质量的关键切错了模型怎么训都上不去。注意数据集每个类别至少准备 200 张65 个类就是 1.3 万张。数量不够就做数据增强随机旋转 ±5 度、加高斯噪声、调亮度。别用水平翻转字符翻转后就不是那个字了。3.2 一个能跑通的 CNN 结构字符识别不需要 ResNet 那种深度一个 3 卷积 2 全连接的小网络足够训练快、部署轻。import tensorflow as tf from tensorflow.keras import layers, models def build_cnn(num_classes65): model models.Sequential([ # 输入 20x20 灰度图 layers.Input(shape(20, 20, 1)), layers.Conv2D(32, (3, 3), activationrelu, paddingsame), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activationrelu, paddingsame), layers.MaxPooling2D((2, 2)), layers.Conv2D(64, (3, 3), activationrelu, paddingsame), layers.Flatten(), layers.Dense(128, activationrelu), layers.Dropout(0.5), # 防过拟合小数据集必加 layers.Dense(num_classes, activationsoftmax) ]) model.compile(optimizeradam, losscategorical_crossentropy, metrics[accuracy]) return model逻辑说明三层卷积的感受野对 20x20 输入刚好再深就过拟合。paddingsame保证尺寸不被吃掉。Dropout(0.5)放在全连接前是小数据集上防过拟合最有效的一招。优化器用 Adam 默认学习率 1e-3收敛不了再降到 1e-4。参数怎么改如果训练准确率上不去先把卷积核数量翻倍32→6464→128如果训练集准确率高但验证集低加大 Dropout 或加 L2 正则。batch size 设 64epoch 设 30 左右配合EarlyStopping监控 val_loss。3.3 训练、保存与推理串起来# 训练 model build_cnn() history model.fit(train_X, train_y, validation_data(val_X, val_y), epochs30, batch_size64, callbacks[tf.keras.callbacks.EarlyStopping( monitorval_loss, patience5, restore_best_weightsTrue)]) model.save(plate_char_cnn.h5) # 推理单字符 def predict_char(model, char_img, idx2char): x char_img.reshape(1, 20, 20, 1) / 255.0 pred model.predict(x, verbose0) return idx2char[np.argmax(pred)]逻辑说明restore_best_weightsTrue保证保存的是验证集最优的那轮不是最后一轮——这个参数不加你训 30 轮可能最后 5 轮过拟合了存下来的是最差的。推理时输入要/255.0归一化训练时怎么归一化推理就怎么来不一致是精度暴跌的隐形杀手。4. 避坑与排查那些让我熬夜的瞬间4.1 检测框抖动、时有时无现象同一段视频里车牌框一会儿有一会儿没有。原因HSV 阈值卡在临界值光照微变就跨过阈值。解决把单帧检测改成多帧投票连续 3 帧都检测到同一位置才输出或者把 HSV 阈值做成自适应用整图平均亮度动态调整 V 的下限。4.2 字符分割把汉字切碎现象识别结果里湘变成氵和相两个字符整个车牌错位。原因垂直投影法对左右结构汉字失效。解决先按车牌总宽度估算 7 个字符的大致位置做等分粗切再在每个等分区间内用投影微调边界。或者干脆跳过分割用 CTC 损失做不定长识别但那是另一个工作量级。4.3 模型在验证集上 99%实拍图全错现象训练日志漂亮拿手机拍一张就崩。原因训练数据是切好的干净字符图实拍图有透视残留、模糊、反光分布不一致。解决训练时加更强的数据增强模拟模糊高斯核、透视随机四点扰动、亮度变化再拿实拍图人工标一批进训练集哪怕每类只加 20 张效果立竿见影。4.4 远程调试时环境对不上现象本地跑通远程服务器上cv2.imshow报错或模型加载失败。原因服务器无图形界面imshow不可用或者两边 OpenCV、TF 版本不一致。解决调试阶段把所有imshow换成cv2.imwrite存图再看用requirements.txt锁死版本远程pip install -r requirements.txt一把装齐。远程训练时用nohup python train.py log.txt 21 挂后台断连不中断。4.5 中文路径导致读图失败现象cv2.imread返回 None但图片明明存在。原因OpenCV 的imread在 Windows 上不支持中文路径。解决用cv2.imdecode(np.fromfile(path, dtypenp.uint8), cv2.IMREAD_COLOR)替代或者把路径全改成英文。这个坑在课设里极其常见因为大家喜欢把图片放桌面中文文件夹。5. 把精度再往上推一档几个我压箱底的技巧第一招是检测阶段加颜色校验。光靠 HSV 分割会误检蓝色车身加一步在候选框内统计蓝色像素占比低于 60% 直接丢弃。这一招能把误检率砍掉一半代码就三行。第二招是识别阶段做序列约束。中国车牌有固定格式第一位是省份汉字第二位是字母后五位字母数字混合。识别完 7 个字符后按这个规则校验不合规的用次高概率类别替换。比如第二位识别成数字1但规则要求字母就取字母里概率最高的那个。这是纯后处理不重训模型就能涨点。第三招是用混淆矩阵定位弱类。训完模型画一张 65x65 的混淆矩阵你会发现问题集中在几对易混字符上比如0和D、8和B、湘和相。针对这几对单独补数据、单独看它们的召回率比盲目加数据高效得多。技巧改动位置预期收益代价颜色校验检测后处理误检率降约 50%几乎为零序列约束识别后处理整牌准确率涨 3-8%需维护规则表混淆矩阵补数据训练集弱类召回涨 10%需人工标注验证方法上我习惯留一个实拍测试集用手机在不同光照、不同角度拍 50 张不参与训练只用来做最终验收。训练集验证集再高这个实拍集才是真实水平。每次改完参数都跑一遍记录准确率变化形成自己的调参日志。最后说个习惯这套流水线里检测和识别是解耦的任何一段出问题都能单独定位。我一般会写一个debug开关打开就把每一步的中间图mask、候选框、矫正图、切分字符全存下来出问题时一眼看出是哪一步崩的。这个习惯帮我省下的时间比任何调参技巧都多。希望帮到你。本文还有配套的精品资源点击获取
