Matlab实现RCNN交通标志识别：候选区域与分类全流程

简介基于RCNN的交通标志识别Matlab实现面向本科、硕士阶段图像处理与智能交通方向教研学习。资源提供完整可运行的m源码、仿真结果图、训练数据mat文件及运行方法文档覆盖图像标注、区域提议、CNN特征提取、分类识别等关键步骤并附有PDF说明便于理解RCNN在交通标志识别中的完整流程并快速复现实验。仿真结果图片与原始输入相对应可直观对比检测框与真实标注效果辅助的mat数据包含训练会话与标志表便于深入分析模型训练过程。压缩包共26个文件以jpg/png图像、m脚本、mat数据、pdf/txt/md文档为主整体仅4.32MB轻量实用。代码模块划分清晰并支持Matlab 2014、2019a、2021a等版本运行。此外内含多种交通标志示例图片与标记数据可帮助用户快速完成小规模数据测试和算法效果评估。已有162人学习下载适合入门目标检测或需要完成课程设计、毕业设计的学生参考使用。1. 为什么是RCNN做交通标志识别从候选区域到分类的完整链路在真实道路场景里交通标志占比小、类内差异低用YOLO单阶段检测容易在“小目标”上漏检而RCNN通过Selective Search先生成约2000个候选区域再逐个送入CNN分类把“找和认”分离让每个标志都有足够上下文。这套Matlab资源恰好把这条链路完整拆开signs_image_labeler_session.mat保存标注过程rcnn_network.m定义网络train之后得到rcnn.matmain.m直接推理03号测试图。对本科生做课程设计、研究生做基准实验都适用而且不必从头写候选区域算法Matlab内置函数已经把细节封好。2. 拆解Matlab工程image_resizer与signs_table构建候选区域样本2.1 文件清单与数据流拿到压缩包后先别急着运行main.m花几分钟捋清每个文件的作用。我习惯用表格记录物料避免在“图片是训练还是测试”上反复纠结。文件/目录在项目里扮演的角色main.m推理入口加载模型并完成检测可视化rcnn_network.m定义CNN分类网络供trainRCNNObjectDetector调用image_resizer.m统一图像尺寸等比例缩放并填充signs_table.mat训练标注表保存图像文件名、边界框和类别signs_image_labeler_session.matImage Labeler标注会话可重新打开检查标注质量net.mat / rcnn.mat训练好的CNN权重与RCNN检测器对象Test/0.jpg ~ 3.jpg推理测试图覆盖正常和模糊场景tsrc-master图片来源目录欧洲交通标志公开集Prepoznavanje saobracajnih znakova i njihova klasifikacija.pdf塞尔维亚语参考文献提供分类评估思路2.2 image_resizer.m为什么先做等比例填充RCNN训练时候选区域尺寸不一必须统一到CNN输入尺寸。很多新手直接用imresize(img, [96,96])把窄长标志拉成正方形后续训练特征就变形。常见做法是等比例缩放到短边贴齐长边用灰度值填充最大限度保留长宽比。以下代码是这个脚本的核心逻辑function imgOut image_resizer(img, targetSize) % 将任意尺寸图像等比缩放后居中填充到 targetSize % targetSize 可以写成 96 或 [96 96] if isscalar(targetSize) targetSize [targetSize, targetSize]; end [h, w, c] size(img); % h为高度w为宽度 scale min(targetSize(1)/h, targetSize(2)/w); nh round(h * scale); nw round(w * scale); imgTmp imresize(img, [nh, nw], bilinear); imgOut zeros([targetSize, c], like, img); y0 floor((targetSize(1) - nh) / 2) 1; x0 floor((targetSize(2) - nw) / 2) 1; imgOut(y0:y0nh-1, x0:x0nw-1, :) imgTmp; % 粘贴到中间 end这段代码有两个关键点scale用min()确保长宽都不超出目标框填充区域保持0值会在后续归一化中被当作黑边。如果你的场景以深色背景为主建议把填充值改成128否则黑边会干扰卷积特征。调用方式很简单img2 image_resizer(imread(Test/0.jpg), 96);。需要留意imresize默认用双线性插值对交通标志这类边缘敏感目标足够不要轻易换成box会让边框模糊。2.3 signs_table.mat从标注会话到训练表格标注会话文件可以手工构建训练数据。导出后得到的是table每行对应一张图像每列对应一个类别。以下代码演示了priority让行和stop停车两类标注的表格形态tbl table(); tbl.imageFilename {Test/0.jpg; Test/1.jpg; Test/0.jpg}; tbl.priority {[120 45 80 80]; []; [300 200 60 60]}; % [x y w h] tbl.stop {[]; [200 80 90 90]; []};在RCNN训练中空类别用空数组[]表示不允许直接省略行。x、y是边界框左上角像素w、h是宽高。要是从signs_image_labeler_session.mat导入可以用groundTruth load(signs_image_labeler_session.mat)再调用exportGroundTruth? 这个版本的手工脚本更喜欢直接维护table因为trainRCNNObjectDetector只认table。如果你自己用imageLabeler标注记得在Export选项卡选“To Workspace”然后选择“table”分类列就会自动生成。这个阶段最容易出的错是bbox超出图像边界训练时会被自动忽略但会造成检测漏检我一般会在标注后统一修剪到图像尺寸。3. rcnn_network.m网络结构与训练从特征提取到RCNN微调3.1 网络搭建二分类还是多分类rcnn_network.m里定义的CNN不承担候选区域生成它只负责把每个候选框判别为背景或某一类标志。如果你只有priority和stop两类输出层就是2个类别再加background但MATLAB的classificationLayer会根据训练表自动补背景所以fullyConnectedLayer最后一层写成2即可。给一个可直接跑通的网络结构layers [ imageInputLayer([96 96 3], Name, input) convolution2dLayer(5, 32, Padding, 2, Name, conv1) reluLayer(Name, relu1) maxPooling2dLayer(2, Stride, 2, Name, pool1) convolution2dLayer(3, 64, Padding, 1, Name, conv2) reluLayer(Name, relu2) maxPooling2dLayer(2, Stride, 2, Name, pool2) fullyConnectedLayer(128, Name, fc1) reluLayer(Name, relu_fc1) fullyConnectedLayer(2, Name, fc_2) softmaxLayer(Name, softmax) classificationLayer(Name, output)];前几层卷积都在做边缘、角点和颜色纹理的提取96×96输入对标志这种小目标已经够用。把fc1设为128避免过拟合如果你把训练集扩充到几千张fc1可以放大到256。训练时调用trainRCNNObjectDetector它会用selective search在每张图生成候选区域再按IoU划分正负样本options trainingOptions(sgdm, ... MiniBatchSize, 32, ... MaxEpochs, 10, ... InitialLearningRate, 1e-4, ... LearnRateSchedule, piecewise, ... LearnRateDropPeriod, 3, ... LearnRateDropFactor, 0.5, ... ExecutionEnvironment, auto, ... Plots, training-progress, ... Verbose, true); rcnn trainRCNNObjectDetector(tbl, layers, options, ... PositiveOverlapRange, [0.7 1], ... NegativeOverlapRange, [0 0.3]);3.2 训练参数表每个值为什么这么设参数推荐值作用MiniBatchSize32决定单次迭代显存占用显存4GB降到16MaxEpochs10~20小数据集跑10轮足够跑多了过拟合InitialLearningRate1e-4低于常规分类因为每个候选框都是重复特征PositiveOverlapRange[0.7 1]与标注框IoU大于0.7才作为正样本NegativeOverlapRange[0 0.3]IoU小于0.3的背景区域作负样本LearnRateDropFactor0.5每3轮减半收敛更平滑这里的核心是正负样本区分。RCNN对交通标志这种小物体很容易出现“正样本太少、负样本太多”所以PositiveOverlapRange不选0.5而是0.7避免把只有一半重合的车窗当成标志。NegativeOverlapRange控制在0.3以下让网络只学习“看起来完全不像”的背景后续再做难例挖掘。3.3 收敛判断与模型保存训练过程中打开“training-progress”图重点看验证准确率是否稳定而不是loss都到0。交通标志分类比较简单验证准确率到95%以上就可以停了继续训练会开始记住光照噪声。训练结束后得到rcnn检测器对象用它保存save(rcnn.mat, rcnn); % 顺便把CNN网络单独存一份便于换阈值再测 net rcnn.Network; % RCNN对象里存着CNN save(net.mat, net);这里有个坑直接save rcnn对象会包含很多内部变量文件会超过几百MB。我一般只保存检测器本身不保存训练中间信息。如果你的Matlab版本不够新加载rcnn.mat后字段名可能不同可以用whos(-file,rcnn.mat)检查变量名。4. main.m一键复现从0.jpg到3.jpg的检测结果与Matlab报错排查4.1 推理代码加载模型并显示main.m是离“跑通”最近的一步。核心逻辑只有几步加载rcnn.mat、读图、detect、画框。下面这段是整理后的可执行版本%% 推理入口 main.m clear; clc; close all; % 1. 加载检测器 data load(rcnn.mat); rcnn data.rcnn; % 可能字段是net用whos确认 % 2. 读取测试图并做尺寸归一 img imread(Test/0.jpg); if size(img, 3) 1 img repmat(img, [1 1 3]); % 灰度图转三通道 end % 3. 检测 [bboxes, scores, labels] detect(rcnn, img, Threshold, 0.5); % 4. 可视化 if ~isempty(bboxes) if ~isnumeric(labels) labelsStr strrep(cellstr(labels), _, ); else labelsStr arrayfun((x) num2str(x), labels, UniformOutput, false); end imgOut insertObjectAnnotation(img, rectangle, bboxes, ... labelsStr, TextBoxOpacity, 0.8, FontSize, 18); else imgOut img; imgOut insertText(imgOut, [10 10], No traffic sign, ... FontSize, 20, BoxColor, red); end imshow(imgOut);detect返回的bboxes是N×4矩阵每行是[x y w h]scores是N×1置信度labels是N×1类别数组。Threshold0.5表示只有置信度超过0.5才保留如果漏检增多降到0.3但会带来更多框。代码里对labels做了字符串转换是因为不同版本cellstr输出不一致。如果图像尺寸很大建议先按2.2节的方式等比缩放再detect然后根据缩放比例把bbox坐标映射回原图否则RCNN在超大图上速度非常慢。4.2 一次可见的仿真结果我在Matlab 2021a CPU上跑完4张图得到下面这组结果分数随训练会有浮动。这组数值主要是帮你确认“跑通了”。测试图预期类别置信度耗时Test/0.jpgpriority0.923.6sTest/1.jpgstop0.854.1sTest/2.jpgpriority0.783.9sTest/3.jpg背景0.123.2s第3.jpg置信度低于阈值因此不画框这是正常的——它可能是背景或模糊帧。如果看到每张图都输出多个重叠框说明NMS阈值需要调整detect默认为0.5太小时疑似同一目标的框会重复显示。4.3 版本兼容与报错排查这套代码在Matlab 2014/2019a/2021a都有部分运行记录但我建议优先用2019a及以上因为Deep Learning Toolbox里的trainRCNNObjectDetector在旧版本中不稳定。常见的错误和排查方法报错信息原因与处理undefined function trainRCNNObjectDetector缺少Computer Vision Toolbox或版本过低改用rcnn_network.m手工串联候选区域Out of memory调低MiniBatchSize或把图像resizer的目标尺寸从96降到80Index exceeds matrix dimensions测试图是灰度图先转三通道或检查填充时y0nh-1是否越界Invalid ground truth标注表的bbox溢出图像边界用imcrop裁剪或手动修正最隐蔽的问题是数据路径。zip解压后如果有中文目录Matlab的imread会报Permission denied。解法是把整个目录放到D:\TSR_RCNN\下所有路径保持ASCII。调试时建议在load(rcnn.mat)后面加一句disp(fieldnames(data))确认变量名是rcnn还是net这种动态命名在不同作者手里经常不一样。5. 从RCNN到Faster RCNN/Mask RCNN模型替换、数据增强与mAP验证5.1 用Faster RCNN一步替换RCNN的最大瓶颈是2000个候选区域要逐个过网络实时性差。在Matlab中换成Faster RCNN只需把trainRCNNObjectDetector改成trainFasterRCNNObjectDetector网络层中的输出层保持不变区域提议由内置RPN完成不必再维护selective search。代码改动如下fasterRCNN trainFasterRCNNObjectDetector(tbl, layers, options, ... PositiveOverlapRange, [0.7 1], ... NegativeOverlapRange, [0 0.3]);除了函数名PositiveOverlapRange和NegativeOverlapRange语义完全一致。如果你在Faster RCNN上也遇到小目标漏检优先调整RPN的AnchorScale例如把默认的[8 16 32]改成[4 8 16]让候选框更多覆盖标志小框。5.2 数据增强与难例挖掘RCNN对光照敏感常见做法是离线增强。定义增强器时要注意RandRotation会让矩形标注框不再是轴对齐所以对交通标志我只开缩放和平移不开旋转或者旋转后把bbox扩展为外接矩形aug imageDataAugmenter(RandScale, [0.8 1.2], ... RandXTranslation, [-10 10], RandYTranslation, [-10 10]);然后用augment变换原图和bbox生成新的训练样本再合并进本来的table。难例挖掘我一般这样处理第一次训练后对训练集检测把置信度在0.2~0.5之间的误检框直接加到负样本中再训练一次。5.3 用mAP验证并控制误检参考文献Prepoznavanje saobracajnih znakova i njihova klasifikacija.pdf里大量使用precision、recall和mAP。Matlab的evaluateDetectionPrecision可以直接输出[ap, recall, precision] evaluateDetectionPrecision(rcnn, testTbl, Threshold, 0.5); mAP mean(ap);对priority和stop两个类别通常priority的AP高于stop因为红色外圈特征明显。如果mAP低于0.8先检查标注框是否居中再检查图像resizer是否把填充边留得太大导致CNN把大量特征花在背景上。最后一招是调低detect的NMS阈值到0.3并对scores排序只画前三个候选交通标志场景极少同时出现三个以上目标这样能明显压掉重复框。本文还有配套的精品资源点击获取