简介这份资源面向计算机、人工智能、自动化、电子信息等专业的在校学生与嵌入式视觉初学者提供一套基于Python与OpenCV的漆包线点焊焊盘状态识别完整项目源码及文档说明可用于毕业设计、课程设计、作业或项目初期立项演示。压缩包共13个文件包含5个Python脚本、7张jpg测试图像和1份md说明文档整体约868KB其中脚本覆盖主流程、图像处理、ROI提取与功能函数等模块图片则用于焊盘正常、倾斜、偏位等状态的识别验证。目前已有107人学习关注。项目代码经过实际运行测试配套README.md说明文档读者可据此理解视觉传感器采集、图像预处理与焊盘状态分类的完整链路并在此基础上修改扩展功能适合作为视觉检测方向的入门实践参考。1. 漆包线点焊焊盘状态识别为什么值得用 PythonOpenCV 重做一遍漆包线点焊的焊盘状态识别说白了就是在焊完一瞬间判断这个焊点到底合不合格。做过产线的人都知道漆包线细、焊盘小、反光强人工目检盯半小时眼睛就花漏检率还压不下去。传统做法靠操作员拿放大镜看或者用接触式测阻前者不稳定后者慢且只能抽检。用 Python 加 OpenCV 搭一套视觉传感器方案本质是把工业相机拍到的焊盘图像经过预处理、特征提取、分类判断输出 OK/NG 信号给 PLC 或分选机构。这套东西适合谁适合手上已经有工业相机和光源、想低成本验证视觉检测可行性的产线工程师也适合刚学 OpenCV 图像处理、想找一个真实工业场景练手的开发者。它不追求深度学习那种端到端黑盒而是用传统图像处理把焊盘的面积、圆度、灰度均匀性这些可解释特征算出来调试周期短现场改参数不用重新训练模型。下面我把从环境搭建到参数调优的完整路径拆开讲中间踩过的坑也一并说清楚。2. 从相机到焊盘 ROI图像采集与预处理的最小闭环2.1 为什么选 OpenCV 而不是 Halcon很多人一上来就问 Halcon 和 OpenCV 的区别。Halcon 在工业视觉里确实成熟算子稳定但它是商业授权一套下来成本不低而且部署到产线工控机上还要考虑授权绑定。OpenCV 是 BSD 协议免费Python 接口调用方便社区资料多遇到问题搜得到。对于焊盘状态识别这种特征相对明确的任务——焊盘基本是圆形或近似圆形缺陷表现为缺焊、偏焊、虚焊、焊盘发黑——OpenCV 的轮廓分析、霍夫圆检测、灰度统计完全够用。我一般会先用 OpenCV 快速验证算法可行性如果后面发现某些缺陷类型传统方法确实分不开再考虑上深度学习而不是一开始就堆模型。选 OpenCV 还有一个现实原因Python 生态里 numpy 做矩阵运算、matplotlib 做调试可视化、pandas 做数据记录整条链路打通很快。产线工程师不需要精通 C 就能改算法参数这对现场迭代太重要了。2.2 环境搭建避开 ModuleNotFoundError 和 cv2 找不到的坑Python 安装本身不复杂但新手最容易卡在环境上。热搜里modulenotfounderror: no module named opencv和opencv安装成功却找不到cv2这两个问题出现频率极高。根因通常是pip 装到了另一个 Python 环境或者虚拟环境没激活或者装了opencv-python但代码里 import 的是cv2却路径不对。我一般会这样做先确认当前 Python 解释器位置再装包# 确认当前使用的 Python 路径和版本 python -c import sys; print(sys.executable) python --version # 安装 opencv-python 和 numpy指定国内镜像加速 pip install opencv-python numpy -i https://pypi.tuna.tsinghua.edu.cn/simple # 验证安装能打印版本号说明 cv2 可用 python -c import cv2; print(cv2.__version__)逻辑说明第一条命令打印sys.executable是为了确认你当前敲命令的 Python 和后面跑代码的 Python 是同一个。很多人系统里有多个 Pythonpip 装到 AIDE 用的是 B就报 ModuleNotFoundError。第二条装包时用opencv-python而不是opencv-contrib-python除非你要用 SIFT 这类专利算法否则基础包足够。第三条验证时如果报ImportError: libGL.so.1: cannot open shared object file那是 Linux 缺系统库装libgl1即可跟 OpenCV 本身无关。参数说明opencv-python版本建议 4.x4.4 之后的 API 对 Python 3.8 支持稳定。如果产线工控机是 Ubuntu注意cv2.error: OpenCV(4.4.0) ...这类报错多半是图像通道数或数据类型不对不是安装问题后面预处理章节会讲。2.3 焊盘 ROI 提取灰度化、滤波、二值化的参数怎么定相机拍到的原始图里焊盘只占一小块区域直接全图处理既慢又容易被背景干扰。第一步是定位 ROI。常见做法是先用固定工装保证焊盘在视野中心然后用坐标裁剪如果工装精度不够就用模板匹配或轮廓筛选自动找。拿到 ROI 后做预处理。漆包线焊盘的特点是金属反光强灰度分布不均直接二值化容易把高光区域误判成缺陷。我一般按这个顺序走import cv2 import numpy as np # 读取图像灰度模式 img cv2.imread(pad.jpg, cv2.IMREAD_GRAYSCALE) # 高斯滤波核大小 5x5去除高频噪声 blur cv2.GaussianBlur(img, (5, 5), 0) # 自适应阈值二值化blockSize31C5 binary cv2.adaptiveThreshold(blur, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY, 31, 5) # 形态学开运算去除小噪点 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)) opening cv2.morphologyEx(binary, cv2.MORPH_OPEN, kernel)逻辑说明高斯滤波核大小选 5x5 是经验值焊盘直径在图像里通常 80 到 150 像素5x5 能平滑噪声又不会糊掉边缘。自适应阈值比全局阈值适合焊盘因为光源不可能绝对均匀blockSize31表示每个像素参考周围 31x31 区域算阈值这个值要大于焊盘直径的 1/3否则焊盘内部会被切碎。C5是常数偏移值越大二值化越保守背景越干净但焊盘边缘可能收缩。参数怎么改如果二值化后焊盘内部有空洞把blockSize调大或C调小如果背景噪点太多把C调大。形态学开运算的核用椭圆而不是矩形因为焊盘是圆的椭圆核更贴合边缘。提示调试阶段一定要把每一步的中间结果用cv2.imshow或cv2.imwrite存下来看不要凭感觉调参。我见过太多人直接跑完整流程结果 NG 图里焊盘都没提取出来后面特征计算全是错的。3. 焊盘状态特征提取面积、圆度、灰度均匀性怎么算3.1 轮廓筛选用面积和圆度把焊盘和干扰分开二值化后图里可能有多个轮廓焊盘、引脚、反光斑点混在一起。用cv2.findContours找轮廓然后按面积和圆度筛选。圆度公式是4πA/P²A 是面积P 是周长完美圆为 1。contours, _ cv2.findContours(opening, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) pads [] for cnt in contours: area cv2.contourArea(cnt) perimeter cv2.arcLength(cnt, True) if perimeter 0: continue circularity 4 * np.pi * area / (perimeter * perimeter) # 面积阈值根据实际像素标定圆度大于 0.7 认为是焊盘 if 500 area 5000 and circularity 0.7: pads.append(cnt)逻辑说明面积范围 500 到 5000 是假设焊盘在图像里直径 80 到 150 像素实际要拿标定板或已知良品图统计。圆度阈值 0.7 是经验值焊盘有轻微椭圆或边缘毛刺时圆度会降到 0.75 左右设太高会漏检。如果焊盘是方形圆度公式要换成矩形度。参数说明cv2.RETR_EXTERNAL只取外轮廓避免焊盘内部纹理产生嵌套轮廓。CHAIN_APPROX_SIMPLE压缩轮廓点加快后续计算。3.2 灰度特征均值、标准差、暗像素占比轮廓筛出来后用掩膜把焊盘区域抠出来算灰度统计量。良品焊盘灰度均值高且标准差小虚焊或发黑焊盘均值低偏焊会导致灰度分布不均、标准差大。mask np.zeros_like(img) cv2.drawContours(mask, [cnt], -1, 255, -1) # 提取焊盘区域像素 pixels img[mask 255] mean_gray np.mean(pixels) std_gray np.std(pixels) # 暗像素占比灰度低于 80 的算暗区 dark_ratio np.sum(pixels 80) / len(pixels)逻辑说明img[mask 255]是 numpy 布尔索引比逐像素循环快几个数量级。暗像素阈值 80 要根据实际光源和相机曝光定我一般先跑一批良品图看灰度直方图取良品最低灰度的 80% 作为暗像素阈值。参数说明mean_gray低于良品均值 15% 判为发黑std_gray超过良品均值 1.5 倍判为偏焊dark_ratio超过 0.2 判为虚焊。这些阈值不是固定的每换一批漆包线或调整光源都要重新统计。3.3 特征向量与判定逻辑把多个指标合成一个结论单个特征容易误判比如反光会让均值偏高但暗像素占比可能正常。我一般把面积、圆度、均值、标准差、暗像素占比组成特征向量用简单的阈值组合判定def judge_pad(area, circularity, mean_gray, std_gray, dark_ratio): # 良品参考值实际从良品样本统计 if area 500 or area 5000: return NG_AREA if circularity 0.7: return NG_SHAPE if mean_gray 120: return NG_DARK if dark_ratio 0.2: return NG_COLD if std_gray 40: return NG_OFFSET return OK逻辑说明判定顺序按缺陷严重程度排面积和形状不对直接 NG不用再算灰度。NG_COLD对应虚焊NG_OFFSET对应偏焊。返回具体 NG 类型方便产线追溯。参数说明良品参考值mean_gray120、std_gray40是示例实际要用至少 50 张良品图统计均值和标准差取均值加减 3 倍标准差作为上下限。如果产线换料重新采 20 张良品图更新阈值即可不用改代码结构。4. 避坑与排查焊盘识别翻车的五个血泪经验4.1 现象二值化后焊盘内部出现空洞面积算出来偏小原因漆包线焊盘表面有氧化层或助焊剂残留局部反光不均自适应阈值把暗区切成了背景。解决先做一次顶帽变换或 CLAHE 增强对比度再二值化。或者把blockSize从 31 调到 51让阈值参考区域更大减少局部波动影响。4.2 现象同一批产品有的图能识别有的图轮廓找不到原因相机曝光或光源亮度漂移导致部分图整体偏暗或偏亮固定阈值失效。解决在预处理前加一步自动亮度判断用图像均值做反馈动态调整二值化的C值。更稳的做法是加一个环形光源从结构上减少反光变化。4.3 现象圆度算出来总是偏低良品也被判成 NG_SHAPE原因轮廓提取时边缘有毛刺周长被高估圆度公式分母变大。解决在findContours之前做一次形态学闭运算把边缘毛刺填平或者用cv2.approxPolyDP对轮廓做多边形逼近减少点数。另外检查图像分辨率焊盘直径低于 60 像素时圆度计算本身就不稳。4.4 现象程序跑几分钟后报内存错误或越来越慢原因循环里不断创建新图像或列表没释放OpenCV 的 Mat 在 Python 里虽然自动回收但大图频繁创建会触发内存碎片。解决把 ROI 裁剪和预处理放到循环外只对 ROI 区域操作用del显式删除大图变量如果用了cv2.imshow记得在循环里调cv2.waitKey(1)否则窗口事件堆积也会拖慢。4.5 现象换了漆包线规格后原来调好的参数全部失效原因线径变了焊盘尺寸和反光特性跟着变面积阈值和灰度阈值都不适用。解决把参数抽成配置文件按线径分档存。换料时先跑 10 张新料良品图自动统计面积均值和灰度均值更新配置文件不用改代码。我一般会在程序启动时加一个--calibrate参数专门做这件事。5. 进阶技巧用 solvePnP 做焊盘三维姿态补偿前面讲的都是二维图像上的判定但实际产线里焊盘可能有轻微倾斜导致拍出来的焊盘是椭圆而不是圆圆度特征直接失效。这时候可以用 OpenCV 的solvePnP做姿态估计把倾斜角度算出来再对图像做透视校正还原成正圆后再算特征。思路是在焊盘工装上加四个已知坐标的标记点用cv2.solvePnP根据标记点在图像里的位置反推相机相对焊盘平面的旋转和平移然后用cv2.warpPerspective把图像校正到正视角。这样即使焊盘倾斜 10 度以内校正后圆度也能恢复到 0.9 以上。# 标记点在世界坐标系的坐标单位毫米 object_points np.array([ [0, 0, 0], [10, 0, 0], [10, 10, 0], [0, 10, 0] ], dtypenp.float32) # 标记点在图像里的像素坐标按实际检测结果填 image_points np.array([ [120, 80], [320, 85], [315, 280], [125, 275] ], dtypenp.float32) # 相机内参矩阵用标定板提前标定 camera_matrix np.array([ [800, 0, 320], [0, 800, 240], [0, 0, 1] ], dtypenp.float32) dist_coeffs np.zeros(5) # 求解姿态 ret, rvec, tvec cv2.solvePnP(object_points, image_points, camera_matrix, dist_coeffs) # 用旋转向量构造校正变换 rotation_matrix, _ cv2.Rodrigues(rvec) # 后续用 warpPerspective 做校正这里省略具体矩阵构造逻辑说明solvePnP需要至少四个对应点标记点坐标要精确。camera_matrix必须提前用棋盘格标定不能随便填。rvec是旋转向量tvec是平移向量拿到后可以算焊盘平面法向量判断倾斜方向。参数说明camera_matrix里的焦距800和主点(320, 240)是示例实际用cv2.calibrateCamera标定得到。如果产线相机固定不动标定一次可以长期用。dist_coeffs是畸变系数工业镜头畸变一般很小可以设为零向量但广角镜头必须标定。这个技巧的代价是增加了标定和计算开销如果产线焊盘本身很平二维特征就够用不必上 solvePnP。我一般只在圆度频繁误判、且确认是倾斜导致的时候才加这一步。另外校正后的图像要重新做 ROI 提取因为透视变换会改变焊盘位置。最后说个习惯我每调完一套参数都会把良品和各类 NG 图各存 20 张跑一遍全量测试记录误判率。产线换料或光源老化后拿这批图重新跑看误判率有没有上升上升了就重新标定。这套流程不复杂但能让你在出问题之前就发现漂移。希望帮到你。本文还有配套的精品资源点击获取
