刚入行做视觉检测那几年我最大的困惑是为什么每个新项目都要把代码推倒重来今天检测手机外壳划痕明天检测印刷品脏点后天检测五金件尺寸表面看是完全不同的活但拆开来看无非是图像采集、预处理、缺陷分割、特征提取、分类判定这几板斧。可实际开发时很多人还是每个项目从零搭一套流程连图像读取、参数配置、结果输出的代码都要重新写一遍。直到后来我参与了一个需要同时兼容七八种产品检测需求的框架设计才真正想明白一件事视觉检测框架的灵活性不是靠堆功能实现的而是靠把易变的部分和稳定的部分彻底切开。易变的部分包括光源方案、相机角度、算法参数、缺陷类别稳定的部分包括图像采集流程、处理管线、结果判定逻辑、数据存储结构。框架要做的就是把稳定的部分做成骨架把易变的部分全部交给配置和插件。这篇文章我就结合自己做视觉检测框架的实战经验聊聊如何设计一套能适配各类产品检测场景的柔性框架。内容偏工程落地不讲虚的适合正在做视觉检测平台、或者想把自己手头零散检测代码整理成框架的工程师参考。1. 先搞清楚检测框架的可变维度到底有哪些设计框架之前得先回答一个问题不同产品的检测需求到底差在哪里把这个问清楚了框架该在哪些地方留接口、哪些地方做抽象才会有依据。我梳理过自己经手的项目发现产品检测场景的差异主要体现在四个维度上。第一个维度是检测目标差异。有的产品要检测外观缺陷比如划伤、脏污、压伤有的要检测尺寸偏差比如长宽高、孔径、同心度还有的要检测装配完整性比如螺丝有没有锁到位、卡扣有没有扣紧。这些目标不同直接决定了图像处理算法的选择——外观缺陷大概率要走形态学分割加特征筛选尺寸测量要走边缘提取加亚像素拟合装配检测往往要依赖模板匹配或深度学习目标检测。第二个维度是成像环境差异。同一个产品放在不同产线上光源类型、打光方式、相机型号、拍摄角度都可能不一样。明场、暗场、同轴光、背光、条纹光各有各的适用场景框架得能适应不同成像条件下图片的灰度分布特征差异。第三个维度是缺陷形态差异。以印刷品检测为例常见的缺陷有刀丝、漏印、套印不准、墨杠以金属表面检测为例常见的有划痕、凹陷、麻点、氧化色差。同样是找缺陷不同缺陷的灰度特征、形状特征、纹理特征差异极大对应的分割参数、判据规则也完全不同。第四个维度是判定标准差异。同一个缺陷在A客户那边算良品在B客户那边可能就算不良品。判定的临界值、区域权重、缺陷面积阈值都是跟着客户需求走的这部分必须是现场可调的不能写死在程序里。搞清楚这四个维度框架设计的思路就清楚了检测目标决定算法流程的模板成像环境决定预处理链路的差异缺陷形态决定特征算子和判据的多样性判定标准决定规则引擎必须是配置驱动的。所以搭框架的第一步不是急着写代码而是先把这几层可变性想明白否则后面很容易做成一个大而全但谁也伺候不好的怪物。我在做框架原型的时候用了一招简单但有效的方法把算法模块之间的流转写死把模块内部的参数和策略全部做成配置。这样检测流程的主骨架稳定而每个环节的行为可以被配置彻底改变兼顾了稳定和灵活两头。2. 框架的核心抽象把检测流程拆成可插拔的流程节点一个检测框架能不能灵活适配场景关键看流程组织方式。很多失败的框架问题就出在流程是散落的函数调用改一个环节要牵连一片代码。我的做法是把整个检测流程抽象成一条由节点组成的流水线每个节点只干一件事节点之间通过统一的数据结构传递中间结果。2.1 流程节点的划分粒度节点的粒度划分很讲究划粗了复用性差划细了配置繁琐。从我的实际经验看标准检测流程拆成以下六个节点比较合适图像采集、图像预处理、目标定位、缺陷分割、特征提取、分类判定。图像采集节点负责从相机、本地文件、网络图片池等来源读取图像同时做基础的格式校验和位深转换。图像预处理节点负责打光不均校正、滤波去噪、对比度增强、几何校正这些通用操作。目标定位节点负责找到待检区域在哪里比如定位手机壳的边框位置、印刷品的套印标记目的是把后续算法约束在感兴趣区域内。缺陷分割节点负责把潜在的缺陷候选区域从背景中分离出来通常输出的是二值掩膜。特征提取节点负责对每个候选区域计算面积、周长、长宽比、灰度均值、纹理特征等描述子。分类判定节点则基于特征值结合规则或模型决定这个候选区到底是缺陷还是干扰是良品还是不良品。每个节点定义好输入输出接口内部怎么实现完全不管。这样做的直接好处是换一种产品只需要重新组合节点顺序、替换某个节点的具体实现主框架代码一行都不用改。2.2 中间数据结构的定义节点之间传递的数据结构是框架设计中最容易被忽略但又最重要的一环。我的定义是一个统一的检测上下文对象包含原始图像、当前处理图像、定位结果、候选缺陷列表、特征矩阵、判定结果、以及一条算法运行日志。强调几点经验。第一尽量让节点之间传递图像时用统一的图像格式和坐标空间避免每个节点各搞一套坐标系否则后面做缺陷框回映射到原图时会乱套。第二缺陷候选区必须记录其所在的层级因为有的缺陷是在全图上分割出来的有的是在某个定位区域内二次分割出来的层级信息对后续判定很重要。第三运行日志不能省每条检测记录带上前置节点的关键参数值出问题时能快速复盘。2.3 节点组合的两种方式流程节点的组合方式我建议支持两种。一种是静态管道模式即预先定义好固定的节点顺序把配置文件加载后按序执行。另一种是动态分派模式即根据图像内容或产品类型自动计算走哪条分支。动态分派模式在复杂场景下很好用比如先对图像做一次粗分类判断当前来料是A面还是B面然后走不同的检测子流程。这里给一个简化版的节点调度伪代码展示框架的组织思路class DetectPipeline: def __init__(self, nodes_config): self.nodes [] for item in nodes_config: node_type item[type] node_params item[params] node NodeRegistry.create_node(node_type, node_params) self.nodes.append(node) def execute(self, ctx): for node in self.nodes: ctx node.run(ctx) if ctx.should_abort(): break return ctx看起来很简单但实际运行时每个节点都要支持启停、跳过、替代这三个操作。启停好理解跳过是指当图像不满足某前置条件时直接略过后续节点替代是指当某个算法在当前参数下效果不佳时可以自动切换备选算法而不需要人工介入。这三个操作配合配置文件的控制字段就能覆盖绝大多数现场情况。3. 配置体系怎么设计算法参数与业务逻辑彻底分离有了流程节点下一步就是解决参数配置的问题。这是框架灵活性的核心环节也是现场工程师最爱抱怨的地方——要么参数没法调要么改参数要改代码重启程序。3.1 配置文件的层级结构我的配置体系分三层全局限定层、产品定义层、批次覆盖层。全局限定层保存框架级的通用配置比如图像保存路径、日志级别、默认相机参数等这部分基本固定。产品定义层是针对具体产品的一套完整检测配置包括流程节点列表、每个节点的算法参数、判定规则、良品率统计口径等。批次覆盖层是现场临时调整用的比如某批来料和之前没什么差别但客户突然说线上光源变暗了需要临时调高对比度增益这时就通过批次级配置覆盖产品配置中的某个参数不用动产品主配置。阈值写法上有讲究我一般推荐配置文件里不直接写死数值而是写成带变量引用的表达式。例如某个缺陷的面积阈值不写min_area 50而是写成min_area ${param.area_base} * ${param.area_scale}这样现场调整时只需要改一个基准值关联参数自动联动。3.2 用配置中心管理多产品切换当产品种类超过五六个以后配置文件散落在各个目录里会非常痛苦。我后面的做法是引入一个简单的配置中心按产品编号建立索引每次产线切换产品时框架自动根据当前批次的产品编号加载对应配置并且在切换时做一次配置完整性校验。配置完整性校验极其重要我吃过不少亏。经常出现的情况是新加了一个产品配置忘了填某个必要字段程序运行到一半直接崩溃或者检测结果异常但日志里看不出原因。后来我强制要求配置文件在加载时做模式校验所有必填字段缺失时直接拒绝启动并且给出具体是哪个节点、哪个字段缺失的提示。这个设计看似增加了前期工作量但现场省下来的排查时间远超预期。3.3 参数热更新与版本回滚视觉检测产线最忌讳频繁停机参数热更新就成了一个刚需。我的实现方案是检测框架每隔几秒检查一下配置文件的更新时间戳如果检测到变化就把当前正在跑的一轮检测跑完然后在下一轮图像进来之前重新加载配置。这样既不会出现参数改了但本轮图像用了旧参数造成的混乱也不会打断产线运行。有热更新就一定要有版本回滚。我在配置文件里加入了一个简单的版本字段和变更历史记录每次修改自动生成一个新的版本号同时保留上一份可用版本。如果现场调参调坏了快速切回上一个版本即可。千万别小看这个功能产线半夜出异常的时候能一键回滚比什么都宝贵。4. 适配各类检测场景的算法组合策略框架搭好之后能不能适配具体场景拼的就是算法组合的积累。这一节我把自己在用的一些组合策略列出来重点是思路。4.1 外观缺陷检测场景的算法组合外观缺陷检测核心诉求是别漏判。我通常的预处理链路是先做同态滤波或背景扣除把光照不均的影响去掉然后根据缺陷类型选择分割算法。如果缺陷是暗场下的亮斑用全局或者局部自适应阈值都能有不错的效果如果是低对比度的划痕直接用阈值很难分割出来我会先做各向异性扩散滤波保留边缘再通过频域滤波增强线状特征最后结合形态学顶帽操作把划痕从背景中分离出来。分割完的二值图会有大量噪点和小干扰块这时从特征提取到分类判定的规则设计就很关键。一般来说我会对每个候选缺陷区域计算面积、周长、最小外接矩形长宽比、灰度对比度这几个基础特征然后根据历史良品样本划分可信区间。对拿不准的候选区引入一个轻量级的检测模型做二次确认是效率比较高的做法。传统视觉负责确定性的、可解释的缺陷模型负责模糊的、难以用规则描述的缺陷两者互补比单靠哪一种都稳。4.2 尺寸测量场景的算法组合尺寸测量和缺陷检测的思路很不一样它追求的是准和稳像素级别的误差都要控制。尺寸测量场景我通常不做复杂的预处理因为预处理里的滤波操作往往会模糊边缘直接影响测量精度。我的做法是优先保证成像均匀然后在边缘提取环节下功夫。用一个具体的例子来说明测量一个圆形工件的直径。第一步先用灰度重心法粗定位圆心把搜索区域缩小第二步在搜索区域内做亚像素边缘提取常用的是灰度插值加高斯拟合找到边缘点的精确位置第三步对边缘点做圆拟合用最小二乘法或更稳健的随机采样一致算法剔除离群点最后根据像素尺寸标定系数换算成物理尺寸。这里有个很实用的技巧做边缘提取前先对图像做一次直方图拉伸确保边缘处的灰度过渡足够陡峭能明显提高亚像素定位的重复精度。4.3 装配完整性检测场景的算法组合装配完整性检测核心是夹具到位没、螺丝有没有、卡扣扣上没。这类场景最怕的是部件颜色相近、反光强导致特征不明显。我通常先做模板匹配粗定位再基于定位结果做局部区域的差异分析。与常见的差异模型做减影类似拿标准模板图和待检图在同一位置做灰度差分差分结果超过阈值的区域就是潜在异常区。但这个方案有一个致命弱点待检产品不能有太大的位置偏差。所以框架里一定得有一个可靠的定位前处理。我一般会先用边缘特征匹配算出一个粗略的仿射变换矩阵然后做像素级微调保证后面差分区域严格对齐。如果产品本身有轻微形变我还会在局部区域做二次配准避免形变区域误报为缺陷。这套组合下来的误报率比直接拿模板图做减影低了一个数量级。4.4 性能调优策略框架要适配多个场景性能问题也无法回避。视觉检测往往要求几十毫秒内出结果算法节点组合不当性能直接崩盘。几个我实测有效的方法第一定位结果缓存。如果同一批次的产品位置偏差不大首帧做一次精定位之后后续帧可以直接用上一次的定位结果做小幅搜索省掉大部分模板匹配耗时。第二ROI裁剪前置。在预处理前先基于粗定位结果把感兴趣区域裁剪出来后续算法只在小图上跑速度提升非常明显。第三图像金字塔降采样配合粗筛先用低分辨率快速排除大多数不可能是缺陷的区域剩下的小区域再上高分辨率精查。这三个策略做进去之后框架基本能适应大多数产线的节拍要求。5. 场景适配的实战落地切换产品线的全过程复盘理论说了一堆落到实际项目里到底是什么感觉我用一个完整的切换案例来还原。5.1 场景描述与需求转化某个代工厂的产线需要共线检测两种差异很大的产品一种是金属外壳主要检测表面划痕和凹坑另一种是透明塑料件主要检测内部气泡和外部流痕。这两种产品外观差异大检测目标也完全不同但共用一套工装和上位机系统。客户要求切换产品时操作员改一下工单号就能自动切换检测方案不能同时维护两套独立的检测软件。我把需求拆成了下面这张表维度金属外壳透明塑料件光源类型明场低角度环形光背光同轴光预处理重点反射不均校正对比度增强抑制灰尘干扰定位方式边缘轮廓匹配模板匹配边缘校验缺陷分割形态学顶帽阈值灰度梯度区域生长分类判定面积/长宽比规则圆形度深度方向灰度分布规则可以看到两个产品在每一个节点上的具体实现都不同。如果按照传统方式这就是两套代码但在框架体系下只是两份不同的配置文件。5.2 配置编写与灰度验证过程我先为两种产品分别编写了完整的配置文件然后分别拉了几百张真实产线图片做离线回放验证。离线回放这个步骤值得多说一句它比在线跑更有利于调试因为可以看到每一帧图像在每个节点上的中间结果。我会刻意输出节点中间结果到调试目录逐张翻看缺陷分割环节的掩膜确认缺陷都被分割出来且干扰被抑制。回放中发现透明塑料件有一个典型的坑灰尘和气泡在灰度图上长得非常像单纯靠形状特征很难区分。后来我加了一个特征——边缘的清晰度气泡的边缘通常是光滑的弧线灰尘的边缘是毛糙不规则的不均匀过渡。这个特征加入判定节点之后误判率明显下降。验证通过后我在产线上做了小批量试跑重点看两方面一是切换产品时的配置加载速度二是连续运行时的稳定性。实测中单个配置加载大约200毫秒完全满足换产品时的节拍要求连续运行八个小时没有出现内存泄漏或者配置丢失的问题。5.3 现场调参踩过的真实坑现场调参阶段我踩过几个印象深刻的坑写出来供大家参考。第一个坑是改了配置但不生效。排查了很久才发现是配置文件的多级继承关系出了问题产品配置覆盖了全局配置中的一项但操作员改的是全局配置里的同名参数系统默认产品配置优先级高所以怎么改都无效。后来我在参数校验日志里加了本次实际生效参数表每次运行前打印一遍这个问题再也没出现过。第二个坑是热更新时图像撕裂。刚开始实现热更新时直接在主处理线程里重新加载配置结果有一帧图像正处于预处理阶段突然换了参数导致后续节点拿到的中间结果完全错乱还特别难复现。后来把配置加载放到一个单独的线程并且加了当前帧处理完成之后再应用新配置的机制才算彻底解决。第三个坑是算法参数写得太离散现场没法微调。一开始每个产品的阈值都写成独立的硬编码数字现场产品批次发生变化时操作员不敢动参数每次都得找我远程调。后来我总结了一套更合理的参数命名方式把参数按缺陷类型特征类型环节三层来组织比如scratch.min_area、scratch.min_contrast、bubble.max_roundness。操作员拿到配置后看到名字就能大概知道是管什么的自己就能尝试调整效率高了很多。6. 框架演进的方向从复用积木到自学习配置框架做完之后我一直在想一个问题能不能让这套框架越来越聪明减少人工调参的依赖目前我尝试了一个方向积累评判规则。框架每跑一轮检测我都把图像、中间分割结果、特征向量、人工复判结果这几样东西存进一个样本库。当某个产品的误判样本积累到一定量后就可以用这批样本自动校准判定阈值或者训练一个针对该产品的轻量级分类模型。这相当于给框架加了一个经验沉淀的能力时间越长针对这个产品场景的检测效果越稳定。另一个方向是把常用算法组合沉淀为可复用的检测模板。比如我把金属表面检测的整套流程抽象成了表面金属检测模板把透明件检测抽象成了透明材质制品检测模板。新项目来的时候不需要从零开始配参数只需要选择一个最接近的模板然后根据新产品做局部调整。模板的积累才是框架灵活性最实在的体现配置架构设计得再好模板库里空荡荡的也没意义。回头看我最初做框架的动机其实很简单——不想每个项目都重复造轮子。但做着做着发现框架带来的收益远不止省代码更重要的是它逼着你去思考什么是业务本质、什么是易变需求这种思考深度是写十个独立项目都换不来的。如果你也打算梳理手头的检测代码我的建议是别一上来就追求大而全先把手头两三个最典型的项目流程吃透抽象出上面说的那四个可变维度然后一个一个维度地把接缝做干净。框架不是一次设计出来的是随着项目迭代慢慢长出来的保持重构的节奏比憋一个大招更重要。
