干机器视觉这行的老伙计应该都有体会相机、镜头、光源折腾一圈最后项目能不能顺利交付往往不是靠什么花哨算法而是最基础的那步图像分割做得到不到位。Halcon里做图像分割绝大多数工业场景落到最后就是两个字——二值化。把目标从背景里干净利落地拎出来变成一个黑白分明的Region后续的测量、定位、计数、缺陷判定才有得玩。这篇文章不聊虚的我结合这些年经手的几个实际视觉项目把Halcon图像分割二值化的核心算子、参数背后的逻辑、预处理怎么配合、分割之后怎么后处理还有那些文档里根本不会写的实战经验一次性讲透。无论你是刚接触Halcon的新人还是被阈值问题折磨过的老手这文都值得你花十分钟读完。1. 二值化在整个图像处理流程里的位置1.1 分割、二值化、Region和Blob分析到底什么关系很多人刚学Halcon容易把这几个概念搅在一起我先理清图像分割是一个大类意思是把图像划分成若干个有意义的区域二值化只是分割方法里最常用的一种本质是根据灰度阈值把像素分成目标和背景两类输出一个前景为1、背景为0的二值区域。这个区域在Halcon里叫Region它不是一张图而是一种基于游程编码的集合表示。为什么工业上这么依赖二值化因为生产线上的场景相对可控光源固定、相机固定、产品位置大致固定。在这种条件下目标和背景的灰度差异通常是稳定的一个阈值就能解决90%的分割需求。后续的Blob分析连通域分析就是建立在二值化结果之上的典型套路先阈值再连接再按特征筛选最后输出结果。可以说二值化是整套视觉流程的地基地基没打好后面用什么高级算子都白搭。1.2 为什么Halcon里坚持先出Region再做后面一切Halcon的核心编程范式和其他视觉库不太一样它的中间表示是Region和XLD轮廓而不是直接操作像素矩阵。这样做有几个实打实的好处处理速度快。Region是压缩表示形态学、面积计算都只需要扫描轮廓或游程段比逐个像素快得多。特征提取极其方便。一个area_center、smallest_rectangle1就能拿到面积、重心、外接矩形不用自己写循环。显示调试直观。dev_display直接把Region叠加在图上红色边缘一圈问题一眼就能看出来。所以二值化的产出质量直接决定了后续所有算子的输入质量。如果你把阈值选在了一个不明智的位置后面做测量、做匹配都会带着系统误差而且这种误差很隐蔽不容易排查。这也是我为什么一直强调二值化这步多花十分钟调明白后面可能给你省下一整天。2. 全局阈值threshold算子与灰度直方图2.1 threshold算子的参数细节与图像位深陷阱先看最基础的算子* 把灰度值在MinGray到MaxGray之间的像素选出来 threshold (Image, Region, MinGray, MaxGray)这个算子逻辑简单到不能再简单一行代码按灰度区间切分图像。但实际用起来有几个容易翻车的点。第一个坑是图像位深。工业相机里8位图灰度范围是0到255但很多全局快门相机输出12位甚至16位图灰度范围可能到0到4095或者更大。如果你拿8位图的阈值习惯去设置12位图的阈值比如阈值设成threshold(Image, Region, 0, 200)你可能把整个目标都选不进来因为目标的灰度可能分布在300到800之间。我建议拿到图像先做两步用min_max_gray看实际灰度范围或者干脆用convert_image_type统一转成8位再做后续处理。第二个坑是彩色图没有灰度一说。read_image读进来的彩色图是多通道的直接用threshold会报错或者只处理一个通道。老老实实先用rgb1_to_gray转灰度如果彩色信息对分割有帮助也可以先用decompose3拆通道选对比度最好的那个通道来二值化。2.2 直方图怎么看阈值定在哪里最稳理论上阈值应该选在灰度直方图的谷底也就是两个峰之间的最低点。比如背景灰度集中在180附近目标灰度集中在40附近那你把阈值定在90到120之间随便一个值都能把两者分开。问题是现实中的直方图很少这么教科书经常有噪声毛刺、光照渐变导致谷底不明显。我的调试习惯是先在Halcon的灰度直方图窗口里用交互工具手动拖动阈值范围快速确认大概哪个区间能把目标完整抠出来然后再把具体的MinGray、MaxGray固化到代码里。同时配合gray_histo算子拿到区域的直方图数据* 先框出一个目标区域再看这个区域的灰度分布 gray_histo (ROI, Image, AbsoluteHisto, RelativeHisto)如果直方图出现多峰说明图里可能不止两类物体这时候一段式全局阈值就不够用了得考虑多阈值或者分区域处理。2.3 全局阈值最大的隐患光照一变就翻车固定阈值最大的问题是鲁棒性差。某汽车零部件工厂的项目白天和夜间的环境光会透过防护罩缝隙漏进设备同一个产品同一套参数上午检测良率97%下午就跌到82%。原因就是全局灰度整体偏移了十几个灰度级固定阈值90把一半的目标都切碎了。这种问题的根治办法是用相对阈值而不是绝对阈值要么用自动阈值要么做背景差分动态阈值。我后面专门讲这两种方案。这里先记住一个结论如果项目现场的光照条件不是严格恒定的就别偷懒用固定阈值上线。3. 自动阈值binary_threshold与auto_threshold怎么选3.1 binary_threshold的max_separability为什么最常用Halcon里最常见的自动阈值算子是binary_thresholdbinary_threshold (Image, Region, Method, LightDark, UsedThreshold)Method参数常用两种max_separability和smooth_histo。其中max_separability就是工业界熟知的Otsu大津法思路核心思想是遍历所有可能的阈值找一个让目标类内部灰度方差 背景类内部灰度方差之和最小的点。换句话说让分割后的两类各自内部越紧凑越好这样两类之间的界限就最清晰。这个方法的优势在于它不要求直方图有特别明显的双峰只要两类灰度的整体分布能拉开它就能算出一个相对合理的分割点。我在实际项目里凡是光照相对稳定、目标占比不过分悬殊的场景首选都是max_separability。用它还有个好处输出参数UsedThreshold会给出算法实际选中的阈值。这个值别浪费把它写到日志里后面做参数监控和SPC分析都有用。LightDark参数我多说一句dark表示目标比背景暗light表示目标比背景亮。新手最常见的错误就是把方向选反了结果分割出来的是背景而不是目标。选完之后用dev_display看一眼边缘叠加方向反了立刻就能发现。3.2 smooth_histo和isodata各自适合什么场景smooth_histo的思路是先对直方图做平滑然后在两个峰值之间找最小点作为阈值。它对直方图的形态要求比较高必须是明显的双峰分布才靠谱。什么时候用它比如透明瓶子里装深色液体液体和背景灰度差巨大直方图两个峰隔得很远用smooth_histo能稳定地把液体区域切出来。isodata是一种迭代阈值法先取一个初始阈值把像素分成两类计算两类的平均灰度取平均值作为新阈值反复迭代直到阈值不再变化。它的特点是计算简单但收敛结果对初始值敏感。说实话在Halcon的自动阈值里isodata用的场景相对少多数情况下max_separability已经够用了。我的建议是不要贪多把max_separability用熟遇到双峰特别明显的再试smooth_histo就行。3.3 auto_threshold的多区域语义auto_threshold和binary_threshold有个本质区别它不是一个阈值切一刀而是通过平滑直方图后找零交叉点把直方图按多个谷底切成多个灰度区间每个区间生成一个Region最后返回一个Region数组。Sigma参数控制直方图平滑程度Sigma越大直方图峰谷越少分割出的区域类别越少。什么场景需要它一次分割出多个灰度层级的物体。比如药片检测同一张图里既有白色药片、又有浅黄药片、还有深色杂质用binary_threshold只能分出一类而auto_threshold可以一次把三类都粗分出来然后再分别做select_shape筛选。实际使用中我一般会先count_obj看看返回了几个Region再逐个调select_shape而不是指望一次分割完美。4. 光照不均的解法动态阈值与背景差分4.1 dyn_threshold的工作原理当光照不均匀、背景灰度本身不是一个稳定的平面时全局阈值哪怕是自动阈值也不一定可靠。比如金属零件表面有弧面反光同一块背景灰度能差出60个灰度级这时候固定阈值切下去要么背景残留要么目标丢失。dyn_threshold解决的是这个问题。它的原理说白了一句话拿原图去和一个背景估计图做逐像素比较差异超过Offset的像素才是目标。背景估计图通常就是原图做均值滤波或中值滤波后的结果。mean_image (GrayImage, Mean, 21, 21) dyn_threshold (GrayImage, Mean, RegionDiff, Offset, dark)这里dark表示选出原图比背景估计图暗Offset以上的像素也就是局部暗斑。light则相反选亮斑。Offset是灵敏度调节Offset越大越难被选中漏检越多Offset越小越容易选中误检越多。它本质上是要求目标与周围背景的差异必须足够大才认所以对全局光照漂移不敏感。4.2 背景估计的核尺寸怎么选dyn_threshold的效果60%取决于背景估计图做得好不好。均值滤波的核宽MaskWidth和MaskHeight是个关键参数。我总结的经验是核尺寸至少要达到目标尺寸的2到3倍。原因是如果核比目标还小均值滤波会把目标自身的灰度也平均进背景估计图里导致背景里也包含了目标差分之后目标边缘信号被削弱小缺陷就漏掉了。下面是我常用的核尺寸参考目标缺陷直径均值核尺寸备注2~3像素11~15用于细小划痕、针孔5~10像素21~31常规表面缺陷检测20像素以上51~101大块污渍、渐变暗斑注意核尺寸只是起点实际还要结合图像分辨率调整。如果缺陷边缘有模糊过渡可以适当增大核让背景估计更钝这样差分出来的目标边缘更完整。4.3 Offset的调参顺序和判断方法Offset是动态阈值里唯一需要手调的参数也是大家最没把握的参数。我建议按这个顺序来先设一个偏大的Offset比如20跑一遍看结果。这时候能检出的肯定都是特别明显的暗斑或亮斑。逐步减小Offset比如从20降到15、10、8、6每档都观察目标是否完整、是否开始出现明显噪点块。找到缺陷刚好完整、噪点还没大面积出现的临界区间取中间值固化为最终参数。这里有个判断噪点的好办法分割出来的Region一定会有很多小碎块观察这些碎块是随机分布还是集中在某些固定区域。随机分布的碎块大概率是噪声集中在特定位置的碎块要小心可能是真实缺陷。最终筛选噪点的任务不需要全靠Offset完成后面用select_shape按面积过滤是最常规的手段别指望一步到位。5. 分割之后的区域后处理与特征筛选5.1 connection把一团Region拆成一个个独立对象阈值分割出来的结果通常是一个整体Region它可能包含了几十个互不相连的目标。connection算子会把一个Region按连通性拆分成多个独立Region。Halcon默认按8邻域连通判断。这个算子是Blob分析的分水岭拆分之后每个Region才能被单独测量和评判。connection (RegionBinary, ConnectedRegions) count_obj (ConnectedRegions, NumObjects)拆分之后第一件事就是count_obj看一眼目标数量是否合理。如果数量爆炸说明分割过碎如果数量为零说明阈值方向反了或者Offset太大。这个快速校验习惯能帮你省掉大量调试时间。5.2 select_shape特征筛选才是二值化真正发力点拆分之后的每个Region都有几十个几何和其他特征select_shape按特征范围筛出符合条件的Region。这才是二值化的威力所在它不只是把图像分开而是能在分割的基础上直接把我要的目标和我不要的干扰分开。select_shape (ConnectedRegions, SelectedRegions, [area, circularity], and, [100, 0.3], [5000, 1.0])常用特征我整理了一张表特征名含义典型用途area区域面积像素数过滤小噪点和超大团块circularity圆度圆为1越不规则越小筛选圆形缺陷或圆形目标compactness紧凑度圆为1越不规则越大与circularity互补使用width / height外接矩形宽高尺寸粗筛row / column重心坐标区域定位holes孔洞数量判断区域内部是否异常contlength轮廓长度筛选边界粗糙的目标注意新版Halcon13以后支持一次传入多个特征的元组写法旧版则要多次调用select_shape逐个条件筛选。老项目迁移到新版本时这里是最容易报语法错的地方之一。5.3 形态学处理开运算消噪点、闭运算填空洞二值化后的Region不一定干净常见两种毛病目标内部有黑洞目标周围有毛刺和孤立噪点。形态学就是为这两类问题而生的。* 开运算先腐蚀再膨胀去掉小噪点和细毛刺 opening_circle (RegionBinary, RegionOpened, 3.5) * 闭运算先膨胀再腐蚀填平小空洞和缺口 closing_circle (RegionBinary, RegionClosed, 3.5) * 直接把所有孔洞填满只保留外轮廓 fill_up (RegionBinary, RegionFilled)开运算对二值区域的效果可以理解为所有比结构元素小的高亮噪声区域会被直接移除同时区域的细小突出也会被磨平。闭运算则相反补上比结构元素小的黑色空洞。实际项目里我的常用顺序是先connection再按面积粗筛一次再对每个目标做开闭运算最后再select_shape精筛。先连后处理的好处是像素级的形态学操作量少跑得快。还有个小技巧fill_up会把所有孔洞都填上但如果有些孔洞其实是真实缺陷特征比如药片上的破损就不能无脑填充要用fill_up_shape按孔洞的尺寸特征来选择性地填充或者干脆保留孔洞并把holes特征纳入筛选。6. 完整实战金属零件表面暗斑缺陷检测6.1 场景描述与图像预处理用一个我实际做过的项目来串一遍全流程某机械加工厂需要对车削后的金属圆盘做表面检测主要找两类缺陷暗色氧化斑和细小划痕。成像条件是环形光源低角度照明缺陷表现为比背景暗的区域但由于零件表面是弧面背景灰度并不均匀从边缘到中心有渐变。拿到图像后我不急着做阈值先走三步预处理read_image (Image, metal_disk.png) rgb1_to_gray (Image, GrayImage) median_image (GrayImage, Median, circle, 3, mirrored)中值滤波选半径3的圆形核目的是去掉传感器噪点和极盐噪声同时尽量保留边缘的锐利程度。直方图看一眼背景主要灰度在150到220之间缺陷区域在60到130之间分布有重叠区域直接全局阈值风险不小。这种背景渐变 目标低对比的场景正是动态阈值的适用区。6.2 先提取ROI再做动态阈值分割因为每次拍摄零件的位置有小幅偏移我不直接在整图上做动态阈值先做一步ROI提取把零件本体圈出来再做后续处理。这样有两个好处一是大幅减少计算量二是避免背景支架、夹具边缘的干扰。* 第一步提取零件主体作为ROI亮目标 threshold (Median, Workpiece, 120, 255) connection (Workpiece, WorkpieceConn) select_shape_std (WorkpieceConn, ROI, max_area, 70) reduce_domain (Median, ROI, ImageReduced) * 第二步在ROI内部做背景差分分割暗缺陷 mean_image (ImageReduced, Mean, 21, 21) dyn_threshold (ImageReduced, Mean, DefectsRaw, 8, dark)select_shape_std里的max_area直接选出面积最大的Region这比用select_shape手写面积上下限更省心。reduce_domain把后续处理限制在ROI内部这一步千万别省略它能让程序运行速度快一个量级。动态阈值这一步选均值核21、Offset为8是根据缺陷尺寸约5到10像素、图像噪声标准差约3这个前提试出来的。如果Offset设成5碎块暴增设成15浅划痕就检不出来了。8是在这一组样本上的折中值。6.3 特征筛选、计数与结果显示拿到原始缺陷Region之后我按面积和圆度把真正的缺陷筛出来* 第三步连通域拆分与特征筛选 connection (DefectsRaw, DefectsConn) select_shape (DefectsConn, Defects, [area, circularity], and, [20, 0.15], [5000, 1.0]) * 第四步计数与结果显示 count_obj (Defects, NumDefects) dev_clear_window () dev_display (Image) dev_set_color (red) dev_set_draw (margin) dev_set_line_width (3) dev_display (Defects)筛选逻辑说明面积下限20是为了去掉动态阈值残留的小碎点圆度下限0.15是为了排除细长形油污擦痕这类不算缺陷是擦拭不干净的工艺问题。上限5000和1.0基本是放开限制防止区域过大或完全圆形导致误排除。这套流程上线后在样本集中的检出率达到98%以上过检率控制在2%以内。整个程序从读图到输出结果单张耗时80毫秒左右满足产线节拍。关键不是单张跑得多快而是参数在30张不同光照、不同位置样本上都稳定这才是能上线的底线。7. 常见问题与排查经验实录7.1 分割结果忽大忽小今天一个样明天一个样先查光源再查参数。我遇到过最离谱的一次是产线工人把环形光源的角度拧歪了3度缺陷对比度直接掉了三分之一。这种问题用动态阈值能减轻但不能完全消除。正确的排查顺序是先固定相机增益和曝光时间确认打光结构没有变化再用一张标准样件跑一遍binary_threshold拿UsedThreshold连续记录几天。如果阈值漂移超过15个灰度级就说明物理硬件有变化优先处理现场而不是改代码。7.2 二值化后碎片噪点太多噪点多通常有四个修复方向预处理加中值滤波、开运算抹除小区域、select_shape加面积下限、动态阈值把Offset调大。按这个顺序试90%的噪点问题能解决。需要特别注意不要为了去噪把Offset调得过大导致真正的细小缺陷也丢失了。去噪优先级永远是先保住真实目标再压缩噪点。7.3 目标和背景灰度几乎重合怎么都分不开这种情况要回到采集端想办法。最常见的原因是光源选型不对比如用同轴光打在透明或有纹理的物体上目标与背景反射差异太小。换个思路尝试不同波长的光源红光、蓝光、红外或者改变照射角度高角度、低角度、背光目标对比度往往立刻改善。如果采集端没法改再考虑用emphasize或scale_image_max提升对比度或者用彩色图拆分通道找到对比度最好的单通道来二值化。分割问题能在采图端解决就别硬扛算法端。7.4 新旧版本Halcon算子写法不兼容Halcon 13之后很多算子改成了元组参数风格最大的坑就在select_shape和connection这类算子。旧代码是这样写的select_shape (Regions, Selected, area, and, 100, 5000)新版推荐写成select_shape (Regions, Selected, [area], and, [100], [5000])功能一样但旧写法在部分新版本里会出现参数位数不匹配的警告。迁移老项目时第一步就是把所有select_shape、select_gray这类多特征算子统一改成元组形式。另外read_image读取多通道图的行为在新旧版本也有差异建议统一走rgb1_to_gray或decompose3不要依赖默认行为。最后分享一个我个人的工作习惯调参时永远不要用一张图调到完美就收工。每换一组阈值至少要在一批覆盖了光照变化、位置偏移、缺陷形态差异的样本上跑一遍统计把误检率、漏检率都算出来。二值化这步看着简单但真正让它变得可靠的是反复验证和参数落档。把这个基础功夫做扎实了你的视觉项目才谈得上稳定交付。
首尾+随机访问)
