前阵子把 OpenCV 的两个经典项目重新过了一遍——图像拼接与答题卡识别。说实话这两个功能一听名字都挺唬人图像拼接像是要做全景照片答题卡识别像是要训练一个阅卷系统。但真正把代码一行行写下来才发现它们的核心并没有想象中那么玄本质都是“先搞清楚图像之间的空间关系再做精确的像素级判断”。这篇就把我从原理到实现、再到调试踩坑的完整过程整理出来给正在学 OpenCV、想做实战项目练手的读者一个可以直接照抄的参考也聊聊哪些步骤容易翻车。1. 两个项目背后的共同思路为什么把它们放在一起学图像拼接和答题卡识别表面上一个是几何变换一个是图像内容理解似乎没什么交集。但它们的内核高度一致第一步都是预处理第二步都是定位关键区域第三步都是做几何变换最后一步才是真正的逻辑判断。图像拼接多张照片之间找到匹配的特征点算出单应性矩阵把一张图扭到另一张图的坐标系里然后融合像素。答题卡识别从扫描图或拍照图里找到卡片轮廓做透视矫正把卡片拉正再靠二值化和轮廓分析定位每一道题的涂卡区域最后统计每个选项的黑色像素占比判断考生涂了哪个。也就是说两者都依赖“特征点/轮廓定位 单应变换 像素统计”这三板斧。学的时候放一起效率很高每个新概念都能在另一个项目里再见到一次记忆比单刷强太多。我自己的建议是先做图像拼接再做答题卡识别。因为拼接对特征匹配的要求更高RANSAC 剔除误匹配这些概念先在这里建立直觉回头做答题卡时就顺很多。而答题卡识别对几何矫正的要求更具体透视变换练扎实了后面不管做文档扫描、车牌矫正还是其他视觉项目都能直接复用。2. 图像拼接第一关特征点检测、描述与匹配2.1 特征点算法怎么选拼接的核心是先找“两张图里同一个位置”的点。OpenCV 里常见的特征算法有 SIFT、SURF、ORB。我直接给结论拼接场景优先用 SIFT或者它的改进版本。ORB 虽然快但尺度不变性弱照片如果一张近一张远匹配效果会明显变差。SIFT 匹配质量稳代价是慢不过对小尺寸图像拼接完全够用。需要注意OpenCV 4.x 之后 SIFT 和 SURF 从主库移到了 contrib 模块需要装 opencv-contrib-python。import cv2 img_left cv2.imread(left.jpg) img_right cv2.imread(right.jpg) gray_left cv2.cvtColor(img_left, cv2.COLOR_BGR2GRAY) gray_right cv2.cvtColor(img_right, cv2.COLOR_BGR2GRAY) sift cv2.SIFT_create() kp1, des1 sift.detectAndCompute(gray_left, None) kp2, des2 sift.detectAndCompute(gray_right, None)2.2 匹配不是越多越好要过滤拿到两组描述子之后最简单的做法是暴力匹配但直接暴力匹配的结果里必然混着大量错配。我常用的方案是先 BFMatcher 做 KNN 匹配再套 Lowe 的比值筛选最近邻距离如果比次近邻距离小很多说明这个匹配是可靠的如果两个距离差不多说明特征点区分度低宁可丢掉也不要留。bf cv2.BFMatcher() matches bf.knnMatch(des1, des2, k2) good [] for m, n in matches: if m.distance 0.75 * n.distance: good.append(m) print(匹配对数:, len(good))0.75 是 Lowe 论文里建议的经验值实际可以按图调整。如果匹配对太少把阈值放宽到 0.8 再跑一次看效果。我自己的经验是拼接场景里稳定匹配对最好不少于 30 对低于这个数就说明两张图重叠区域太小或者拍摄角度差异太大后面就算能拼出来也容易变形。2.3 单应性矩阵为什么必须用 RANSAC从匹配点对计算两张图的变换关系时最忌讳的做法是直接用最小二乘把所有点都塞进去求解。因为匹配里只要有少量错误点计算出来的矩阵就会偏掉甚至把整张图扭成麻花。RANSAC 的思路是不断随机拿出一小组点算候选矩阵再统计这个矩阵能支持多少其他匹配点最后选支持数最多的那个。pts_left np.float32([kp1[m.queryIdx].pt for m in good]).reshape(-1, 1, 2) pts_right np.float32([kp2[m.trainIdx].pt for m in good]).reshape(-1, 1, 2) H, mask cv2.findHomography(pts_right, pts_left, cv2.RANSAC, 5.0)注意参数的语义这里我把右图的点作为源左图的点作为目标得到的是“把右图映射到左图坐标系”的单应矩阵。5.0 是 RANSAC 的容许重投影误差单位是像素调小代表要求更严格。提示拼接前先确认两张图尺寸差得不多。如果一张是 4000x3000另一张是 1000x750最好先统一尺寸再跑特征点否则特征点数量、匹配效果都会不稳定最后拼接图像大小也很难控制。3. 图像拼接第二关透视变换与融合的实操细节3.1 warpPerspective 之后的画布问题拿到 H 矩阵之后用 warpPerspective 把右图变换到左图坐标系。但这里有一个坑left.jpg 的图像坐标系只在它自己的宽高范围内有意义直接对右图做变换变换后的点可能落在负坐标或者超出画布边界的地方。所以不能直接用原图尺寸做输出要先算右图四个角点变换后的坐标范围再据此决定输出画布的大小和整体平移量。h1, w1 img_left.shape[:2] h2, w2 img_right.shape[:2] corners np.float32([[0, 0], [0, h2], [w2, h2], [w2, 0]]).reshape(-1, 1, 2) transformed_corners cv2.perspectiveTransform(corners, H) all_corners np.vstack((transformed_corners, np.float32([[0, 0], [0, h1], [w1, h1], [w1, 0]]).reshape(-1, 1, 2))) x_min, y_min np.int32(all_corners.min(axis0).ravel()) x_max, y_max np.int32(all_corners.max(axis0).ravel()) translation np.array([[1, 0, -x_min], [0, 1, -y_min], [0, 0, 1]], dtypenp.float64) canvas cv2.warpPerspective(img_right, translation H, (x_max - x_min, y_max - y_min))这套做法很通用先做“预变换”计算所有角点在最终画布中的范围再用平移矩阵把内容挪到正坐标区域。很多刚上手的人直接拿原图尺寸当输出最后发现拼接结果缺了一大块就是少了这一步。然后把左图贴到画布的对应位置canvas[-y_min:-y_min h1, -x_min:-x_min w1] img_left重叠区域直接用后者覆盖前者接缝处会非常突兀。更自然的做法是在重叠区域做线性加权的 alpha 融合越靠近左图越以左图像素为主越靠近右图越以右图像素为主。alpha 值可以按像素所在 x 坐标在重叠区域内归一化得到简单有效代码也就多了几行。3.2 多图拼接时的顺序策略两张图拼通以后自然会想试三张四张。我的建议是不要顺着拍
