【深度学习】OpenCV 图像拼接——SIFT特征匹配与透视变换实战
OpenCV 图像拼接——SIFT特征匹配与透视变换实战一、图像拼接概述1. 案例效果预览2. 什么是图像拼接3. 图像拼接完整流程二、案例实现1. 定义特征检测函数2. 定义图像显示函数3. 提取图像特征点4. 特征点匹配暴力匹配 K近邻BFMatcher 暴力匹配器K近邻匹配参数说明返回值说明5. 绘制匹配结果6. 计算透视变换矩阵7. 透视变换与图像拼接8. 完整代码汇总一、图像拼接概述1. 案例效果预览左图为待拼接图像1右图为待拼接图像2经过图像拼接处理后得到全景拼接结果2. 什么是图像拼接图像拼接Image Stitching是指将多张具有重叠区域的图像合成为一张大图的技术。该技术在计算机视觉和图像处理领域应用广泛主要包括全景图像创建如手机全景模式大幅面照片合成无人机航拍图像拼接医学影像拼接3. 图像拼接完整流程图像拼接通常包含以下七个步骤步骤1加载图像—— 使用cv2.imread()加载待拼接的图像步骤2特征点检测与描述—— 使用 SIFT、ORB 等算法提取图像中的特征点及其描述符步骤3特征点匹配—— 使用 KNN 匹配等算法找到两幅图像间的对应关系步骤4图像配准—— 使用 RANSAC 等算法估计两幅图像间的变换矩阵仿射变换或透视变换步骤5图像变换与拼接—— 利用估计的变换矩阵对图像进行变换并拼接步骤6图像调整—— 对拼接结果进行融合平滑处理消除拼接缝二、案例实现1. 定义特征检测函数importcv2importnumpyasnpimportsysdefdetectAndDescribe(image): 检测图像中的SIFT关键点并计算描述符 参数 image: 输入图像BGR格式 返回 kps: 关键点对象列表 kps_float: 关键点坐标数组浮点数 des: 关键点描述符矩阵 graycv2.cvtColor(image,cv2.COLOR_BGR2GRAY)descriptorcv2.SIFT_create()(kps,des)descriptor.detectAndCompute(gray,None)# 将关键点坐标转换为浮点数数组kps_floatnp.float32([kp.ptforkpinkps])return(kps,kps_float,des)2. 定义图像显示函数defcv_show(name,img):显示图像的辅助函数cv2.imshow(name,img)cv2.waitKey(0)cv2.destroyAllWindows()3. 提取图像特征点# 读取待拼接的两张图像imageAcv2.imread(1.jpg)cv_show(imageA,imageA)imageBcv2.imread(2.jpg)cv_show(imageB,imageB)# 计算两张图像的特征点及描述符(kpsA,kps_floatA,desA)detectAndDescribe(imageA)(kpsB,kps_floatB,desB)detectAndDescribe(imageB)调试模式下查看返回数据kps关键点对象列表包含坐标、尺度、方向等信息des描述符矩阵每行对应一个关键点的 128 维特征向量4. 特征点匹配暴力匹配 K近邻BFMatcher 暴力匹配器在图像处理中特征点匹配是指在不同图像中找到对应的特征点。BFMatcherBrute-Force Matcher通过计算两个特征向量集合中所有特征点之间的距离如欧氏距离、汉明距离等选择距离最近的作为匹配点。K近邻匹配# 创建暴力匹配器matchercv2.BFMatcher()# 使用 KNN 匹配K2对 desB 中的每个描述符在 desA 中查找两个最近邻rawMatchesmatcher.knnMatch(desB,desA,2)good[]# 存放匹配成功的特征点对matches[]# 存放匹配成功的两个点的索引forminrawMatches:# 当最近距离与次近距离的比值小于 0.65 时保留此匹配对iflen(m)2andm[0].distance0.65*m[1].distance:good.append(m)matches.append((m[0].trainIdx,m[0].queryIdx))print(f匹配成功的特征点个数:{len(good)})print(f匹配点索引:{matches})参数说明参数说明queryDescriptors匹配图像A的描述符trainDescriptors匹配图像B的描述符K最佳匹配的描述符个数一般取 K2mask可选掩码用于过滤不需要匹配的特征点返回值说明distance匹配特征点描述符的欧氏距离数值越小表示特征越相近queryIdx测试图像特征点描述符的下标trainIdx样本图像特征点描述符的下标5. 绘制匹配结果# 绘制两组关键点的匹配结果viscv2.drawMatchesKnn(imageB,kpsB,imageA,kpsA,good,None,flagscv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)cv_show(keypoint matches,vis)6. 计算透视变换矩阵# 透视变换要求至少 4 个匹配点iflen(matches)4:# 分别获取匹配成功的 A 图和 B 图中点的坐标ptsAnp.float32([kps_floatA[i]for(i,_)inmatches])ptsBnp.float32([kps_floatB[i]for(_,i)inmatches])# 使用 RANSAC 算法估计透视变换矩阵(H,mask)cv2.findHomography(ptsB,ptsA,cv2.RANSAC,10)else:print(未找到 4 个以上的匹配点)sys.exit()7. 透视变换与图像拼接# 根据透视变换矩阵 H 将图像 B 进行变换# 输出图像宽度为两张图像宽度之和高度取图像 B 的高度resultcv2.warpPerspective(imageB,H,(imageB.shape[1]imageA.shape[1],imageB.shape[0]))cv_show(resultB,result)# 将图像 A 填充到结果图像的左侧result[0:imageA.shape[0],0:imageA.shape[1]]imageA cv_show(result,result)8. 完整代码汇总importcv2importnumpyasnpimportsysdefcv_show(name,img):cv2.imshow(name,img)cv2.waitKey(0)cv2.destroyAllWindows()defdetectAndDescribe(image):graycv2.cvtColor(image,cv2.COLOR_BGR2GRAY)descriptorcv2.SIFT_create()(kps,des)descriptor.detectAndCompute(gray,None)kps_floatnp.float32([kp.ptforkpinkps])return(kps,kps_float,des)# 读取图像imageAcv2.imread(1.jpg)cv_show(imageA,imageA)imageBcv2.imread(2.jpg)cv_show(imageB,imageB)# 提取特征(kpsA,kps_floatA,desA)detectAndDescribe(imageA)(kpsB,kps_floatB,desB)detectAndDescribe(imageB)# 特征匹配matchercv2.BFMatcher()rawMatchesmatcher.knnMatch(desB,desA,2)good[]matches[]forminrawMatches:iflen(m)2andm[0].distance0.65*m[1].distance:good.append(m)matches.append((m[0].trainIdx,m[0].queryIdx))print(f匹配成功的特征点个数:{len(good)})# 绘制匹配结果viscv2.drawMatchesKnn(imageB,kpsB,imageA,kpsA,good,None,flagscv2.DRAW_MATCHES_FLAGS_DRAW_RICH_KEYPOINTS)cv_show(keypoint matches,vis)# 计算透视变换矩阵iflen(matches)4:ptsAnp.float32([kps_floatA[i]for(i,_)inmatches])ptsBnp.float32([kps_floatB[i]for(_,i)inmatches])(H,mask)cv2.findHomography(ptsB,ptsA,cv2.RANSAC,10)else:print(未找到 4 个以上的匹配点)sys.exit()# 透视变换与拼接resultcv2.warpPerspective(imageB,H,(imageB.shape[1]imageA.shape[1],imageB.shape[0]))result[0:imageA.shape[0],0:imageA.shape[1]]imageA cv_show(result,result)
