一、模块概述
OpenCV 的 Calib3d 模块主要提供相机校准和 3D 重建相关的功能。通过该模块，我们可以对相机进行标定以去除镜头畸变，还能从 2D 图像中恢复 3D 信息。下面将详细介绍该模块的主要类和函数，以及它们在不同应用场景中的实现。
二、主要函数详解
（一）相机校准相关函数
1. cv.findChessboardCorners()
- 功能：在图像中查找棋盘格角点。
- 参数：
image：输入的灰度图像。patternSize：棋盘格内角点的行数和列数（如(7, 7)表示 7 行 7 列）。flags：用于指定查找角点的方法，如cv.CALIB_CB_ADAPTIVE_THRESH等。
- 返回值：
ret：是否成功找到角点的布尔值。corners：找到的角点坐标。
示例代码
python
import cv2 as cv
import numpy as np# 读取图像
img = cv.imread('chessboard.jpg')
gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)# 棋盘格内角点的行数和列数
pattern_size = (7, 7)# 查找角点
ret, corners = cv.findChessboardCorners(gray, pattern_size)if ret:# 绘制角点cv.drawChessboardCorners(img, pattern_size, corners, ret)cv.imshow('Corners', img)cv.waitKey(0)
2. cv.calibrateCamera()
- 功能：对相机进行校准，计算相机的内参矩阵、畸变系数等。
- 参数：
objectPoints：世界坐标系中棋盘格角点的三维坐标。imagePoints：图像中对应的角点坐标。imageSize：图像的尺寸。cameraMatrix：输出的相机内参矩阵。distCoeffs：输出的畸变系数。rvecs：输出的旋转向量。tvecs：输出的平移向量。
- 返回值：
ret：校准的重投影误差。
示例代码
python
import cv2 as cv
import numpy as np# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []# 读取一系列图像
for i in range(1, 11):img = cv.imread(f'chessboard_{i}.jpg')gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)ret, corners = cv.findChessboardCorners(gray, pattern_size)if ret:objpoints.append(objp)imgpoints.append(corners)# 图像尺寸
image_size = (img.shape[1], img.shape[0])# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)print(f"重投影误差: {ret}")
print(f"相机内参矩阵: \n{camera_matrix}")
print(f"畸变系数: \n{dist_coeffs}")
（二）3D 重建相关函数
1. cv.solvePnP()
- 功能：根据 3D 点和对应的 2D 点求解相机的位姿（旋转和平移）。
- 参数：
objectPoints：世界坐标系中 3D 点的坐标。imagePoints：图像中对应的 2D 点坐标。cameraMatrix：相机的内参矩阵。distCoeffs：相机的畸变系数。rvec：输出的旋转向量。tvec：输出的平移向量。
- 返回值：
ret：是否成功求解的布尔值。
示例代码
python
import cv2 as cv
import numpy as np# 相机内参矩阵和畸变系数（假设已经通过校准得到）
camera_matrix = np.array([[1000, 0, 320], [0, 1000, 240], [0, 0, 1]], dtype=np.float32)
dist_coeffs = np.zeros((5, 1), dtype=np.float32)# 世界坐标系中 3D 点的坐标
object_points = np.array([[0, 0, 0], [1, 0, 0], [0, 1, 0], [0, 0, 1]], dtype=np.float32)
# 图像中对应的 2D 点坐标
image_points = np.array([[100, 100], [200, 100], [100, 200], [100, 100]], dtype=np.float32)# 求解相机位姿
ret, rvec, tvec = cv.solvePnP(object_points, image_points, camera_matrix, dist_coeffs)if ret:print(f"旋转向量: \n{rvec}")print(f"平移向量: \n{tvec}")
2. cv.reprojectImageTo3D()
- 功能：将视差图转换为 3D 点云。
- 参数：
disparity：输入的视差图。Q：用于从视差图恢复 3D 信息的重投影矩阵。
- 返回值：
points_3d：输出的 3D 点云。
示例代码
python
import cv2 as cv
import numpy as np# 假设已经有视差图和重投影矩阵
disparity = cv.imread('disparity_map.png', cv.IMREAD_GRAYSCALE)
Q = np.array([[1, 0, 0, -320], [0, 1, 0, -240], [0, 0, 0, 1000], [0, 0, 1 / 100, 0]], dtype=np.float32)# 从视差图恢复 3D 点云
points_3d = cv.reprojectImageTo3D(disparity, Q)print(f"3D 点云形状: {points_3d.shape}")
三、应用场景实现
（一）相机标定（用于去除镜头畸变）
相机标定的主要目的是计算相机的内参矩阵和畸变系数，以便对图像进行去畸变处理。以下是一个完整的相机标定和去畸变的示例代码：
python
import cv2 as cv
import numpy as np# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []# 读取一系列图像
for i in range(1, 11):img = cv.imread(f'chessboard_{i}.jpg')gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)ret, corners = cv.findChessboardCorners(gray, pattern_size)if ret:objpoints.append(objp)imgpoints.append(corners)# 图像尺寸
image_size = (img.shape[1], img.shape[0])# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)# 读取待去畸变的图像
img = cv.imread('test_image.jpg')# 去畸变
undistorted_img = cv.undistort(img, camera_matrix, dist_coeffs)cv.imshow('Original Image', img)
cv.imshow('Undistorted Image', undistorted_img)
cv.waitKey(0)
（二）3D 重建（如从 2D 图像恢复 3D 信息）
以下是一个简单的从 2D 图像对进行 3D 重建的示例代码，包括相机校准、求解相机位姿和恢复 3D 点云：
python
import cv2 as cv
import numpy as np# 棋盘格内角点的行数和列数
pattern_size = (7, 7)
# 世界坐标系中棋盘格角点的三维坐标
objp = np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2)# 存储世界坐标系和图像坐标系中的点
objpoints = []
imgpoints = []# 读取一系列图像
for i in range(1, 11):img = cv.imread(f'chessboard_{i}.jpg')gray = cv.cvtColor(img, cv.COLOR_BGR2GRAY)ret, corners = cv.findChessboardCorners(gray, pattern_size)if ret:objpoints.append(objp)imgpoints.append(corners)# 图像尺寸
image_size = (img.shape[1], img.shape[0])# 相机校准
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv.calibrateCamera(objpoints, imgpoints, image_size, None, None)# 读取左右图像
img_left = cv.imread('left_image.jpg')
img_right = cv.imread('right_image.jpg')# 转换为灰度图像
gray_left = cv.cvtColor(img_left, cv.COLOR_BGR2GRAY)
gray_right = cv.cvtColor(img_right, cv.COLOR_BGR2GRAY)# 创建立体匹配器
stereo = cv.StereoBM_create(numDisparities=16, blockSize=15)
# 计算视差图
disparity = stereo.compute(gray_left, gray_right)# 计算重投影矩阵
R = np.eye(3)
T = np.array([[100, 0, 0]]).T
Q = cv.stereoRectify(camera_matrix, dist_coeffs, camera_matrix, dist_coeffs, image_size, R, T)[4]# 从视差图恢复 3D 点云
points_3d = cv.reprojectImageTo3D(disparity, Q)print(f"3D 点云形状: {points_3d.shape}")
四、注意事项
- 棋盘格图像：在进行相机标定时，需要使用一系列不同角度和位置的棋盘格图像，以确保校准结果的准确性。
- 图像质量：图像的质量会影响角点检测和 3D 重建的结果，因此应尽量使用清晰、光照均匀的图像。
- 参数选择：在使用
cv.StereoBM_create()等函数时，需要根据实际情况选择合适的参数，如numDisparities和blockSize等。
通过以上内容，你可以了解到 Calib3d 模块的主要功能和使用方法，以及如何在不同的应用场景中实现相机标定和 3D 重建。
