1. 引言

在工业视觉系统中，相机是获取外部世界信息的核心传感器。通过计算机视觉算法，可以将相机采集的二维图像转换为可分析、可测量的数据。

然而，普通相机获取的是二维像素信息，而真实工业场景通常需要：

• 物体尺寸测量
• 空间位置定位
• 平面姿态分析
• 三维距离计算
• 机器人坐标转换

这些任务都需要解决一个核心问题：如何建立图像坐标与真实世界坐标之间的关系。

OpenCV 提供了完整的视觉计算工具链，包括：相机模型建立、相机标定、畸变校正、单目测量、双目立体视觉、三维重建、坐标转换、透视变换。

本文将结合 Python + OpenCV，系统介绍工业视觉中的单目与双目视觉技术。

一、工业视觉中的单目与双目系统

1.1 单目视觉

单目视觉指使用一个摄像机完成视觉任务。

真实世界 → Camera → 二维图像

单目相机只能直接获得：X方向像素、Y方向像素、灰度信息、RGB颜色信息。

例如：image[y,x] 表示图像中某个像素。

但是单目系统存在天然限制：二维图像 (x,y) 无法直接获得 (x,y,z) 中的深度 Z 信息。

因此：单目视觉通常需要结合已知尺寸、标定信息、平面约束、几何模型实现测量。

1.2 双目视觉

双目视觉模拟人眼，通过两个相机观察同一个目标。

两个相机具有不同观察角度。同一个空间点在左图 (x1,y1)、右图 (x2,y2) 两个位置存在差异：视差 disparity。

通过视差计算深度：Z = f * B / d

其中：Z = 目标距离，f = 焦距，B = 双目基线距离，d = 视差。

二、相机模型

2.1 针孔相机模型

工业相机通常使用针孔模型描述。空间点 P(X,Y,Z) 经过投影变成图像点 p(x,y)。

数学模型：s * [x, y, 1] = K * [R | T] * [X, Y, Z, 1]

其中内参矩阵 K 包含焦距 fx/fy 和主点 cx/cy。外参矩阵描述相机坐标系与世界坐标系之间的关系，包括旋转 R 和平移 T。

内参矩阵 K 的具体形式：

K = | fx 0 cx |
| 0 fy cy |
| 0 0 1 |

其中：

• fx = f * dx：X方向焦距（像素单位），f为物理焦距，dx为像素尺寸
• fy = f * dy：Y方向焦距（像素单位）
• cx = cx + cx0：主点坐标，cx0为图像中心偏移量
• cy = cy + cy0：主点坐标

2.2 外参矩阵

外参矩阵 [R | T] 描述相机坐标系与世界坐标系之间的变换关系：

• R：3x3 旋转矩阵，描述相机姿态
• T：3x1 平移向量，描述相机光心在世界坐标系中的位置

投影方程：Xc = R * Xw + T

将世界坐标转换为相机坐标后，再通过内参矩阵投影到图像平面。

三、坐标系统

工业视觉中常见的坐标系及其转换关系：

3.1 世界坐标系

描述目标在真实物理空间中的位置，用 Pw(Xw, Yw, Zw) 表示。坐标系原点可任意设定，通常以设备平台或工件夹具为参考。

3.2 相机坐标系

以相机光心 Oc 为原点，Zc 轴沿光轴方向。用 Pc(Xc, Yc, Zc) 表示。

3.3 图像坐标系

以图像左上角为原点 (0,0)，单位为毫米。用 (x, y) 表示。

3.4 像素坐标系

以图像左上角为原点 (0,0)，单位为像素。用 (u, v) 表示。

3.5 坐标转换流程

世界坐标 →(旋转R, 平移T)→ 相机坐标 →(内参K)→ 像素坐标

像素坐标转换公式：

• u = fx * Xc/Zc + cx
• v = fy * Yc/Zc + cy

四、相机畸变模型

真实镜头并不是理想针孔模型，存在多种畸变。

4.1 径向畸变

由镜头曲面引起，表现为直线在图像中弯曲。

桶形畸变（广角镜头常见）：直线向外弯曲
枕形畸变（长焦镜头常见）：直线向内弯曲

校正模型：

• x_corrected = x * (1 + k1r^2 + k2r^4 + k3*r^6)
• y_corrected = y * (1 + k1r^2 + k2r^4 + k3*r^6)

其中 r^2 = x^2 + y^2，k1、k2、k3 为径向畸变系数。

4.2 切向畸变

由于镜头与成像平面不完全平行引起，表现为物体倾斜或偏移。

校正模型：

• x_corrected = x + 2p1xy + p2(r^2 + 2*x^2)
• y_corrected = y + p1*(r^2 + 2y^2) + 2p2xy

其中 p1、p2 为切向畸变系数。

4.3 OpenCV 畸变系数

OpenCV 中畸变系数向量为：distCoeffs = [k1, k2, p1, p2, k3[, k4, k5, k6]]

标准标定返回5个系数，高级模型可支持8个系数。

五、单目标定详解

5.1 为什么需要标定

相机标定的目的：

• 获得内参矩阵 K（焦距、主点）
• 获得畸变参数 D（k1, k2, p1, p2, k3）
• 用于图像矫正、尺寸测量、坐标转换

5.2 标定板

常用标定板类型对比：

标定板类型	优点	缺点	适用场景
棋盘格	角点检测精度高，实现简单	需要高对比度，对光照敏感	通用场景
圆点阵列	对光照不敏感，鲁棒性好	角点定位精度略低	工业环境
混合标定板	结合棋盘格和圆点	实现复杂	高精度需求

常用棋盘格参数：9x6 或 11x8（内部角点数），格子尺寸 10mm~25mm。

5.3 OpenCV 标定流程

完整流程：

1. 采集棋盘图像（15~25张，不同角度和位置）
2. 检测角点（cv2.findChessboardCorners）
3. 亚像素优化（cv2.cornerSubPix）
4. 计算相机参数（cv2.calibrateCamera）
5. 评估标定质量（重投影误差）
6. 保存参数（用于后续处理）

5.4 单目标定完整代码示例

import cv2
import numpy as np
import glob

# 1. 准备标定板的世界坐标
chessboard_size = (9, 6)  # 内部角点数量
square_size = 25.0        # 棋盘格实际尺寸(mm)
objp = np.zeros((chessboard_size[0] * chessboard_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:chessboard_size[0], 0:chessboard_size[1]].T.reshape(-1, 2) * square_size

obj_points = []  # 3D世界坐标点
img_points = []  # 2D图像坐标点

# 2. 读取标定图像并检测角点
images = glob.glob('calibration_images/*.jpg')
for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    
    ret, corners = cv2.findChessboardCorners(gray, chessboard_size, None)
    if ret:
        obj_points.append(objp)
        # 亚像素级角点优化
        criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
        corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
        img_points.append(corners2)
        
        # 可视化检测结果
        cv2.drawChessboardCorners(img, chessboard_size, corners2, ret)
        cv2.imshow('Calibration', img)
        cv2.waitKey(500)
cv2.destroyAllWindows()

print(f'成功检测 {len(obj_points)} 张图像')

# 3. 执行相机标定
ret, camera_matrix, dist_coeffs, rvecs, tvecs = cv2.calibrateCamera(
    obj_points, img_points, gray.shape[::-1], None, None
)

print(f'标定 RMS 误差: {ret:.4f}')
print('Camera Matrix:\n', camera_matrix)
print('Distortion Coeffs:\n', dist_coeffs.ravel())

# 4. 保存标定参数
import pickle
with open('calibration_params.pkl', 'wb') as f:
    pickle.dump({
        'camera_matrix': camera_matrix,
        'dist_coeffs': dist_coeffs,
        'rvecs': rvecs,
        'tvecs': tvecs
    }, f)

5.5 标定质量评估

重投影误差是评估标定质量的核心指标：

• RMS 误差 < 0.5 像素：优秀
• RMS 误差 0.5~1.0 像素：可接受
• RMS 误差 > 1.0 像素：需重新标定

六、畸变校正

获得参数后，使用 cv2.undistort 进行图像矫正。

import cv2
import numpy as np

# 读取畸变图像
img = cv2.imread('distorted_image.jpg')
h, w = img.shape[:2]

# 获取最优新相机矩阵
# alpha=0: 裁剪黑边，alpha=1: 保留全部视野
new_camera_matrix, roi = cv2.getOptimalNewCameraMatrix(
    camera_matrix, dist_coeffs, (w, h), 1, (w, h)
)

# 执行畸变校正
dst = cv2.undistort(img, camera_matrix, dist_coeffs, None, new_camera_matrix)

# 裁剪ROI区域
x, y, w, h = roi
dst = dst[y:y+h, x:x+w]

cv2.imshow('Undistorted', dst)
cv2.waitKey(0)
cv2.destroyAllWindows()

实时视频流优化

对于视频流处理，预计算映射表可显著提升性能：

# 预计算映射表（只需计算一次）
map1x, map1y = cv2.initUndistortRectifyMap(
    camera_matrix, dist_coeffs, None, new_camera_matrix, 
    (w, h), cv2.CV_32F
)

# 逐帧校正（高速）
for frame in video_stream:
    rectified = cv2.remap(frame, map1x, map1y, cv2.INTER_LINEAR)

七、透视变换

7.1 为什么需要透视变换

相机倾斜观察平面时产生梯形畸变，需要校正为正视图。

典型应用场景：

• 文档扫描校正
• PCB板检测
• 工件平面测量

7.2 单应矩阵与完整代码示例

通过四个对应点计算透视变换矩阵：

import cv2
import numpy as np

img = cv2.imread('tilted_document.jpg')

# 定义原图中四个角点的坐标 (左上, 右上, 左下, 右下)
src_pts = np.float32([
    [56, 65],
    [368, 52],
    [273, 700],
    [401, 680]
])

# 定义变换后目标图像的四个角点坐标
dst_pts = np.float32([
    [0, 0],
    [400, 0],
    [0, 700],
    [400, 700]
])

# 计算透视变换矩阵
M = cv2.getPerspectiveTransform(src_pts, dst_pts)

# 执行透视变换
warped = cv2.warpPerspective(img, M, (400, 700))

cv2.imshow('Original', img)
cv2.imshow('Perspective Transform', warped)
cv2.waitKey(0)
cv2.destroyAllWindows()

7.3 透视变换在测量中的应用

透视变换可将倾斜拍摄的工件图像校正为正视图，然后进行精确的像素到毫米的换算：

# 已知标定板在图像中的像素尺寸和实际尺寸
pixel_per_mm = 10.5  # 像素/毫米（通过标定板计算）

# 测量校正后图像中的距离
def measure_distance(img, pt1, pt2, pixel_per_mm):
    distance_px = np.sqrt((pt2[0]-pt1[0])**2 + (pt2[1]-pt1[1])**2)
    return distance_px / pixel_per_mm

八、双目标定

双目系统需要同时标定两个相机，得到：

• 左相机内参 KL、畸变参数 DL
• 右相机内参 KR、畸变参数 DR
• 两相机关系：旋转矩阵 R、平移向量 T（基线向量）

8.1 双目标定完整代码流程

import cv2
import numpy as np
import glob

chessboard_size = (9, 6)
square_size = 25.0
objp = np.zeros((chessboard_size[0] * chessboard_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:chessboard_size[0], 0:chessboard_size[1]].T.reshape(-1, 2) * square_size

obj_points = []
img_points_left = []
img_points_right = []

left_files = sorted(glob.glob('stereo_calib/left*.jpg'))
right_files = sorted(glob.glob('stereo_calib/right*.jpg'))

criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# 左右相机分别检测角点
for l_file, r_file in zip(left_files, right_files):
    img_l = cv2.imread(l_file)
    img_r = cv2.imread(r_file)
    gray_l = cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY)
    gray_r = cv2.cvtColor(img_r, cv2.COLOR_BGR2GRAY)
    
    ret_l, corners_l = cv2.findChessboardCorners(gray_l, chessboard_size, None)
    ret_r, corners_r = cv2.findChessboardCorners(gray_r, chessboard_size, None)
    
    if ret_l and ret_r:
        obj_points.append(objp)
        corners_l = cv2.cornerSubPix(gray_l, corners_l, (11, 11), (-1, -1), criteria)
        corners_r = cv2.cornerSubPix(gray_r, corners_r, (11, 11), (-1, -1), criteria)
        img_points_left.append(corners_l)
        img_points_right.append(corners_r)

# 执行双目标定
ret, KL, DL, KR, DR, R, T, E, F = cv2.stereoCalibrate(
    obj_points, img_points_left, img_points_right,
    KL, DL, KR, DR, gray_l.shape[::-1],
    criteria=criteria, flags=cv2.CALIB_FIX_INTRINSIC
)

print(f'Stereo Calibration Error: {ret:.4f}')
print('Rotation Matrix:\n', R)
print('Translation Vector:\n', T.ravel())
print(f'Baseline (m): {np.linalg.norm(T):.4f}')

8.2 双目标定返回参数说明

参数	含义	维度
ret	重投影误差(RMS)	float
KL	左相机内参矩阵	3x3
DL	左相机畸变系数	1x5
KR	右相机内参矩阵	3x3
DR	右相机畸变系数	1x5
R	左相机到右相机的旋转矩阵	3x3
T	基线向量（平移）	3x1
E	本质矩阵	3x3
F	基础矩阵	3x3

九、双目立体校正

由于两个相机角度不同，图像不能直接匹配。需要校正使左右图像中同一物体位于同一水平线上。

# 基于双目标定结果计算立体校正参数
R1, R2, P1, P2, Q, roi1, roi2 = cv2.stereoRectify(
    KL, DL, KR, DR, gray_l.shape[::-1], R, T
)

# 生成查找表（预计算，只需一次）
map1x, map1y = cv2.initUndistortRectifyMap(KL, DL, R1, P1, gray_l.shape[::-1], cv2.CV_32F)
map2x, map2y = cv2.initUndistortRectifyMap(KR, DR, R2, P2, gray_r.shape[::-1], cv2.CV_32F)

# 应用校正
rectified_left = cv2.remap(img_l, map1x, map1y, cv2.INTER_LINEAR)
rectified_right = cv2.remap(img_r, map2x, map2y, cv2.INTER_LINEAR)

# 验证校正效果：同一水平线上的点应具有相同Y坐标
# 可绘制极线进行验证

立体校正的目标：

• 左右图像的主极线水平化
• 同一三维点在左右图像中具有相同的 Y 坐标
• 便于后续视差计算（只需在一行内搜索）

十、视差计算

10.1 什么是视差

同一个空间点在左图投影为 xL，在右图投影为 xR，两者的差值即为视差：

d = xL - xR

视差与深度的关系：Z = f * B / d

视差越大 → 目标越近；视差越小 → 目标越远。

10.2 OpenCV 实现 - StereoBM

import cv2
import numpy as np

# 转为灰度图
left_gray = cv2.cvtColor(rectified_left, cv2.COLOR_BGR2GRAY)
right_gray = cv2.cvtColor(rectified_right, cv2.COLOR_BGR2GRAY)

# 使用 StereoBM 算法
stereo = cv2.StereoBM_create(numDisparities=64, blockSize=15)

# 计算视差图
disparity = stereo.compute(left_gray, right_gray)

# 归一化视差图用于显示
disp_normalized = cv2.normalize(disparity, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U)
cv2.imshow('Disparity Map', disp_normalized)
cv2.waitKey(0)

10.3 StereoBM vs StereoSGBM 对比

特性	StereoBM	StereoSGBM
速度	快	较慢
精度	中等	较高
弱纹理处理	差	较好（使用全局优化）
参数数量	少	多（需调优）
适用场景	实时处理	高精度需求

StereoSGBM 使用示例：

# StereoSGBM 参数配置
sgbm = cv2.StereoSGBM_create(
    minDisparity=0,
    numDisparities=64,       # 必须为16的倍数
    blockSize=15,            # 奇数，3~11
    uniquenessRatio=10,      # 最佳匹配与次佳匹配的比值
    speckleWindowSize=100,   # 斑点滤波窗口大小
    speckleRange=32,         # 灰度变化范围
    disp12MaxDiff=1,         # 左右一致性检查阈值
    P1=600,                  # 一阶差分惩罚系数
    P2=2400                  # 二阶差分惩罚系数
)

disparity = sgbm.compute(left_gray, right_gray)

十一、三维重建与点云可视化

11.1 三维点云生成

通过视差恢复空间坐标：

# 基于重投影矩阵 Q 生成三维点云
points_3d = cv2.reprojectImageTo3D(disparity, Q)

# 过滤无效点（去除无穷大和NaN）
mask = disparity > disparity.min()
valid_points = points_3d[mask]

print(f'有效点数: {len(valid_points)}')
print(f'示例点: {valid_points[0]}')  # [X, Y, Z] 单位与标定板尺寸单位一致

11.2 三维点云可视化示例

import open3d as o3d

# 将OpenCV生成的点云转换为Open3D格式
pcd = o3d.geometry.PointCloud()
pcd.points = o3d.utility.Vector3dVector(valid_points.reshape(-1, 3))

# 降采样以提升渲染性能
pcd = pcd.voxel_down_sample(voxel_size=1.0)

# 可视化
o3d.visualization.draw_geometries(
    [pcd],
    window_name='3D Point Cloud',
    width=1024, height=768
)

11.3 深度图生成与保存

# 生成深度图（单通道，单位mm）
depth_map = cv2.reprojectImageTo3D(disparity, Q)
depth_map = depth_map[:, :, 2]  # 取Z通道

# 保存为16位图像
cv2.imwrite('depth_map.png', depth_map.astype(np.uint16))

# 可视化深度图
depth_normalized = cv2.normalize(depth_map, None, 0, 255, cv2.NORM_MINMAX, cv2.CV_8U)
cv2.imshow('Depth Map', depth_normalized)
cv2.waitKey(0)

十二、单目测量与双目测量区别

项目	单目	双目
成本	低	高
结构	简单	复杂
深度信息	弱（需已知尺寸）	强（直接计算）
测量距离	有限	较强
标定难度	低	高
计算量	低	高
应用	二维尺寸、定位	三维测量、体积计算

12.1 单目测量方法

单目测量需要已知参考信息：

• 已知物体尺寸：通过像素比例换算
• 已知平面约束：通过单应矩阵映射
• 已知运动信息：通过运动恢复结构（SfM）

12.2 双目测量方法

双目测量直接获取深度信息：

• 立体匹配 → 视差图 → 三维坐标
• 适用于任意距离的三维测量
• 无需预先知道物体尺寸

十三、工业视觉工程流程

完整的工业视觉系统开发流程：

相机安装
    ↓
采集图像（标定板 + 工件）
    ↓
相机标定（获取内参和畸变）
    ↓
畸变校正（去除镜头畸变）
    ↓
图像处理（增强、边缘检测等）
    ↓
坐标转换（像素→世界坐标）
    ↓
尺寸计算（测量目标尺寸）
    ↓
输出结果（判断合格/不合格）

13.1 各阶段关键要点

阶段	关键任务	注意事项
相机安装	刚性固定、避免振动	使用工业级支架，定期校验
图像采集	均匀光照、适当曝光	避免过曝和欠曝，使用频闪光源
相机标定	多角度采集、覆盖视野	至少15张，覆盖四角和中心
畸变校正	使用最优相机矩阵	根据ROI设置alpha参数
图像处理	针对性增强	避免过度增强引入噪声
坐标转换	精确的像素-毫米映射	定期重新标定
尺寸计算	亚像素精度测量	使用拟合算法提高精度

十四、工程实践注意事项

14.1 标定环境必须稳定

避免以下因素：

• 相机移动或振动
• 镜头松动或变焦
• 光照变化（使用稳定光源）
• 温度剧烈变化（导致热漂移）

14.2 标定板质量影响精度

建议：

• 使用高精度打印或蚀刻标定板
• 平整安装，避免弯曲
• 覆盖整个视野（四角和边缘都要有标定板图像）
• 定期更换标定板（磨损会影响精度）

14.3 双目标定注意基线

基线选择原则：

• 基线越大 → 深度精度越高，但近距离视野减少
• 基线越小 → 视野更大，但远距离精度下降
• 需要根据实际测量距离范围选择合适基线

14.4 光照与补光建议

• 使用漫射光源，避免镜面反射
• 根据检测目标选择光源颜色（红色增强金属表面，蓝色增强塑料）
• 工业环境建议使用频闪光源，消除环境光干扰
• 光源角度影响表面特征可见性，需反复调试

十五、参数调优指南

15.1 单目标定参数建议

参数/条件	推荐值/建议	说明
标定图像数量	15~25张	覆盖不同倾斜角度和位置
棋盘格尺寸	9x6 或 11x8	角点越多精度越高
重投影误差阈值	< 0.5 pixel	超过需检查标定板或重新采集
标定板覆盖	视野80%以上	边缘畸变需充分采样
亚像素优化窗口	(11,11)	过大引入噪声，过小精度不足

15.2 StereoBM 参数调优

参数	推荐范围	调优建议
numDisparities	64~256	必须为16的倍数，根据最大预期视差设定
blockSize	9~21	奇数，越大越平滑但细节丢失
uniquenessRatio	5~15	越大匹配越严格，减少误匹配
textureThreshold	10~30	过低导致弱纹理区域产生噪声
speckleWindowSize	50~200	去除小面积噪声斑点

15.3 双目基线选择建议

测量距离	推荐基线	说明
< 0.5m	60~100mm	近距离高精度
0.5~2m	100~200mm	通用工业检测
2~10m	200~500mm	远距离大范围测量
> 10m	> 500mm	需配合长焦镜头

十六、常见问题与避坑指南

序号	问题描述	原因分析	解决方案
1	重投影误差过大	标定板检测不准或图像过少	检查角点检测，增加多角度图像
2	校正后图像边缘黑边	畸变过大或ROI设置不当	使用getOptimalNewCameraMatrix调整alpha
3	视差图全黑/全白	numDisparities设置不合理	根据实际场景调整搜索范围
4	立体匹配出现竖条纹	左右图像未严格行对齐	检查立体校正参数，重新执行stereoRectify
5	三维点云呈弯曲状	基线或焦距标定不准	重新双目标定，确保标定板覆盖完整视野
6	角点检测失败	光照不均或标定板反光	使用漫反射标定板，均匀补光
7	测量结果随距离漂移	镜头热漂移或安装松动	定期重新标定，使用工业级固定支架
8	弱纹理区域匹配失败	StereoBM依赖纹理特征	改用StereoSGBM或添加结构光辅助
9	透视变换后图像模糊	目标分辨率高于源图	确保变换后尺寸不超过原始分辨率
10	双目标定R/T异常	左右相机时间不同步	使用硬件触发同步采集

十七、工业视觉方案选型对比

方案	原理	精度	成本	适用场景	局限性
单目视觉	针孔模型+平面约束	中	低	二维尺寸测量、定位、OCR	无法直接获取深度
双目立体视觉	视差三角测量	中高	中	三维测量、避障、体积计算	弱纹理区域匹配困难
结构光	投射已知图案+解码	高	中高	高精度三维扫描、缺陷检测	环境光干扰、帧率受限
ToF相机	飞行时间测距	中低	中高	大范围深度感知、物流分拣	分辨率低、多径效应
激光线扫	激光三角法	极高	高	精密轮廓检测、表面缺陷	仅获取线/面轮廓

17.1 选型建议

• 低成本二维检测：选择单目视觉 + 透视变换
• 中等精度三维测量：选择双目立体视觉
• 高精度表面检测：选择结构光或激光线扫
• 大范围深度感知：选择 ToF 相机
• 混合方案：单目 + 深度相机组合，兼顾精度和速度

总结

Python + OpenCV 工业视觉系统的核心流程：

图像采集 → 相机模型 → 相机标定 → 畸变校正 → 透视转换 → 立体匹配 → 视差计算 → 三维重建

单目视觉解决图像中的定位、测量和平面几何问题。双目视觉解决从二维图像恢复真实空间三维信息的问题。

掌握相机模型、标定、坐标转换和立体视觉，是构建工业视觉测量系统的基础。在实际工程中，需要根据测量精度、成本、实时性等需求，选择合适的方案并进行细致的参数调优。