SGM算法OpenCV SGBM实战Python 3.11环境5步生成稠密视差图双目立体视觉技术正逐渐成为计算机视觉领域的重要工具而SGMSemi-Global Matching算法作为其中的核心匹配方法在OpenCV中以SGBMSemi-Global Block Matching的形式实现。本文将带你从零开始在Python 3.11环境下通过五个关键步骤实现稠密视差图的生成。1. 环境准备与图像采集在开始之前我们需要确保开发环境配置正确。Python 3.11提供了更好的性能优化和内存管理这对处理高分辨率图像尤为重要。import cv2 import numpy as np import matplotlib.pyplot as plt # 验证OpenCV版本 print(OpenCV版本:, cv2.__version__)双目视觉系统需要一对经过严格校准的相机拍摄的图像。校准过程包括相机内参矩阵焦距、主点坐标畸变系数径向和切向畸变相机间的旋转和平移关系外参提示在校准过程中建议使用至少15张不同角度的棋盘格图像以确保校准精度。采集到的左右图像需要进行预处理以提高匹配质量def preprocess_image(img): # 高斯模糊降噪 img cv2.GaussianBlur(img, (3, 3), 0) # 直方图均衡化增强对比度 if len(img.shape) 2: # 灰度图 img cv2.equalizeHist(img) else: # 彩色图 img cv2.cvtColor(img, cv2.COLOR_BGR2YCrCb) img[:,:,0] cv2.equalizeHist(img[:,:,0]) img cv2.cvtColor(img, cv2.COLOR_YCrCb2BGR) return img2. SGBM参数配置详解OpenCV中的StereoSGBM类提供了丰富的参数配置选项理解每个参数的作用对获得优质视差图至关重要。参数说明推荐值minDisparity最小视差0numDisparities视差搜索范围必须是16的倍数64-256blockSize匹配块大小奇数3-11P1控制视差平滑度的参数18通道数blockSize²P2控制视差平滑度的参数232通道数blockSize²disp12MaxDiff左右视差检查最大差异10preFilterCap预处理滤波器的截断值31uniquenessRatio唯一性检测比率5-15speckleWindowSize斑点滤波窗口大小100-200speckleRange斑点滤波范围1-2mode算法模式SGBM或HHcv2.STEREO_SGBM_MODE_SGBMdef create_sgbm_matcher(min_disp0, num_disp160, block_size5): # 基础参数设置 matcher cv2.StereoSGBM_create( minDisparitymin_disp, numDisparitiesnum_disp, blockSizeblock_size, P18 * 3 * block_size ** 2, P232 * 3 * block_size ** 2, disp12MaxDiff1, uniquenessRatio10, speckleWindowSize100, speckleRange32, modecv2.STEREO_SGBM_MODE_SGBM_3WAY ) return matcher3. 视差计算与后处理获得原始视差图后通常需要进行一系列后处理操作以提高质量def compute_disparity(left_img, right_img, matcher): # 计算原始视差 disp matcher.compute(left_img, right_img).astype(np.float32) / 16.0 # 视差归一化用于显示 disp_vis (disp - min_disp) / num_disp disp_vis (disp_vis * 255).astype(np.uint8) # 中值滤波去噪 disp_filtered cv2.medianBlur(disp, 3) # 空洞填充可选 disp_filled fill_holes(disp_filtered) return disp, disp_filtered, disp_filled def fill_holes(disp): 使用形态学操作填充视差图中的空洞 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5)) disp cv2.morphologyEx(disp, cv2.MORPH_CLOSE, kernel) return disp4. 视差图优化技巧原始视差图往往存在噪声和错误匹配以下是一些实用的优化方法左右一致性检查通过比较左右视差图来检测和修正不一致的匹配亚像素优化通过二次曲线拟合提高视差精度视差图滤波使用加权中值滤波或双边滤波平滑视差图小区域抑制去除孤立的噪声区域def postprocess_disparity(disp_left, disp_rightNone): # 左右一致性检查如果有右视差图 if disp_right is not None: mask np.abs(disp_left - disp_right) 1 disp_left[mask] -1 # 标记为无效 # 亚像素优化 disp_refined cv2.ximgproc.disparityRefinement( disp_left, left_img, modecv2.ximgproc.RF_WEIGHTED_LEAST_SQUARES ) # 加权中值滤波 disp_filtered cv2.ximgproc.weightedMedianFilter( left_img.astype(np.uint8), disp_refined.astype(np.float32), 7, # 滤波半径 sigma1.5 ) return disp_filtered5. 三维重建与应用获得精确的视差图后可以将其转换为深度图并进行三维重建def disparity_to_depth(disp, Q): 将视差图转换为深度图 depth np.zeros(disp.shape, dtypenp.float32) cv2.reprojectImageTo3D(disp, depth, Q, handleMissingValuesTrue) depth depth[:,:,2] # 只取Z坐标深度 return depth def visualize_3d(depth, left_img, scale1.0): 使用Matplotlib可视化3D点云 h, w depth.shape y, x np.mgrid[0:h:scale, 0:w:scale] fig plt.figure(figsize(10, 10)) ax fig.add_subplot(111, projection3d) mask depth 0 ax.scatter( x[mask], y[mask], depth[mask], cleft_img[::scale,::scale][mask], s1, alpha0.5 ) ax.set_xlabel(X) ax.set_ylabel(Y) ax.set_zlabel(Depth) plt.show()在实际应用中SGBM算法可以用于自动驾驶中的障碍物检测工业检测中的三维尺寸测量机器人导航中的环境建模VR/AR中的场景重建通过调整参数和优化流程我们可以在不同场景下获得满足需求的视差图。例如在室内场景中由于纹理丰富可以使用较小的blockSize3-5和较大的numDisparities128-256而在室外远距离场景中可能需要更大的blockSize7-11和较小的numDisparities64-128以提高匹配稳定性。