一种双目视觉立体匹配方法及相关装置与流程

本发明涉及一种双目视觉立体匹配方法及相关装置，属于计算机视觉领域。

背景技术：

1、双目立体视觉技术作为计算机视觉领域中三维场景重建、深度感知的核心技术，广泛应用于自动驾驶、机器人导航、三维测绘、目标跟踪等多个重要领域，其核心原理是通过两个模拟人眼的摄像机捕捉场景的左视图和右视图，利用两视图中同一物体的位置差异（视差），结合相关算法计算像素深度信息，进而实现三维场景重建。目前，双目立体匹配主要采用特征点匹配算法（如sift、surf、orb等）或者采用深度学习网络（gwcnet、psmnet等），现有不同的方法存在各自的问题，均无法同时兼顾速度、精度和适应性。

技术实现思路

1、本发明提供了一种双目视觉立体匹配方法及相关装置，解决了背景技术中披露的问题。

2、根据本技术的一个方面，提供一种双目视觉立体匹配方法，包括：

3、获取双目摄像机采集的左视图和右视图；

4、将左视图和右视图作为输入，采用特征点匹配算法或分组相关立体匹配网络，获取视差图；

5、其中，特征点匹配算法中，提取并融合左视图的surf特征和clbp特征，提取并融合右视图的surf特征和clbp特征，将左视图的融合特征和右视图的融合特征作为待匹配的特征点；采用nndr策略进行特征点匹配，获得稀疏匹配点对；对生成的视差图依次进行邻域视差估计、中值滤波、连通域噪声排除和左右一致性检验；

6、分组相关立体匹配网络中，在代价体构建模块与3d聚合模块之间增置acv模块；3d聚合模块包括依次连接的预沙漏模块和编码器-解码器，编码器和解码器均为3d沙漏网络，编码器和解码器的快捷连接中设置有3d卷积层。

7、上述方法采用改进的特征点匹配算法或分组相关立体匹配网络，获取视差图，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。

8、进一步地，在特征点匹配算法中，在获得稀疏匹配点对后，还包括以稀疏匹配点对为基础，采用概率生成模型进行视差值稠密化，突破了传统算法仅能输出稀疏匹配点的局限，结合多步骤视差图优化策略，依次消除噪声、空洞、边缘模糊等问题，生成的视差图清晰度高、深度层次分明，相较于传统算法，视差误差显著降低，尤其在弱纹理、深度不连续区域，表现更优。

9、进一步地，分组相关立体匹配网络中，一元特征提取模块采用psmnet类resnet网络，psmnet类resnet网络中移除空间金字塔池模块，采用半扩张设置，既保留了足够的特征信息，又降低了计算复杂度。

10、进一步地，分组相关立体匹配网络中，移除不同输出模块之间的快捷连接，在推理阶段舍弃辅助输出模块，进一步降低了计算开销。

11、根据本技术的另一个方面，提供一种双目视觉立体匹配装置，包括：

12、双视图获取模块，获取双目摄像机采集的左视图和右视图；

13、视差图获取模块，将左视图和右视图作为输入，采用特征点匹配算法或分组相关立体匹配网络，获取视差图；

14、其中，特征点匹配算法中，提取并融合左视图的surf特征和clbp特征，提取并融合右视图的surf特征和clbp特征，将左视图的融合特征和右视图的融合特征作为待匹配的特征点；采用nndr策略进行特征点匹配，获得稀疏匹配点对；对生成的视差图依次进行邻域视差估计、中值滤波、连通域噪声排除和左右一致性检验；

15、分组相关立体匹配网络中，在代价体构建模块与3d聚合模块之间增置acv模块；3d聚合模块包括依次连接的预沙漏模块和编码器-解码器，编码器和解码器均为3d沙漏网络，编码器和解码器的快捷连接中设置有3d卷积层。

16、上述装置采用改进的特征点匹配算法或分组相关立体匹配网络，获取视差图，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。

17、根据本技术的另一个方面，提供一种双目视觉立体匹配方法，包括：

18、获取双目摄像机采集的左视图和右视图；

19、将左视图和右视图作为输入，采用特征点匹配算法，获取视差图；

20、其中，特征点匹配算法中，提取并融合左视图的surf特征和clbp特征，提取并融合右视图的surf特征和clbp特征，将左视图的融合特征和右视图的融合特征作为待匹配的特征点；采用nndr策略进行特征点匹配，获得稀疏匹配点对；对生成的视差图依次进行邻域视差估计、中值滤波、连通域噪声排除和左右一致性检验。

21、上述方法改进了特征点匹配算法，采用融合surf与clbp的特征描述子设计，融合的特征同时具备尺度不变性、旋转不变性和高鲁棒性，结合nndr策略进行特征点匹配，有效降低了误匹配率，提升匹配速度，通过多步骤视差图优化策略的协同作用，能够有效抑制光照变化、噪声干扰、遮挡等因素对匹配结果的影响，增强适应性，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。

22、根据本技术的另一个方面，提供一种双目视觉立体匹配装置，包括：

23、双视图获取模块，获取双目摄像机采集的左视图和右视图；

24、视差图获取模块，将左视图和右视图作为输入，采用特征点匹配算法，获取视差图；

25、其中，特征点匹配算法中，提取并融合左视图的surf特征和clbp特征，提取并融合右视图的surf特征和clbp特征，将左视图的融合特征和右视图的融合特征作为待匹配的特征点；采用nndr策略进行特征点匹配，获得稀疏匹配点对；对生成的视差图依次进行邻域视差估计、中值滤波、连通域噪声排除和左右一致性检验。

26、上述装置改进了特征点匹配算法，采用融合surf与clbp的特征描述子设计，融合的特征同时具备尺度不变性、旋转不变性和高鲁棒性，结合nndr策略进行特征点匹配，有效降低了误匹配率，提升匹配速度，通过多步骤视差图优化策略的协同作用，能够有效抑制光照变化、噪声干扰、遮挡等因素对匹配结果的影响，增强适应性，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。

27、根据本技术的另一个方面，提供一种双目视觉立体匹配方法，包括：

28、获取双目摄像机采集的左视图和右视图；

29、将左视图和右视图作为输入，采用分组相关立体匹配网络，获取视差图；

30、其中，分组相关立体匹配网络中，在代价体构建模块与3d聚合模块之间增置acv模块；3d聚合模块包括依次连接的预沙漏模块和编码器-解码器，编码器和解码器均为3d沙漏网络，编码器和解码器的快捷连接中设置有3d卷积层。

31、上述方法改进了分组相关立体匹配网络，增设acv模块的注意力机制能够使网络自适应聚焦对视差估计关键的特征区域，强化关键特征信息，抑制无关噪声，结合分组相关性代价构建的优势，实现了多尺度特征的高效融合，避免了信息丢失，提升匹配精度，并且还能使网络能够更好地处理复杂纹理、模糊边界、弱纹理、遮挡等场景，增强适应性，通过优化3d聚合模块，减少网络参数和计算量，降低运算负担，同时3d卷积层的引入，在不增加额外计算负担的前提下，提升特征学习能力，使网络的训练难度降低、推理速度提升，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。

32、根据本技术的另一个方面，提供一种双目视觉立体匹配装置，包括：

33、双视图获取模块，获取双目摄像机采集的左视图和右视图；

34、视差图获取模块，将左视图和右视图作为输入，采用分组相关立体匹配网络，获取视差图；

35、其中，分组相关立体匹配网络中，在代价体构建模块与3d聚合模块之间增置acv模块；3d聚合模块包括依次连接的预沙漏模块和编码器-解码器，编码器和解码器均为3d沙漏网络，编码器和解码器的快捷连接中设置有3d卷积层。

36、上述装置改进了分组相关立体匹配网络，增设acv模块的注意力机制能够使网络自适应聚焦对视差估计关键的特征区域，强化关键特征信息，抑制无关噪声，结合分组相关性代价构建的优势，实现了多尺度特征的高效融合，避免了信息丢失，提升匹配精度，并且还能使网络能够更好地处理复杂纹理、模糊边界、弱纹理、遮挡等场景，增强适应性，通过优化3d聚合模块，减少网络参数和计算量，降低运算负担，同时3d卷积层的引入，在不增加额外计算负担的前提下，提升特征学习能力，使网络的训练难度降低、推理速度提升，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。

37、根据本技术的另一个方面，提供一种计算机可读存储介质，计算机可读存储介质存储一个或多个程序，一个或多个程序包括指令，指令当由计算设备执行时，使得计算设备执行双目视觉立体匹配方法。

38、上述存储介质存储上述双目视觉立体匹配方法的程序，方法中采用改进的特征点匹配算法或分组相关立体匹配网络，获取视差图，可同时兼顾速度、精度和适应性。

39、本发明所达到的有益效果：1、本发明采用改进的特征点匹配算法或分组相关立体匹配网络，获取视差图，相较于现有的匹配方法，可同时兼顾速度、精度和适应性；2、本发明改进了特征点匹配算法，采用融合surf与clbp的特征描述子设计，融合的特征同时具备尺度不变性、旋转不变性和高鲁棒性，结合nndr策略进行特征点匹配，有效降低了误匹配率，提升匹配速度，通过多步骤视差图优化策略的协同作用，能够有效抑制光照变化、噪声干扰、遮挡等因素对匹配结果的影响，增强适应性，相较于现有的匹配方法，可同时兼顾速度、精度和适应性；3、本发明改进了分组相关立体匹配网络，增设acv模块的注意力机制能够使网络自适应聚焦对视差估计关键的特征区域，强化关键特征信息，抑制无关噪声，结合分组相关性代价构建的优势，实现了多尺度特征的高效融合，避免了信息丢失，提升匹配精度，并且还能使网络能够更好地处理复杂纹理、模糊边界、弱纹理、遮挡等场景，增强适应性，通过优化3d聚合模块，减少网络参数和计算量，降低运算负担，同时3d卷积层的引入，在不增加额外计算负担的前提下，提升特征学习能力，使网络的训练难度降低、推理速度提升，相较于现有的匹配方法，可同时兼顾速度、精度和适应性。