基于光谱结构代价增强的双目立体匹配方法及系统与流程

本发明属于工业视觉及图像处理，涉及双目立体匹配技术，尤其涉及一种基于光谱结构代价增强的双目立体匹配方法及系统，适用于机器人视觉、自动驾驶、工业检测、三维测量及智能感知等领域的辐射/增益失配、低照度成像及光子受限噪声干扰等光度退化场景。

背景技术：

1、双目立体匹配是三维感知中的关键基础环节，其核心在于为左、右视图中的对应像素建立可靠的匹配关系，并进一步估计场景视差信息。现有大量经典立体匹配算法，尤其是基于半全局匹配（semi-global matching，sgm）的技术路线，通常依赖显式构造的匹配代价与后续平滑聚合完成视差求解。

2、然而，在实际部署环境中，双目成像系统往往面临复杂且不受控的光照条件，例如双目相机之间的自动曝光差异、增益不一致、空间照度不均匀以及低照度条件下的光子受限噪声等。这类因素会破坏传统立体匹配中的亮度一致性假设，使得匹配代价统计特性发生偏移，从而导致匹配结果不稳定；如ad/sad在辐射失配条件下容易产生系统性偏差（参见t. peng, r. chen, and m. wang, “an uneven illumination and radiometricdifference removing method for multi-camera satellite images,” ieeegeoscience and remote sensing letters, 2025）。而census等基于局部排序关系的代价在信号相关噪声作用下又会因局部排序不稳定而判别力下降，最终造成sgm聚合所依赖的代价曲面不可靠（参见w. s. fife and j. k. archibald, “improved censustransforms for resource-optimized stereo vision,” ieee transactions oncircuits and systems for video technology, vol. 23, no. 1, pp. 60–73, 201）。

3、现有改进方法中，一类是对像素强度进行归一化处理，例如zncc（参见c. lin, y.li, g. xu, and y. cao, “optimizing zncc calculation in binocular stereomatching,” signal processing: image communication, vol. 52, pp. 64–73, 2017）；另一类是利用深度学习学习匹配代价与先验（参见m. tian, j. fan, q. zhang, c.chen, and b. yang, “amscf-net: an adaptive multi-scale cost fusion stereonetwork for high-quality disparity estimation,” isprs journal ofphotogrammetry and remote sensing, vol. 226, pp. 76–101, 2025）。但前者仍然较多依赖局部强度统计的稳定性，后者则通常需要大量训练数据、较高算力，并且在安全关键或资源受限场景中部署复杂。

4、因此，目前亟待一种能够在辐射不一致、低照度及信号相关噪声条件下仍保持较高判别力的轻量化双目匹配技术。

技术实现思路

1、本发明目的旨在针对上述现有技术中存在的技术问题，提供一种基于光谱结构代价增强的双目立体匹配方法及系统，通过引入基于局部图像块主结构方向的光谱结构代价，与传统匹配代价进行联合构造，从而提高视差估计精度和稳定性。

2、本发明对于经过极线校正的双目图像对，在每个待匹配像素及其视差假设下，先计算传统基准匹配代价，再从对应局部图像块中提取均值归一化后的主结构方向，并通过方向对齐关系计算光谱结构代价，最后将两者加权融合形成联合匹配代价，并输入半全局匹配框架完成代价聚合与视差求解。

3、为达到上述目的，本发明采取以下技术方案来实现。

4、本发明提供了一种基于光谱结构代价增强的双目立体匹配方法，其包括以下步骤：

5、获取双目图像，并构建视差假设集合；

6、依据左视图、右视图及视差假设集合，构建基准匹配代价；

7、分别基于左视图和右视图的对应局部图像块，通过奇异值分解，提取主结构方向，构建光谱结构代价；

8、对基准匹配代价和光谱结构代价进行加权融合得到联合匹配代价；

9、依据联合匹配代价，通过半全局匹配得到稠密视差图。

10、上述获取双目图像，并构建视差假设集合步骤中，获取左视图图像和右视图图像，对双目图像进行立体校正，使同名点（同一空间点在双目相机图像中的两个像素点）满足极线约束；对双目图像进行立体校正可以采用本领域已经披露的常规方法，参见hirschmuller h. stereo processing by semiglobal matching and mutualinformation[j]. ieee transactions on pattern analysis and machineintelligence, 2008, 30(2): 328-341。然后根据待测场景，设置视差搜索范围，从而建立视差假设集合。

11、上述构建基准匹配代价步骤中，对于左视图中任一像素点 及其任一视差假设，构建传统基准匹配代价 。

12、可以以绝对差代价ad、总绝对差代价sad或census代价作为基准匹配代价。

13、（1）绝对差代价ad（absolute differences）：

14、；

15、式中，表示ad代价， 表示左视图像素点p光度值， 表示右视图中相应图像块中与像素点p对应的像素点光度值，d表示视差。

16、（2）总绝对差代价sad（sum of absolute differences）：

17、对于以像素点 为中心的支持窗口 ，有：

18、；

19、式中，表示sad代价，表示左视图以像素点p为中心的图像块中第q个像素点光度值， 表示右视图中相应图像块中与第q个像素点对应的像素点光度值，d表示视差。

20、（3）census代价；

21、将像素邻域内像素与中心像素进行比较形成二值描述子，再利用左右描述子的汉明距离作为匹配代价：

22、；

23、式中，表示census代价，表示左视图以像素点p为中心的图像块中像素点与中心像素点光度值进行比较形成的二值描述子；表示右视图相应图像块中像素点与中心像素点光度值进行比较形成的二值描述子，d表示视差。

24、上述分别基于左视图和右视图的对应局部图像块，通过奇异值分解，提取主结构方向，构建光谱结构代价步骤中，所构建的光谱结构代价关注局部几何结构一致性，而非原始像素值一致性。该步骤包括以下分步骤：

25、对左视图和右视图，分别提取局部图像块并进行均值归一化处理；

26、对均值归一化处理后的局部图像块进行奇异值分解，提取主结构方向；

27、依据左视图和右视图相应的局部图像块主结构方向，生成光谱结构代价。

28、上对左视图和右视图，分别提取局部图像块并进行均值归一化处理，包括：

29、在当前像素点 及视差假设下，分别从左视图、右视图中提取对应局部图像块：

30、以为中心像素点的左视图表示为：；以为中心像素点的右视图表示为：；

31、其中，m、n分别表示沿横坐标和纵坐标方向的像素点数；

32、为了抑制双目图像之间的加性亮度偏置，对局部图像块进行均值归一化处理方式为：

33、；

34、式中，表示局部图像块；表示均值归一化后的局部图像块； 表示局部图像块内像素均值， 表示全1向量。通过移除直流分量，使后续描述更多依赖局部结构变化而非绝对亮度。

35、上述对均值归一化处理后的局部图像块进行奇异值分解，提取主结构方向步骤中，奇异值分解表示为：

36、；

37、式中，和分别为正交矩阵；为对角矩阵；

38、从分解结果中提取主导奇异方向作为局部结构描述子。以第一左奇异向量 作为该局部图像块的主结构方向描述，以在保证结构稳定性的同时降低噪声干扰及计算复杂度。

39、上述依据左视图和右视图相应的局部图像块主结构方向，生成光谱结构代价步骤中，根据左视图、右视图中相应图像块主结构方向之间的对齐关系，构建光谱结构代价：

40、；

41、式中，表示光谱结构代价， 表示向量内积，表示左视图以像素点p为中心的图像块的主结构方向， 表示右视图中相应图像块的主结构方向。

42、上述对所述基准匹配代价和光谱结构代价进行加权融合得到联合匹配代价步骤中，将基准匹配代价与光谱结构代价按权重进行融合，得到联合匹配代价：

43、；

44、式中，为平衡系数，用于控制两类代价的贡献比例。优选的，取0.15。

45、上述依据联合匹配代价，通过半全局匹配得到稠密视差图步骤中，将联合匹配代价体通过半全局匹配算法sgm（参见h. hirschmuller, “stereo processing bysemiglobal matching and mutual information,” ieee transactions on patternanalysis and machine intelligence, vol. 30, no. 2, pp. 328–341, 2008），完成多方向代价累积，并通过最小代价选择获得目标像素视差值，输出稠密视差图。

46、本发明在该步骤中不改变原有sgm优化器及其聚合机制，仅替换数据项，从而具备良好的兼容性与可移植性。

47、本发明还提供了一种基于光谱结构代价增强的双目立体匹配系统，其包括：

48、双目图像预处理模块，用于获取双目图像，并构建视差假设集合；

49、基准匹配代价构建模块，用于依据左视图、右视图及视差假设集合，构建基准匹配代价；

50、光谱结构代价构建模块，用于分别基于左视图和右视图的对应局部图像块，通过奇异值分解，提取主结构方向，构建光谱结构代价；

51、代价融合模块，用于对基准匹配代价和光谱结构代价进行加权融合得到联合匹配代价；

52、匹配模块，用于依据联合匹配代价，通过半全局匹配得到稠密视差图。

53、进一步的，上述光谱结构代价构建模块包括：

54、局部图像预处理单元，用于对左视图和右视图，分别提取局部图像块并进行均值归一化处理；

55、主结构方向提取单元，对均值归一化处理后的局部图像块进行奇异值分解，提取主结构方向；

56、光谱结构代价生成单元，依据左视图和右视图相应的局部图像块主结构方向，生成光谱结构代价。

57、本发明还提供了一种计算机存储介质，存储有多条指令，指令适于由处理器加载并执行上述基于光谱结构代价增强的双目立体匹配方法步骤。

58、本发明还提供了一种电子设备，包括处理器和计算机存储介质，处理器执行存储于计算机存储介质中上述基于光谱结构代价增强的双目立体匹配方法步骤。

59、与现有技术相比，本发明提供的基于光谱结构代价增强的双目立体匹配方法及系统具有以下有益效果：

60、1）本发明通过引入基于局部结构主方向的光谱结构代价，在原始像素值不可靠或局部排序关系不稳定时，仍可通过局部几何结构的一致性为匹配提供稳定依据，因此能够显著提升辐射失配、亮度不一致和泊松噪声条件下的匹配稳定性。

61、2）基准匹配代价在光照条件良好、纹理充足区域通常具有较好的定位能力；本发明新增的光谱结构代价则在光度失真和低信噪比场景下提供结构锚定作用；两者联合后，既能保持传统代价的高频定位特性，又能在复杂光度条件下提升整体判别性。

62、3）本发明仅对匹配数据项进行增强，不改变半全局匹配框架的优化流程和聚合机制，具有良好的模块化特征，可直接嵌入现有工程系统，部署成本低。