用于移动设备实时深度估计的立体匹配实现方法和装置

技术特征：
1.一种用于移动设备实时深度估计的立体匹配实现方法，其特征在于，所述方法包括：对目标图像对进行匹配代价计算，得到所述目标图像对中主图像对应的代价矩阵；其中，所述主图像对应的代价矩阵存储了主图像内每一个像素在视差范围内每一个视差下的匹配代价值；基于所述代价矩阵，采用反向路径同步聚合方式对所述主图像中每一个像素进行代价聚合，得到所述主图像中每一个像素在每一个视差下的聚合代价；根据所述主图像中每一个像素在每一个视差下的聚合代价，采用扩大线程数据切片的方式对所述主图像中每一个像素进行视差计算；对所述主图像中每一个像素进行视差优化，得到所述主图像对应的视差图；其中，所述目标图像对是由移动设备双摄像头同步拍摄得到的。2.根据权利要求1所述的用于移动设备实时深度估计的立体匹配实现方法，其特征在于，所述对目标图像对进行匹配代价计算，得到所述目标图像对中主图像对应的代价矩阵，包括：采用census变换方法将所述主图像和所述目标图像对中副图像内的每一个像素转换为一个二值串；对于所述主图像和所述副图像囊括的每一个像素对，读取相应像素对的二值串，并利用sgbm算法对读取的二值串进行处理得到相应像素对中两个像素之间的汉明距离；基于所有像素对中两个像素之间的汉明距离和预存的匹配代价平滑算法，计算并存储所述主图像内每一个像素在每一个视差下的匹配代价值；其中，所述像素对由主图像中的像素φ以及所述副图像中与所述像素φ的对应像素视差相距d
i
的像素构成；所述d
i
处于视差范围内。3.根据权利要求1所述的用于移动设备实时深度估计的立体匹配实现方法，其特征在于，互为反向路径的两条路径流向相反且内容相同；所述基于所述代价矩阵，采用反向路径同步聚合方式对所述主图像中每一个像素进行代价聚合，得到所述主图像中每一个像素在每一个视差下的聚合代价，包括：基于所述代价矩阵，对互为反向路径的两条路径中索引值相同的两个像素同步进行代价聚合计算，以得到所述主图像中每一个像素在每一个视差下以及每一条路径下的聚合代价；将所述主图像中每一个像素在每一个视差下以及每一条路径下的聚合代价进行相加，得到所述主图像中每一个像素在每一个视差下的聚合代价；其中，所述索引值指示出路径方向上像素的排序序号。4.根据权利要求3所述的用于移动设备实时深度估计的立体匹配实现方法，其特征在于，所述对互为反向路径的两条路径中索引值相同的两个像素同步进行代价聚合计算之后，还包括：将所述互为反向路径的两条路径中索引值相同的两个像素经代价聚合计算后得到的聚合代价合并到一个数组中进行存储。5.根据权利要求1所述的用于移动设备实时深度估计的立体匹配实现方法，其特征在于，所述根据所述主图像中每一个像素在每一个视差下的聚合代价，采用扩大线程数据切片的方式对所述主图像中每一个像素进行视差计算，包括：
将每一个线程的数据切片扩充至2
n
；对于所述主图像中每一个像素，利用个线程读入相应像素在所有视差下的聚合代价，以使每一个线程将自身读入的2
n
个聚合代价进行比较得到最小聚合代价对应的视差；将个线程得到的最小视差作为相应像素的视差；其中，所述d为视差范围涵盖的视差总数，n为预设值。6.根据权利要求1所述的用于移动设备实时深度估计的立体匹配实现方法，其特征在于，在移动设备的gpu上执行所述匹配代价计算、所述代价聚合和所述视差计算；在移动设备的cpu上执行所述视差优化。7.根据权利要求5所述的用于移动设备实时深度估计的立体匹配实现方法，其特征在于，所述n设为3。8.一种用于移动设备实时深度估计的立体匹配实现装置，其特征在于，所述装置包括：匹配代价计算模块，用于对目标图像对进行匹配代价计算，得到所述目标图像对中主图像对应的代价矩阵；其中，所述主图像对应的代价矩阵存储了主图像内每一个像素在视差范围内每一个视差下的匹配代价值；代价聚合模块，用于基于所述代价矩阵，采用反向路径同步聚合方式对所述主图像中每一个像素进行代价聚合，得到所述主图像中每一个像素在每一个视差下的聚合代价；视差计算模块，用于根据所述主图像中每一个像素在每一个视差下的聚合代价，采用扩大线程数据切片的方式对所述主图像中每一个像素进行视差计算；视差优化模块，用于对所述主图像中每一个像素进行视差优化，得到所述主图像对应的视差图；其中，所述目标图像对是由移动设备双摄像头同步拍摄得到的。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述一种用于移动设备实时深度估计的立体匹配实现方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述一种用于移动设备实时深度估计的立体匹配实现方法。

技术总结
本发明涉及一种用于移动设备实时深度估计的立体匹配实现方法和装置，包括：对目标图像对进行匹配代价计算，得到目标图像对中主图像对应的代价矩阵；基于代价矩阵，采用反向路径同步聚合方式确定主图像中每一个像素在每一个视差下的聚合代价；根据上述聚合代价，采用扩大线程数据切片的方式进行主图像中每一个像素的视差计算；对主图像中每一个像素进行视差优化，以得到主图像对应的视差图。本发明在代价融合计算时，对互为反向路径的两条路径同时进行代价聚合，以减少访问全局内存的开销。同时，在视差计算时，通过扩大线程上数据切片的方式减少并发线程的数量，进而减少线程同步的开销。步的开销。步的开销。


技术研发人员：刘云新 李元春
受保护的技术使用者：清华大学
技术研发日：2022.07.05
技术公布日：2022/11/15