三维测距方法、系统及存储介质与流程

本申请涉及三维测距，具体而言，本申请涉及一种三维测距方法、系统及存储介质。

背景技术：

1、三维测距技术广泛应用于智能驾驶、机器人感知、工业检测等场景。双目三维测距方法通常根据左右相机采集的图像进行匹配，以确定目标的视差和深度信息。

2、但是，在高速运动、光照变化等复杂动态场景下，采集数据的可靠性容易发生变化，进而影响视差和深度信息的准确性及稳定性。

3、因此，三维测距方法在复杂动态场景下难以准确并稳定地实现三维测距。

技术实现思路

1、本申请各提供了一种三维测距方法、系统及存储介质，可以解决相关技术中存在的三维测距方法在复杂动态场景下难以准确并稳定地实现三维测距的问题。所述技术方案如下：

2、根据本申请的一个方面，一种三维测距方法，包括：

3、获取左事件相机和右事件相机在与目标时刻对应的时间窗口内分别对目标采集的左事件流和右事件流，并获取左rgb相机和右rgb相机在所述目标时刻分别对所述目标采集的左rgb图像和右rgb图像，以及在与所述目标时刻相邻的采集时刻分别对所述目标采集的相邻左rgb图像和相邻右rgb图像；

4、分别对所述左事件流和所述右事件流进行事件特征编码，得到左多尺度事件特征和右多尺度事件特征；

5、分别对所述左rgb图像和所述右rgb图像进行rgb特征编码，得到左多尺度rgb特征和右多尺度rgb特征；

6、针对每一尺度，对所述左多尺度事件特征和所述左多尺度rgb特征中对应尺度的特征进行跨模态特征融合，得到左多尺度融合特征；

7、针对每一尺度，对所述右多尺度事件特征和所述右多尺度rgb特征中对应尺度的特征进行跨模态特征融合，得到右多尺度融合特征；

8、分别从所述左多尺度融合特征和所述右多尺度融合特征中提取用于事件模态视差估计的左事件匹配特征和右事件匹配特征，并提取用于rgb模态视差估计的左rgb匹配特征和右rgb匹配特征；

9、根据所述左事件匹配特征和所述右事件匹配特征在不同候选视差下的匹配关系，构建事件模态视差匹配代价体；

10、根据所述左rgb匹配特征和所述右rgb匹配特征在不同候选视差下的匹配关系，构建rgb模态视差匹配代价体；

11、分别对所述事件模态视差匹配代价体和所述rgb模态视差匹配代价体进行正则化及视差回归，得到事件模态视差图和rgb模态视差图；

12、根据基于所述左事件流和所述右事件流确定的事件率统计量，以及基于所述左rgb图像与所述相邻左rgb图像和所述右rgb图像与所述相邻右rgb图像确定的稀疏光流幅值统计量，确定事件权重和rgb权重；

13、根据所述事件权重和所述rgb权重，对所述事件模态视差图和所述rgb模态视差图中对应像素位置的视差值进行加权融合，得到所述目标的目标视差图，并根据双目成像参数将所述目标视差图转换为所述目标的深度信息；

14、其中，所述目标视差图包括所述目标对应的各像素位置的视差值，所述深度信息用于表征所述目标在对应像素位置处的空间深度。

15、根据本申请的一个方面，一种三维测距系统，包括左事件相机、右事件相机、左rgb相机、右rgb相机和数据处理装置，所述左事件相机、所述右事件相机、所述左rgb相机和所述右rgb相机均与所述数据处理装置连接；

16、所述数据处理装置包括：

17、数据获取模块，用于获取所述左事件相机和所述右事件相机在与目标时刻对应的时间窗口内分别对目标采集的左事件流和右事件流，并获取所述左rgb相机和所述右rgb相机在所述目标时刻分别对所述目标采集的左rgb图像和右rgb图像，以及在与所述目标时刻相邻的采集时刻分别对所述目标采集的相邻左rgb图像和相邻右rgb图像；

18、特征编码模块，用于分别对所述左事件流和所述右事件流进行事件特征编码，得到左多尺度事件特征和右多尺度事件特征，并分别对所述左rgb图像和所述右rgb图像进行rgb特征编码，得到左多尺度rgb特征和右多尺度rgb特征；

19、跨模态融合模块，用于针对每一尺度，对所述左多尺度事件特征和所述左多尺度rgb特征中对应尺度的特征进行跨模态特征融合，得到左多尺度融合特征，并对所述右多尺度事件特征和所述右多尺度rgb特征中对应尺度的特征进行跨模态特征融合，得到右多尺度融合特征；

20、视差估计模块，用于分别从所述左多尺度融合特征和所述右多尺度融合特征中提取左事件匹配特征、右事件匹配特征、左rgb匹配特征和右rgb匹配特征，根据所述左事件匹配特征和所述右事件匹配特征构建事件模态视差匹配代价体，根据所述左rgb匹配特征和所述右rgb匹配特征构建rgb模态视差匹配代价体，并分别对所述事件模态视差匹配代价体和所述rgb模态视差匹配代价体进行正则化及视差回归，得到事件模态视差图和rgb模态视差图；

21、权重确定模块，用于根据基于所述左事件流和所述右事件流确定的事件率统计量，以及基于所述左rgb图像与所述相邻左rgb图像和所述右rgb图像与所述相邻右rgb图像确定的稀疏光流幅值统计量，确定事件权重和rgb权重；

22、深度确定模块，用于根据所述事件权重和所述rgb权重，对所述事件模态视差图和所述rgb模态视差图中对应像素位置的视差值进行加权融合，得到所述目标的目标视差图，并根据双目成像参数将所述目标视差图转换为所述目标的深度信息；其中，所述目标视差图包括所述目标对应的各像素位置的视差值，所述深度信息用于表征所述目标在对应像素位置处的空间深度。

23、根据本申请的一个方面，一种存储介质，其上存储有计算机程序，所述计算机程序被一个或多个处理器执行时实现如上所述的三维测距方法。

24、在上述技术方案中，首先将左事件流和右事件流分别与左rgb图像和右rgb图像进行时间对应，并分别提取多尺度事件特征和多尺度rgb特征，以同时获得事件数据中的运动变化、边缘及时间信息和rgb图像中的颜色、亮度、纹理及空间结构信息；随后，在左右视角内对对应尺度的事件特征和rgb特征进行跨模态特征融合，使两种模态的信息相互补充，并基于融合后的特征分别构建事件模态视差匹配代价体和rgb模态视差匹配代价体，得到事件模态视差图和rgb模态视差图。进一步地，根据事件率统计量和稀疏光流幅值统计量确定事件权重和rgb权重，并根据当前场景的动态状态自适应调节两种模态视差图对目标视差图的贡献程度，使高速运动场景下能够更多地利用事件相机的高时间分辨率，静态或低动态场景下能够更多地利用rgb图像中的纹理和空间结构信息。最后，对事件模态视差图和rgb模态视差图进行加权融合，并根据双目成像参数将目标视差图转换为目标的深度信息。由此，能够降低单一模态在高速运动、运动模糊、光照变化或者事件响应不足等情况下对视差估计稳定性的影响，从而能够有效地解决相关技术中存在的三维测距方法在复杂动态场景下难以准确并稳定地实现三维测距的问题。

1.一种三维测距方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述获取左事件相机和右事件相机在与目标时刻对应的时间窗口内分别对目标采集的左事件流和右事件流，并获取左rgb相机和右rgb相机在所述目标时刻分别对所述目标采集的左rgb图像和右rgb图像，以及在与所述目标时刻相邻的采集时刻分别对所述目标采集的相邻左rgb图像和相邻右rgb图像，包括：

3.如权利要求1所述的方法，其特征在于，所述分别对所述左事件流和所述右事件流进行事件特征编码，得到左多尺度事件特征和右多尺度事件特征，包括：

4.如权利要求1所述的方法，其特征在于，所述分别对所述左rgb图像和所述右rgb图像进行rgb特征编码，得到左多尺度rgb特征和右多尺度rgb特征，包括：

5.如权利要求1所述的方法，其特征在于，所述针对每一尺度，对所述左多尺度事件特征和所述左多尺度rgb特征中对应尺度的特征进行跨模态特征融合，得到左多尺度融合特征，包括：

6.如权利要求1所述的方法，其特征在于，所述根据所述左事件匹配特征和所述右事件匹配特征在不同候选视差下的匹配关系，构建事件模态视差匹配代价体，包括：

7.如权利要求1所述的方法，其特征在于，所述事件率统计量包括事件率均值、事件率方差和事件率峰值，所述稀疏光流幅值统计量包括光流幅值均值、光流幅值方差和光流幅值峰值；

8.如权利要求1所述的方法，其特征在于，通过深度估计模型实现所述三维测距方法；

9.一种三维测距系统，其特征在于，包括左事件相机、右事件相机、左rgb相机、右rgb相机和数据处理装置，所述左事件相机、所述右事件相机、所述左rgb相机和所述右rgb相机均与所述数据处理装置连接；

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被一个或多个处理器执行时实现如权利要求1至8中任一项所述的三维测距方法。