三维测距方法、系统及存储介质与流程

摘要: 本申请涉及测距,具体而言,本申请涉及一种三维测距方法、系统及存储介质。背景技术:1、三维测距技术广泛应用于高速分拣、机器人抓取、无人机避障、工业检测和运动目标跟...
三维测距方法、系统及存储介质与流程

本申请涉及测距,具体而言,本申请涉及一种三维测距方法、系统及存储介质。

背景技术:

1、三维测距技术广泛应用于高速分拣、机器人抓取、无人机避障、工业检测和运动目标跟踪等场景。

2、现有的三维测距方法可以采用双目视觉方式实现。双目视觉方式通常通过双目帧相机采集左帧图像和右帧图像,并根据左帧图像和右帧图像之间的视差,以及双目帧相机的焦距和基线,确定目标的深度信息。

3、但是,在目标运动速度较高的情况下,双目帧相机采集的左帧图像和右帧图像容易受到目标运动的影响,进而降低三维测距结果的准确性和稳定性。

4、因此,双目帧相机在高速运动场景下难以准确并稳定地实现三维测距,成为了亟需解决的技术问题。

技术实现思路

1、本申请各提供了一种三维测距方法、系统及存储介质,可以解决相关技术中存在的双目帧相机在高速运动场景下难以准确并稳定地实现三维测距的问题。所述技术方案如下:

2、根据本申请的一个方面,一种三维测距方法,包括:获取双目帧相机对目标采集得到的左帧图像和右帧图像,以及至少一个事件相机采集的事件流,并确定参考时刻;所述参考时刻用于对所述左帧图像、所述右帧图像和所述事件流进行时间对齐;根据所述事件流,确定所述目标在所述左帧图像和所述右帧图像的采集时段内的局部运动场;所述局部运动场用于表征所述目标在所述采集时段内相对于所述参考时刻的位置变化;根据所述局部运动场,以及所述左帧图像和所述右帧图像各自的采集时刻与所述参考时刻之间的时间差,分别对所述左帧图像和所述右帧图像进行运动补偿,得到对齐至所述参考时刻的补偿左图像和补偿右图像;根据所述事件流,确定所述目标在左右视角下的左事件边缘特征和右事件边缘特征;针对多个候选视差,确定所述补偿左图像与所述补偿右图像在各所述候选视差下的图像特征匹配代价,以及所述左事件边缘特征与所述右事件边缘特征在各所述候选视差下的事件边缘匹配代价;融合各所述候选视差对应的所述图像特征匹配代价和所述事件边缘匹配代价,构建视差匹配代价体;根据所述视差匹配代价体确定所述目标对应的目标视差,并根据所述目标视差以及所述双目帧相机的焦距和基线,确定所述目标的深度信息。

3、根据本申请的一个方面,一种三维测距系统,包括:双目帧相机,用于对目标进行图像采集,得到左帧图像和右帧图像;至少一个事件相机,用于采集事件流;三维测距装置,分别与所述双目帧相机和所述事件相机连接;所述三维测距装置包括:数据获取模块,用于获取所述左帧图像、所述右帧图像和所述事件流,并确定参考时刻;所述参考时刻用于对所述左帧图像、所述右帧图像和所述事件流进行时间对齐;局部运动场确定模块,用于根据所述事件流,确定所述目标在所述左帧图像和所述右帧图像的采集时段内的局部运动场;所述局部运动场用于表征所述目标在所述采集时段内相对于所述参考时刻的位置变化;运动补偿模块,用于根据所述局部运动场,以及所述左帧图像和所述右帧图像各自的采集时刻与所述参考时刻之间的时间差,分别对所述左帧图像和所述右帧图像进行运动补偿,得到对齐至所述参考时刻的补偿左图像和补偿右图像;事件边缘特征确定模块,用于根据所述事件流,确定所述目标在左右视角下的左事件边缘特征和右事件边缘特征;匹配代价确定模块,用于针对多个候选视差,确定所述补偿左图像与所述补偿右图像在各所述候选视差下的图像特征匹配代价,以及所述左事件边缘特征与所述右事件边缘特征在各所述候选视差下的事件边缘匹配代价;代价体构建模块,用于融合各所述候选视差对应的所述图像特征匹配代价和所述事件边缘匹配代价,构建视差匹配代价体;深度信息确定模块,用于根据所述视差匹配代价体确定所述目标对应的目标视差,并根据所述目标视差以及所述双目帧相机的焦距和基线,确定所述目标的深度信息。

4、根据本申请的一个方面,一种存储介质,其上存储有计算机程序,所述计算机程序被一个或多个处理器执行时实现如上所述的三维测距方法。

5、在上述技术方案中,先将异步事件流编码为包括多个时间通道的事件体素,并利用多个时间通道共同约束目标的局部运动场;再根据局部运动场将左帧图像和右帧图像补偿至同一参考时刻,并融合图像特征匹配代价、事件边缘匹配代价和时序运动匹配代价构建视差匹配代价体;在确定目标视差和深度信息后,还可以根据事件边缘引导深度平滑和低可靠区域补全,并利用目标区域内的深度点恢复目标的三维状态,在相邻两次帧图像采集之间利用事件流持续更新目标的三维位置和运动速度。由此,可以实现高速运动场景下准确、稳定且高频的目标三维测距,从而能够有效地解决相关技术中存在的双目帧相机在高速运动场景下难以准确并稳定地实现三维测距的问题。

1.一种三维测距方法,其特征在于,包括:

2.根据权利要求1所述的三维测距方法,其特征在于,所述根据所述事件流,确定所述目标在所述左帧图像和所述右帧图像的采集时段内的局部运动场,包括:

3.根据权利要求2所述的三维测距方法,其特征在于,所述基于所述事件体素所表征的事件时空分布,确定所述目标的局部运动场,包括:

4.根据权利要求2所述的三维测距方法,其特征在于,所述根据所述事件流,确定所述目标在左右视角下的左事件边缘特征和右事件边缘特征,包括:

5.根据权利要求1所述的三维测距方法,其特征在于,所述参考时刻为所述左帧图像的采集时刻,或者为所述左帧图像的采集时刻与所述右帧图像的采集时刻之间的中点时刻;

6.根据权利要求1所述的三维测距方法,其特征在于,所述融合各所述候选视差对应的所述图像特征匹配代价和所述事件边缘匹配代价,构建视差匹配代价体,包括:

7.根据权利要求6所述的三维测距方法,其特征在于,所述融合所述候选视差对应的图像特征匹配代价、事件边缘匹配代价和时序运动匹配代价,得到所述候选视差对应的融合匹配代价,包括:

8.根据权利要求1所述的三维测距方法,其特征在于,所述得到对齐至所述参考时刻的补偿左图像和补偿右图像之后,所述方法还包括:

9.一种三维测距系统,其特征在于,包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时,实现如权利要求1至8中任一项所述的三维测距方法。