一种视差估计模型训练方法、视差估计方法、装置及设备与流程

摘要: 本发明涉及计算机视觉,具体涉及一种视差估计模型训练方法、视差估计方法、装置及设备。背景技术:1、双目立体匹配是计算机视觉中的基础任务,对自动驾驶、机器人导航和三...
一种视差估计模型训练方法、视差估计方法、装置及设备与流程

本发明涉及计算机视觉,具体涉及一种视差估计模型训练方法、视差估计方法、装置及设备。

背景技术:

1、双目立体匹配是计算机视觉中的基础任务,对自动驾驶、机器人导航和三维重建等领域具有重要意义。传统立体匹配方法主要分为两类:基于成本体积的方法和基于深度学习的方法。基于成本体积的方法通过构建相关体积并使用softmax进行归一化,但softmax的归一化过程导致信息丢失,特别是在纹理缺失区域和遮挡区域,导致视差估计不准确。基于深度学习的方法虽然提高了匹配精度,但在遮挡处理和全局上下文利用上仍有不足。

技术实现思路

1、本发明旨在解决单尺度上进行立体匹配的局限性并以此提高视差估计的准确性。

2、根据第一方面,一种实施例中提供一种视差估计模型训练方法,包括:

3、获取双目训练图像对;其中,所述双目训练图像对包括左视训练图像和右视训练图像;

4、利用预设的待训练的视差估计模型中的特征提取网络分别提取出所述双目训练图像对中的左视训练图像的多张不同尺度的左视特征图像和所述双目训练图像对中的右视训练图像的多张不同尺度的右视特征图像;

5、在每个尺度下,对当前尺度下的左视特征图像和右视特征图像进行立体匹配,得到初始视差图和遮挡概率图,基于所述遮挡概率图对所述左视特征图像进行特征增强,得到增强特征图像,将所述增强特征图像、所述遮挡概率图和所述初始视差图输入至所述待训练的视差估计模型中的视差优化网络并执行多次迭代优化,得到每次迭代优化时输出的预测视差图;其中,除最粗尺度外,每个尺度的迭代优化中均接收上一级尺度进行多次迭代优化时输出的预测视差图作为当前尺度的先验知识并令其参与迭代优化;

6、利用总损失函数对所述待训练的视差估计模型进行模型训练,得到训练好的视差估计模型;其中,所述总损失函数至少基于每个尺度下的每次迭代优化时输出的预测视差图和预设的真实视差图之间的差异构建。

7、一实施例中,所述多张不同尺度的左视特征图像包括m个不同尺度的左视特征图像,所述多张不同尺度的右视特征图像包括m个不同尺度的右视特征图像,其中,从第m个尺度的左视特征图像到第1个尺度的左视特征图像的尺度递减,第m个尺度的左视特征图像和第m个尺度的右视特征图像的尺度相同,m=1,...,m,m为不小于2的整数;

8、所述对当前尺度下的左视特征图像和右视特征图像进行立体匹配,得到初始视差图和遮挡概率图,基于所述遮挡概率图对所述左视特征图像进行特征增强,得到增强特征图像,将所述增强特征图像、所述遮挡概率图和所述初始视差图输入至所述待训练的视差估计模型中的视差优化网络并执行多次迭代优化,得到每次迭代优化时输出的预测视差图,包括:

9、对于每个尺度,将当前尺度下的左视特征图像和右视特征图像输入至所述待训练的视差估计模型的最优传输模块中进行立体匹配,得到初始视差图和遮挡概率图;

10、基于当前尺度下的左视特征图像生成当前尺度下所述视差优化网络的初始隐藏状态;

11、对当前尺度下的所述遮挡概率图和所述左视特征图像进行拼接和编码,并根据编码后的特征图像生成增强特征图像;

12、将所述增强特征图像、所述遮挡概率图和所述初始视差图作为所述视差优化网络的输入,以使得所述视差优化网络以所述初始隐藏状态为起点,对所述视差优化网络的当前的输入进行多次迭代优化,得到每次迭代优化时输出的新的隐藏状态和当前视差图,根据所述新的隐藏状态和所述当前视差图生成每次迭代优化时输出的预测视差图。

13、一实施例中,对于最粗尺度,所述基于当前尺度下的左视特征图像生成当前尺度下所述视差优化网络的初始隐藏状态,包括:

14、基于预设的激活函数将最粗尺度下的左视特征图像变换为所述视差优化网络的初始隐藏状态;

15、对于除最粗尺度以外的每个尺度,所述基于当前尺度下的左视特征图像生成当前尺度下所述视差优化网络的初始隐藏状态,包括:

16、对当前尺度的上一级尺度输出的预测视差图进行上采样,并将上采样后的预测视差图和当前尺度的左视特征图像进行融合,生成当前尺度下所述视差优化网络的初始隐藏状态。

17、一实施例中,所述增强特征图像的表达式为:

18、

19、

20、

21、其中,表示所述增强特征图像,表示当前尺度的左视特征图像,表示全局上下文特征图像,表示全局注意力权重矩阵,表示矩阵转置,表示查询矩阵,表示键矩阵,表示值矩阵,所述查询矩阵、所述键矩阵和所述值矩阵均通过所述编码后的特征图像计算得到,表示所述全局上下文特征图像的通道数量,表示所述全局上下文特征图像的高度,表示所述全局上下文特征图像的宽度。

22、一实施例中,所述总损失函数的表达式为:

23、

24、

25、其中,表示总损失函数,n表示迭代优化的总次数,表示权重因子,i表示迭代优化的索引,表示每个尺度下的第i次迭代优化时输出的预测视差图,表示所述真实视差图。

26、一实施例中,所述总损失函数还基于概率模式集中损失函数构建,其中,所述概率模式集中损失函数的表达式为:

27、

28、其中,表示概率模式集中损失函数,表示所述遮挡概率图中非遮挡像素的集合,表示所述初始视差图中的像素点,表示有效视差候选区域的总概率质量,表示超参数。

29、根据第二方面,一种实施例中提供一种视差估计方法,包括:

30、获取目标物体的待估计图像对;其中,所述待估计图像对包括左视待估计图像和右视待估计图像;

31、将所述待估计图像对输入至视差估计模型训练方法训练得到的视差估计模型中,得到所述待估计图像对的目标视差图。

32、根据第三方面,一种实施例中提供一种视差估计装置,包括:

33、图像获取模块,用于获取目标物体的待估计图像对;其中,所述待估计图像对包括左视待估计图像和右视待估计图像;

34、视差估计模块,用于将所述待估计图像对输入至视差估计模型训练方法训练得到的视差估计模型中,得到所述待估计图像对的目标视差图。

35、根据第四方面,一种实施例中提供一种视差估计模型训练设备,包括:

36、存储器,用于存储程序;

37、处理器,用于通过执行所述存储器存储的程序以实现视差估计模型训练方法。

38、根据第五方面,一种实施例中提供一种计算机程序产品,包括计算机程序和/或指令,所述计算机程序和/或指令被处理器执行时实现视差估计模型训练方法。

39、依据上述实施例的视差估计模型训练方法、视差估计方法、视差估计装置、视差估计模型训练设备及计算机程序产品,由于分别提取出双目训练图像对中的左视训练图像的多张不同尺度的左视特征图像和双目训练图像对中的右视训练图像的多张不同尺度的右视特征图像,并在每个尺度下,对当前尺度下的左视特征图像和右视特征图像进行立体匹配,得到初始视差图和遮挡概率图,因此保留了多尺度相关性信息,解决了单尺度上进行立体匹配的局限性。根据遮挡概率图对左视特征图像进行特征增强,遮挡概率图用于区分遮挡区域和非遮挡区域,不同区域的匹配信息不同,所需的细节也不同,使得特征增强更加合理。将增强特征图像、遮挡概率图和初始视差图输入至所述待训练的视差估计模型中的视差优化网络并执行多次迭代优化,得到每次迭代优化时输出的预测视差图,其中,除最粗尺度外,每个尺度的迭代优化中均接收上一级尺度进行多次迭代优化时输出的预测视差图作为当前尺度的先验知识并令其参与迭代优化,以提高视差估计模型训练的准确性,同时使得后续在利用训练好的视差估计模型进行视差估计时能够提高视差估计的准确性。