一种双目图像处理方法、装置、设备和存储介质与流程

1.本发明实施例涉及图像处理技术，尤其涉及一种双目图像处理方法、装置、设备和存储介质。


背景技术：

2.随着计算机视觉的快速发展，可以通过立体匹配方式估计视差图，重构场景的三维几何信息。
3.目前，可以利用深度卷积网络模型直接预测场景的稠密视差图，从而基于深度学习的立体匹配方式可以实现更加精确的视差估计。
4.然而，在实现本发明过程中，发明人发现现有技术中至少存在如下问题：
5.当采集的双目图像中包含视差边缘区域，比如建筑物边缘、电线杆边缘、物体外轮廓等时，对双目图像进行特征提取，获得的包含视差边缘的特征往往会对后续的代价聚合体的计算引入嘈杂甚至错误的信息，最终降低视差估计的准确性。


技术实现要素：

6.本发明实施例提供了一种双目图像处理方法、装置、设备和存储介质，以抑制包含视差边缘的特征，提高视差估计的准确性。
7.第一方面，本发明实施例提供了一种双目图像处理方法，包括：
8.获取待处理的双目图像；
9.分别对所述双目图像中的左图像和右图像进行特征提取，确定所述左图像对应的第一左特征图和所述右图像对应的第一右特征图；
10.将所述第一左特征图和所述第一右特征图输入至预设注意力网络模型中进行特征注意力处理，所述预设注意力网络模型用于：基于所述第一左特征图与所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第一左特征图对应的左权重矩阵和所述第一右特征图对应的右权重矩阵，并基于所述左权重矩阵和所述右权重矩阵分别对所述第一左特征图和所述第一右特征图进行注意力处理；
11.根据所述预设注意力网络模型的输出，获得注意力处理后的左右特征图。
12.第二方面，本发明实施例还提供了一种双目图像处理装置，包括：
13.双目图像获取模块，用于获取待处理的双目图像；
14.特征提取模块，用于分别对所述双目图像中的左图像和右图像进行特征提取，确定所述左图像对应的第一左特征图和所述右图像对应的第一右特征图；
15.特征图输入模块，用于将所述第一左特征图和所述第一右特征图输入至预设注意力网络模型中进行特征注意力处理，所述预设注意力网络模型用于：基于所述第一左特征图与所述第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定所述第一左特征图对应的左权重矩阵和所述第一右特
征图对应的右权重矩阵，并基于所述左权重矩阵和所述右权重矩阵分别对所述第一左特征图和所述第一右特征图进行注意力处理；
16.特征图输出模块，用于根据所述预设注意力网络模型的输出，获得注意力处理后的左右特征图。
17.第三方面，本发明实施例还提供了一种电子设备，所述电子设备包括：
18.一个或多个处理器；
19.存储器，用于存储一个或多个程序；
20.当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的双目图像处理方法。
21.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的双目图像处理方法。
22.上述发明中的实施例具有如下优点或有益效果：
23.通过分别对待处理的双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图，此时获得的第一左特征图和第一右特征图中可能包含视差边缘的特征。通过将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型可以基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定出第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和所述第一右特征图进行注意力处理，从而可以降低对包含视差边缘的特征的注意力，提高未包含视差边缘的特征的注意力，进而抑制了第一左特征图和第一右特征图中包含视差边缘的特征，避免包含视差边缘的特征对视差估计造成影响，提高了视差估计的准确性。
附图说明
24.图1是本发明实施例提供的一种双目图像处理方法的流程图；
25.图2是本发明实施例提供的一种视差估计过程的示例；
26.图3是本发明实施例提供的一种双目图像处理方法的流程图；
27.图4是本发明实施例提供的一种预设注意力网络模型的示例；
28.图5是本发明实施例提供的另一种预设注意力网络模型的示例；
29.图6是本发明实施例提供的一种双目图像处理方法的流程图；
30.图7是本发明实施例提供的一种预设注意力网络模型的示例；
31.图8是本发明实施例提供的一种双目图像处理装置的结构示意图；
32.图9是本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
33.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
34.图1为本发明实施例提供的一种双目图像处理方法的流程图，本实施例可适用于
对双目图像进行特征注意力处理的情况。该方法可以由双目图像处理装置来执行，该装置可以由软件和/或硬件的方式来实现，集成于电子设备中。如图1所示，该方法具体包括以下步骤：
35.s110、获取待处理的双目图像。
36.其中，双目图像可以是利用左摄像头和右双摄像头组成的双目相机所拍摄的两张场景图像，即左图像和右图像。例如，双目图像可以是指自动驾驶场景中拍摄的两张图像。
37.具体地，本实施例可以获取用于立体匹配的双目图像。
38.s120、分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图。
39.具体地，可以利用现有的特征提取网络模型分别对双目图像中的左图像和右图像进行特征提取。本实施例中的特征提取网络模型可以是指用于提取特征的二维卷积神经网络模型。例如，可以将双目图像中的左图像和右图像先后输入至特征提取网络模型中进行特征提取，以便基于特征提取网络模型的输出，先后获得第一左特征图和第一右特征图；也可以将双目图像中的左图像和右图像同时输入至两个权重共享的特征提取网络模型中进行特征提取，以便基于两个特征提取网络模型的输出，同时获得第一左特征图和第一右特征图，提高特征图获取效率。
40.需要说明的是，若左图像和/或右图像中存在视差边缘区域，比如，建筑物边缘、电线杆边缘、物体外轮廓等，则特征提取网络模型在视差边缘区域会有较高的响应，提取到的第一左特征图和第一右特征图中会存在包含视差边缘的特征。真实物体在空间上通常是连续的，然而在视差边缘区域的视差梯度大于1，即视差不连续时，在这些区域内提取到的包含视差边缘的特征会影响后续视差的估计，降低视差估计的准确性。
41.s130、将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型用于：基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和第一右特征图进行注意力处理。
42.其中，预设注意力网络模型可以是预先设置的，用于降低对包含视差边缘的特征的注意力的网络模型。第一左特征图与第一右特征图中位置相对应的两个特征点可以是指分别位于第一左特征图和第一右特征图中的两个特征点所对应的两个感受野区域相同，或者一个感受野区域是另一个感受野区域的子区域。例如，在第一左特征图中的某个特征点x对应的左图像上的第一感受野区域与在第一右特征图中位置相对应的特征点y所对应的右图像上的第二感受野区域相同，或者第一感受野区域是第二感受野区域的子区域。两个特征点之间的特征差值可以是指两个特征点对应的特征信息的差值。例如，特征图的大小为：c
×h×
w，其中，c表示通道数，h表示图像高度，w表示图像宽度。对于通道数为2以及大于2的特征图而言，该特征图中的每个特征点的特征信息为一个特征向量，本实施例可以利用特征点x的特征向量x表示特征点x的值，即x＝f(g)，其中，g表示特征点x在原始图像上的感受野区域，f()为特征提取网络模型对应的特征提取函数。
43.其中，研究发现，包含视差边缘的特征在双目图像中的一个图像上是连续的，而在另一图像上是不连续的，从而双目图像在被同一特征提取网络模型提取到的第一左特征图
和第一右特征图中，相对应的两个特征点位置会有较大的偏差。特征差值与权重值之间的对应关系可以是预先基于包含视差边缘的特征的表现而设置的。例如，特征差值与权重值成反比关系，即特征差值越大，表明特征点所对应的感受野区域包含视差边缘区域的可能性越大，即特征点为包含视差边缘的特征的可能性越大，此时权重值设置的越小，以降低对包含视差边缘的特征的注意力。相反，特征差值越小，权重值设置的越大，以提高未包含边缘的特征的注意力。左权重矩阵可以是由第一左特征图中的每个特征点对应的权重值所组成的权重矩阵。右权重矩阵可以是由第一右特征图中的每个特征点对应的权重值所组成的权重矩阵。
44.具体地，通过将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型可以基于分别位于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定出第一左特征图中的每个特征点对应的权重值，即获得左权重矩阵，以及第一右特征图中的每个特征点对应的权重值，即获得右权重矩阵。例如，可以通过在第一右特征图上搜索出与第一左特征图中的每个左特征点位置相对应的右特征点，并基于左右特征点之间的特征差值确定出第一左特征图中的每个左特征点对应的权重值。同理，可以通过在第一左特征图上搜索出与第一右特征图中的每个右特征点位置相对应的左特征点，并基于左右特征点之间的特征差值确定出第一右特征图中的每个右特征点对应的权重值。通过将左权重矩阵与第一左特征图进行逐元素相乘，获得注意力处理后的左特征图并进行输出。通过将右权重矩阵与第一右特征图进行逐元素相乘，获得注意力处理后的右特征图并进行输出。
45.s140、根据预设注意力网络模型的输出，获得注意力处理后的左右特征图。
46.具体地，预设注意力网络模型可以将注意力处理后的左右特征图进行输出，从而可以抑制包含视差边缘的特征的提取，避免包含视差边缘的特征影响后续的视差估计，提高了视差估计的准确性。
47.需要说明的是，在第一右特征图上搜索与第一左特征图上的左特征点相对应的右特征点的搜索过程与在第一左特征图上搜索与第一右特征图上的右特征点相对应的左特征点的搜索过程类似，本实施例以在第一右特征图上的搜索过程为例进行说明。利用x表示第一左特征图中的一个左特征点，g表示左特征点x在左图像上的感受野区域。根据立体匹配的特性，可以得出以下推论：
48.当g不包含视差边缘区域时，在右图像上与g代表相同实际区域的区域记作g
′
，将g
′
对应的与左特征点x位于同一层且同一行的右特征点记作x
′
，此时对于任意特征提取网络模型，均有x
′
的特征向量x
′
等于x的特征向量x，即|x
′‑
x|＝0，此时可以将右特征点x
′
称为与左特征点x特征差值为零的对应特征点。
49.当g包含视差边缘区域时，g
′
空间上是不连续的。当提取包含g上视差边缘的特征时，这些特征位于g
′
上也是不连续的。可以将g
′
的区域、g
′
的左部分与右部分之间的区域的并集称为g
″
，并将与左特征点x位于同一层、同一行且其感受野区域为g
″
子区域的右特征点记作x
″
，右特征点x
″
可以存在多个点，此时对于任意x
″
，都有|x
″‑
x|＞0。对于一个特定范围，该范围内的特征点的感受野区域对应于右图像中的区域的并集g
″
，这个范围内不存在与左特征点x特征差值为零的对应右特征点。
50.可见，可以将较低的权重值分给一定范围内不存在特征差值为零的左特征点x，以降低对包含视差边缘的特征的注意力。由于包含视差边缘的特征大概率会导致较大的特征差值的最小值，并且考虑到某些特殊情况，例如数据噪声，左右图像之间的微小差异，从而可以采用特征差值的最小值越小，权重值越大的方式设置特征差值与权重值之间的对应关系，从而可以降低对包含视差边缘的特征的关注，并尽可能少地影响其他有利特征。
51.在预设注意力网络模型的实际应用中，考虑到时间成本，gpu内存成本以及网络中各层之间存在差异，对于经过激活函数relu作用后各值不为负的特征图，在不失去预设注意力网络模型目的的前提下，可以将|x
″‑
x|近似为|wx
″‑
wx|，其中，w为需要学习的参数，从而可以使用非常轻量的卷积层，比如，1
×1×
输入通道的卷积层计算wx
″
或者wx并学习w，从而假设需要计算n个特征点的权重，每个特征点是一个c维向量，最大允许视差范围是d，则时间复杂度可以从o(ndc)减少到o(nd nc)，从而可以构建一个轻量级的预设注意力网络模型，不会影响视差估计的效率。
52.本实施例的技术方案，通过分别对待处理的双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图，此时获得的第一左特征图和第一右特征图中可能包含视差边缘的特征。通过将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型可以基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定出第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和第一右特征图进行注意力处理，从而可以降低对包含视差边缘的特征的注意力，提高未包含视差边缘的特征的注意力，进而抑制了第一左特征图和第一右特征图中包含视差边缘的特征，避免包含视差边缘的特征对视差估计造成影响，提高了视差估计的准确性。
53.在上述技术方案的基础上，在s140之后，还可以包括：将预设注意力网络模型输出的左特征图和右特征图输入至视差估计网络模型中进行视差估计；基于视差估计网络模型的输出，获得双目图像对应的目标视差图。
54.其中，视差估计网络模型可以是用于基于左右特征图进行视差区域的网络模型。例如，视差估计网络模型可以是指psmnet(pyramid stereo matching network)金字塔立体匹配网络模型中的视差估计网络模型。图2给出了一种视差估计过程的示例。如图2所示，视差估计网络模型可以包括：金字塔池化结构(spp module)、代价聚合体(cost volume))和三维卷积结构(3d cnn)。其中，金字塔池化结构可以用于提取输入的左右特征图的多尺度目标特征。代价聚合体可以用于将左右特征图的多尺度目标特征进行代价聚合，得到三维特征信息。3d卷积结构可以用于对三维特征信息进行后续代价计算，从而估计出目标视差图。
55.具体地，将预设注意力网络模型输出的已抑制包含视差边缘特征的左特征图和右特征图输入至视差估计网络模型中进行视差估计，从而可以避免包含视差边缘的特征对视差估计造成影响，提高了目标视差图估计的准确性。
56.示例性地，可以利用两个相同的预设注意力网络模型进行注意力处理，进一步提高包含视差边缘的特征的抑制效果，进一步提高视差估计的准确性。如图2所示，可以将双目图像中的左图像和右图像同时输入至两个权重共享的特征提取网络模型中进行特征提
取，以便基于两个特征提取网络模型的输出，同时获得第一左特征图和第一右特征图。然后将第一左特征图和第一右特征图输入至第一个预设注意力网络模型中进行注意力处理，并将第一个预设注意力网络模型输出的左特征图和右特征图再次输入至第二个预设注意力网络模型中进行再次注意力处理，将输出的更加抑制视差边缘的特征的左右特征图输入至视差估计网络模型中进行视差估计，从而可以进一步避免包含视差边缘的特征对视差估计造成影响，进一步提高目标视差图估计的准确性。
57.图3为本发明实施例提供的一种双目图像处理方法的流程图，本实施例在上述各实施例的基础上，预设注意力网络模型可以包括：特征融合子模型、权重估计子模型和注意力处理子模型，并在此基础上，对注意力处理过程进行了详细描述，其中与上述各实施例相同或相应的术语的解释在此不再赘述。
58.参见图3，本实施例提供的双目图像处理方法具体包括以下步骤：
59.s310、获取待处理的双目图像。
60.s320、分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图。
61.s330、将第一左特征图输入至特征融合子模型中，对第一左特征图中的每个通道的特征信息进行融合，确定融合后的第二左特征图。
62.其中，特征融合子模型可以是用于将特征图中每个通道上的特征信息进行融合，获得通道数减少的特征图的网络模型。例如，特征融合子模型可以用于获取具有单一通道的特征图；也可以获取具有两个通道的特征图。
63.s340、将第一右特征图输入至特征融合子模型中，对第一右特征图中的每个通道的特征信息进行融合，确定融合后的第二右特征图。
64.具体地，本实施例可以将第一左特征图和第一右特征图先后输入至特征融合子模型中进行特征融合，也可以将第一左特征图和第一右特征图分别输入至权重共享的两个特征融合子模型中进行特征融合，以便同时获得第二左特征图和第二右特征图，提高获取效率，如图4所示。
65.需要说明的是，此处并不限定步骤s340的执行顺序，比如步骤s340可以在步骤s330之后顺序执行，也可以在步骤s330之前执行，还可以与步骤s330同时执行。
66.示例性地，特征融合子模型可以包括：第一卷积层和第二卷积层。图5给出了另一种预设注意力网络模型的示例。如图5所示，s330可以包括：将第一左特征图输入至第一卷积层进行卷积操作，确定与第一左特征图尺寸相同的第四左特征图；将第四左特征图输入至第二卷积层进行卷积操作，确定融合后的第二左特征图。s340可以包括：将第一右特征图输入至第一卷积层进行卷积操作，确定与第一右特征图尺寸相同的第四右特征图；将第四右特征图输入至第二卷积层进行卷积操作，确定融合后的第二右特征图。
67.具体地，通过第一卷积层可以对第一左特征图c
×h×
w进行进一步特征提取，获得与第一左特征图尺寸相同的第四左特征图c
×h×
w，并将第四左特征图c
×h×
w输入至第二卷积层进行卷积操作，将通道数降低，获得第二左特征图，比如将通道数降低为1，即获得第二左特征图1
×h×
w。同理，通过第一卷积层可以对第一右特征图c
×h×
w进行进一步特征提取，获得与第一右特征图尺寸相同的第四右特征图c
×h×
w，并将第四右特征图c
×h×
w输入至第二卷积层进行卷积操作，将通道数降低，获得第二右特征图，比如将通道数降低为
1，获得第二右特征图1
×h×
w。
68.示例性地，第一卷积层可以包括：两个卷积核大小为3
×
3的二维卷积。第二卷积层可以包括：一个卷积核大小为1
×
1的二维卷积。每个卷积核可以通过滚动作用于整个特征图中。第二卷积层中的1
×
1的二维卷积的通道数可以等于第四右特征图的通道数，从而通过第二卷积层的卷积操作可以使得第二卷积层的输出通道数为1，即获得通道数为1的第二左特征图1
×h×
w和第二右特征图1
×h×
w。第一卷积层中的每个二维卷积除了包括3
×
3的卷积操作，还可以包括批量归一化操作batch-norm和激活函数relu。
69.需要说明的是，若输入的第一左特征图和最终的输出特征图的尺寸不同，则可以利用第一卷积层中的第一个二维卷积和增加的一个卷积核大小为1
×
1的二维卷积进行尺寸调整，比如通过增加通道数或者进行下采样的方式，以保证输入特征图和输出特征图的尺寸一致。
70.s350、将第二左特征图和第二右特征图输入至权重估计子模型中，基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第二左特征图对应的左权重矩阵和第二右特征图对应的右权重矩阵。
71.其中，权重估计子模型可以是指用于估计左权重矩阵和右权重矩阵的模型。具体地，如图4所示，可以将第二左特征图和第二右特征图输入至权重估计子模型中进行权重估计，权重估计子模型通过在第二右特征图上搜索位置相对应的特征点，可以确定出第二左特征图中的每个左特征点对应的左权重值，进而获得左权重矩阵。同理，通过在第二左特征图上搜索位置相对应的特征点，可以确定出第二右特征图中的每个右特征点对应的右权重值，进而获得右权重矩阵。
72.示例性地，权重估计子模型可以包括：左权重估计单元和右权重估计单元。如图5所示，s350可以包括：将第二左特征图和第二右特征图输入至左权重估计单元中，针对第二左特征图中的每个左特征点，在第二右特征图上搜索与当前左特征点位置相对应的目标右特征点，并基于当前左特征点与目标右特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定当前左特征点对应的左权重值。将第二左特征图和第二右特征图输入至右权重估计单元中，针对第二右特征图中的每个右特征点，在第二左特征图上搜索与当前右特征点位置相对应的目标左特征点，并基于当前右特征点与目标左特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定当前右特征点对应的右权重值。
73.具体地，左权重矩阵和右权重矩阵的确定过程是类似的。本实施例以左权重矩阵的确定过程为例进行说明。在左权重估计单元中，可以针对第二左特征图中的各个左特征点逐个确定出每个左特征点对应的左权重值。左权重估计单元可以通过如下步骤确定出每个左特征点对应的左权重值：
74.在第二右特征图上的预设搜索范围内，搜索与当前左特征点位置相对应的每个目标右特征点；确定当前左特征点与每个目标右特征点之间的特征差值，并将绝对值最小的特征差值作为目标特征差值；基于目标特征差值和预先设置的特征差值与权重值之间的对应关系确定当前左特征点对应的左权重值。
75.其中，当前左特征点可以是指当前所针对的左特征点。预设搜索范围可以是指在
第二右特征图上可能存在与左特征点x特征差值为零的对应右特征点所处于的范围，即该范围中的右特征点的感受野区域对应于右图像中的区域的并集g
″
。
76.具体地，本实施例中的左右图像仅在水平方向上有差异，从而搜索可以仅在水平方向上进行。例如，可以在第二右特征图的预设搜索范围内搜索与当前左特征点所处于同一行的每个目标右特征点。将当前左特征点的特征向量与每个目标右特征点的特征向量进行相减，获得各个特征差值，并对各个特征差值取绝对值，获得最小的绝对值。若最小的绝对值，即目标特征差值等于零，则表明当前左特征点的感受野区域不存在视差边缘区域，此时可以设置最大的左权重值。若最小的绝对值，即目标特征差值大于零，则表明当前左特征点的感受野区域可能存在视差边缘区域，并且存在的概率与目标特征差值的绝对值成正比，此时可以基于特征差值与权重值之间的对应关系设置相应的左权重值。
77.示例性地，在第二右特征图上的预设搜索范围内，搜索与当前左特征点位置相对应的每个目标右特征点，可以包括：在第二右特征图上搜索与当前左特征点处于同一行，且视差小于预设视差阈值的各个目标右特征点。
78.其中，预设视差阈值可以是预先设置的，位置相对应的两个特征点允许的最大视差值，即位置相对应的两个特征点位置的最大偏差值。例如，预设视差阈值可以设置为192，该值可以与特征图大小进行同步下采样。具体地，可以基于第二左特征图上的第i行第j列的当前左特征点x
(i,j)
，在第二右特征图的第i行上搜索列数k与j的差值小于预设视差阈值maxdisp的各个目标右特征点x
′
(i,k)
，其中，|k-j|＜maxdisp。通过利用预设视差阈值设置搜索范围可以更快地获得搜索结果，提高搜索效率。
79.示例性地，可以基于如下公式，确定当前左特征点对应的左权重值：
[0080][0081]
其中，r为当前左特征点对应的目标特征差值；σ(r)为当前左特征点对应的左权重值。左权重估计单元通过上述激活函数σ(r)获得当前左特征点x
(i,j)
对应的左权重值，即f(x
(i,j)
)＝σ(r)。
[0082]
同理，右权重估计单元可以通过如下步骤确定出每个右特征点对应的右权重值：
[0083]
在第二左特征图上的预设搜索范围内，搜索与当前右特征点位置相对应的每个目标左特征点；确定当前右特征点与每个目标左特征点之间的特征差值，并将绝对值最小的特征差值作为目标特征差值；基于目标特征差值和预先设置的特征差值与权重值之间的对应关系确定当前右特征点对应的右权重值。
[0084]
示例性地，在第二左特征图上的预设搜索范围内，搜索与当前右特征点位置相对应的每个目标左特征点，可以包括：在第二左特征图上搜索与当前右特征点处于同一行，且视差小于预设视差阈值的各个目标左特征点。
[0085]
示例性地，可以基于如下公式，确定当前右特征点对应的右权重值：
[0086][0087]
其中，r为当前右特征点对应的目标特征差值；σ(r)为当前右特征点对应的右权重值。
[0088]
s360、将左权重矩阵和第一左特征图输入至注意力处理子模型中进行注意力处
理，确定第三左特征图，并将第三左特征图进行输出。
[0089]
具体地，如图4所示，注意力处理子模型可以将输入的左权重矩阵1
×h×
w进行重复c遍，也就是将c个左权重矩阵1
×h×
w进行叠加，获得一个与第一左特征图c
×h×
w尺寸相同的左权重矩阵体c
×h×
w，并将第一左特征图与左权重矩阵体按元素进行相乘，获得注意力处理后的第三左特征图c
×h×
w并进行输出。
[0090]
示例性地，如图5所示，s360可以包括：将左权重矩阵和第四左特征图输入至注意力处理子模型中进行注意力处理，确定第三左特征图。
[0091]
具体地，可以将第一卷积层输出的第四左特征图输入至注意力处理子模型中进行注意力处理，也就是将进一步提取特征的第四左特征图与左权重矩阵逐像素进行相乘，获得第三左特征图，进一步提高特征提取的准确性。
[0092]
s370、将右权重矩阵和第一右特征图输入至注意力处理子模型中进行注意力处理，确定第三右特征图，并将第三右特征图进行输出。
[0093]
具体地，如图4所示，注意力处理子模型可以将输入的右权重矩阵1
×h×
w进行重复c遍，也就是将c个右权重矩阵1
×h×
w进行叠加，获得一个与第一右特征图c
×h×
w尺寸相同的右权重矩阵体c
×h×
w，并将第一右特征图与右权重矩阵体按元素进行相乘，获得注意力处理后的第三右特征图c
×h×
w并进行输出。
[0094]
示例性地，如图5所示，s370可以包括：将右权重矩阵和第四右特征图输入至注意力处理子模型中进行注意力处理，确定第三右特征图。
[0095]
具体地，可以将第一卷积层输出的第四右特征图输入至注意力处理子模型中进行注意力处理，也就是将进一步提取特征的第四右特征图与右权重矩阵逐像素进行相乘，获得第三右特征图，进一步提高特征提取的准确性。
[0096]
需要说明的是，此处并不限定步骤s370的执行顺序，比如步骤s370可以在步骤s360之后顺序执行，也可以在步骤s360之前执行，还可以与步骤s360同时执行。
[0097]
s380、根据预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0098]
本实施例的技术方案，通过利用包括特征融合子模型、权重估计子模型和注意力处理子模型的预设注意力网络模型对第一左特征图和第一右特征图进行注意力处理，可以降低对包含视差边缘的特征的注意力，提高未包含视差边缘的特征的注意力，进而抑制了第一左特征图和第一右特征图中包含视差边缘的特征，避免包含视差边缘的特征对视差估计造成影响，提高了视差估计的准确性。
[0099]
图6为本发明实施例提供的一种双目图像处理方法的流程图，本实施例在上述各实施例的基础上，预设注意力网络模型除了包括特征融合子模型、权重估计子模型和注意力处理子模型之外，还包括残差构建子模型，并在此基础上，对注意力处理过程进行了详细描述，其中与上述各实施例相同或相应的术语的解释在此不再赘述。
[0100]
参见图6，本实施例提供的双目图像处理方法具体包括以下步骤：
[0101]
s610、获取待处理的双目图像。
[0102]
s620、分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图。
[0103]
s630、将第一左特征图输入至特征融合子模型中，对第一左特征图中的每个通道的特征信息进行融合，确定融合后的的第二左特征图。
[0104]
具体地，图7给出了一种预设注意力网络模型的示例。如图7所示，可以将将第一左特征图输入至第一卷积层进行卷积操作，确定与第一左特征图尺寸相同的第四左特征图；将第四左特征图输入至第二卷积层进行卷积操作，确定融合后的第二左特征图。
[0105]
s640、将第一右特征图输入至特征融合子模型中，对第一右特征图中的每个通道的特征信息进行融合，确定融合后的的第二右特征图。
[0106]
具体地，如图7所示，可以将第一右特征图输入至第一卷积层进行卷积操作，确定与第一右特征图尺寸相同的第四右特征图；将第四右特征图输入至第二卷积层进行卷积操作，确定融合后的第二右特征图。
[0107]
s650、将第二左特征图和第二右特征图输入至权重估计子模型中，基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第二左特征图对应的左权重矩阵和第二右特征图对应的右权重矩阵。
[0108]
具体地，如图7所示，可以将第二左特征图和第二右特征图输入至左权重估计单元中确定左权重矩阵，以及将第二左特征图和第二右特征图输入至右权重估计单元中确定右权重矩阵。
[0109]
s660、将左权重矩阵和第一左特征图输入至注意力处理子模型中进行注意力处理，确定第三左特征图。
[0110]
具体地，如图7所示，可以将左权重矩阵和第四左特征图输入至注意力处理子模型中进行注意力处理，确定第三左特征图。
[0111]
s670、将第一左特征图和第三左特征图输入至残差构建子模型中进行残差构建，确定第五左特征图，并将第五左特征图进行输出。
[0112]
其中，残差构建子模型可以用于构建残差结构的模型。具体地，如图7所示，残差构建子模型可以将输入的尺寸相同的第一左特征图c
×h×
w和第三左特征图c
×h×
w按位相加，获得的相加结果作为第五左特征图并进行输出。通过增加一个残差构建子模型，从而可以构建出一个残差块结构，进一步提高预设注意力网络模型的训练效果，进一步抑制包含视差边缘的特征，进一步提高了视差估计的准确性。
[0113]
s680、将右权重矩阵和第一右特征图输入至注意力处理子模型中进行注意力处理，确定第三右特征图。
[0114]
具体地，如图7所示，可以将右权重矩阵和第四右特征图输入至注意力处理子模型中进行注意力处理，确定第三右特征图。
[0115]
s690、将第一右特征图和第三右特征图输入至残差构建子模型中进行残差构建，确定第五右特征图，并将第五右特征图进行输出。
[0116]
具体地，如图7所示，残差构建子模型可以将输入的尺寸相同的第一右特征图c
×h×
w和第三右特征图c
×h×
w按位相加，获得的相加结果作为第五右特征图并进行输出。通过增加一个残差构建子模型，从而可以构建出一个残差块结构，进一步提高预设注意力网络模型的训练效果，进一步抑制包含视差边缘的特征，进一步提高了视差估计的准确性。
[0117]
s691、根据预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0118]
本实施例的技术方案，通过增加一个残差构建子模型，从而可以构建出一个残差块结构，进一步提高预设注意力网络模型的训练效果，进一步抑制包含视差边缘的特征，进
一步提高了视差估计的准确性。
[0119]
以下是本发明实施例提供的双目图像处理装置的实施例，该装置与上述各实施例的双目图像处理方法属于同一个发明构思，在双目图像处理装置的实施例中未详尽描述的细节内容，可以参考上述双目图像处理方法的实施例。
[0120]
图8为本发明实施例提供的一种双目图像处理装置的结构示意图，本实施例可适用于对双目图像进行特征注意力处理的情况，如图8所示，该装置包括：双目图像获取模块810、特征提取模块820、特征图输入模块830和特征图输出模块840。
[0121]
其中，双目图像获取模块810，用于获取待处理的双目图像；特征提取模块820，用于分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图；特征图输入模块830，用于将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型用于：基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和第一右特征图进行注意力处理；特征图输出模块840，用于根据预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0122]
可选地，预设注意力网络模型包括：特征融合子模型、权重估计子模型和注意力处理子模型；
[0123]
特征图输入模块830，包括：
[0124]
第一输入单元，用于将第一左特征图输入至特征融合子模型中，对第一左特征图中的每个通道的特征信息进行融合，确定融合后的第二左特征图；
[0125]
第二输入单元，用于将第一右特征图输入至特征融合子模型中，对第一右特征图中的每个通道的特征信息进行融合，确定融合后的第二右特征图；
[0126]
第三输入单元，用于将第二左特征图和第二右特征图输入至权重估计子模型中，基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第二左特征图对应的左权重矩阵和第二右特征图对应的右权重矩阵；
[0127]
第四输入单元，用于将左权重矩阵和第一左特征图输入至注意力处理子模型中进行注意力处理，确定第三左特征图，并将第三左特征图进行输出；
[0128]
第五输入单元，用于将右权重矩阵和第一右特征图输入至注意力处理子模型中进行注意力处理，确定第三右特征图，并将第三右特征图进行输出。
[0129]
可选地，特征融合子模型包括：第一卷积层和第二卷积层；
[0130]
第一输入单元，具体用于：将第一左特征图输入至第一卷积层进行卷积操作，确定与第一左特征图尺寸相同的第四左特征图；将第四左特征图输入至第二卷积层进行卷积操作，确定融合后的第二左特征图。
[0131]
可选地，第四输入单元，具体用于：将左权重矩阵和第四左特征图输入至注意力处理子模型中进行注意力处理，确定第三左特征图；
[0132]
第五输入单元，具体用于：将右权重矩阵和第四右特征图输入至注意力处理子模型中进行注意力处理，确定第三右特征图。
[0133]
可选地，权重估计子模型包括：左权重估计单元和右权重估计单元；
[0134]
第三输入单元，具体用于：
[0135]
将第二左特征图和第二右特征图输入至左权重估计单元中，针对第二左特征图中的每个左特征点，在第二右特征图上搜索与当前左特征点位置相对应的目标右特征点，并基于当前左特征点与目标右特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定当前左特征点对应的左权重值；
[0136]
将第二左特征图和第二右特征图输入至右权重估计单元中，针对第二右特征图中的每个右特征点，在第二左特征图上搜索与当前右特征点位置相对应的目标左特征点，并基于当前右特征点与目标左特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定当前右特征点对应的右权重值。
[0137]
可选地，左权重估计单元在第二右特征图上搜索与当前左特征点位置相对应的目标右特征点，并基于当前左特征点与目标右特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定当前左特征点对应的左权重值，包括：
[0138]
在第二右特征图上的预设搜索范围内，搜索与当前左特征点位置相对应的每个目标右特征点；确定当前左特征点与每个目标右特征点之间的特征差值，并将绝对值最小的特征差值作为目标特征差值；基于目标特征差值和预先设置的特征差值与权重值之间的对应关系确定当前左特征点对应的左权重值。
[0139]
可选地，在第二右特征图上的预设搜索范围内，搜索与当前左特征点位置相对应的每个目标右特征点，包括：
[0140]
在第二右特征图上搜索与当前左特征点处于同一行，且视差小于预设视差阈值的各个目标右特征点。
[0141]
可选地，基于如下公式，确定当前左特征点对应的左权重值：
[0142][0143]
其中，r为当前左特征点对应的目标特征差值；σ(r)为当前左特征点对应的左权重值。
[0144]
可选地，预设注意力网络模型还包括：残差构建子模型；
[0145]
第四输入单元，还用于：将第一左特征图和第三左特征图输入至残差构建子模型中进行残差构建，确定第五左特征图，并将第五左特征图进行输出；
[0146]
第五输入单元，还用于：将第一右特征图和第三右特征图输入至残差构建子模型中进行残差构建，确定第五右特征图，并将第五右特征图进行输出。
[0147]
可选地，该装置还包括：
[0148]
视差估计模块，用于在根据预设注意力网络模型的输出，获得注意力处理后的左右特征图之后，将预设注意力网络模型输出的左特征图和右特征图输入至视差估计网络模型中进行视差估计；基于视差估计网络模型的输出，获得双目图像对应的目标视差图。
[0149]
本发明实施例所提供的双目图像处理装置可执行本发明任意实施例所提供的双目图像处理方法，具备执行双目图像处理方法相应的功能模块和有益效果。
[0150]
值得注意的是，上述双目图像处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另
外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0151]
图9为本发明实施例提供的一种电子设备的结构示意图。图9示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图9显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0152]
如图9所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0153]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0154]
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0155]
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图9未显示，通常称为“硬盘驱动器”)。尽管图9中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0156]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0157]
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0158]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发实施例所提供的一种双目图像处理方法步骤，该方法包括：
[0159]
获取待处理的双目图像；
[0160]
分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特
征图和右图像对应的第一右特征图；
[0161]
将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型用于：基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和第一右特征图进行注意力处理；
[0162]
根据预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0163]
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的双目图像处理方法的技术方案。
[0164]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的双目图像处理方法步骤，该方法包括：
[0165]
获取待处理的双目图像；
[0166]
分别对双目图像中的左图像和右图像进行特征提取，确定左图像对应的第一左特征图和右图像对应的第一右特征图；
[0167]
将第一左特征图和第一右特征图输入至预设注意力网络模型中进行特征注意力处理，预设注意力网络模型用于：基于第一左特征图与第一右特征图中位置相对应的两个特征点之间的特征差值以及预先设置的特征差值与权重值之间的对应关系，确定第一左特征图对应的左权重矩阵和第一右特征图对应的右权重矩阵，并基于左权重矩阵和右权重矩阵分别对第一左特征图和第一右特征图进行注意力处理；
[0168]
根据预设注意力网络模型的输出，获得注意力处理后的左右特征图。
[0169]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0170]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0171]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0172]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完
全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0173]
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0174]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。