视差图生成方法和装置、电子设备及存储介质与流程

1.本技术涉及人工智能技术领域，尤其涉及一种视差图生成方法和装置、电子设备及存储介质。


背景技术：

2.视差估计是旨在预测目标场景中每个点的距离测量情况的基本计算机视觉问题。目前的立体匹配算法在进行视差估计时，通常在弱纹理、重复纹理和遮挡等不适定区域遇到困难，往往无法准确地对目标对象进行视差估计，使得生成的视差图误差较大。因此，如何提高视差估计的准确性，减小视差图的误差，成为了亟待解决的技术问题。


技术实现要素：

3.本技术实施例的主要目的在于提出一种视差图生成方法和装置、电子设备及存储介质，旨在提高视差估计的准确性，减小视差图的误差。
4.为实现上述目的，本技术实施例的第一方面提出了一种视差图生成方法，所述方法包括：
5.获取目标图像，其中，所述目标图像包括左视图和右视图；
6.对所述左视图进行特征提取，得到多个左视图特征，并对所述右视图进行特征提取，得到多个右视图特征；
7.对所述左视图特征进行图像分割处理，得到第一图像特征；
8.对所述左视图特征、所述第一图像特征以及所述右视图特征进行组合处理，得到目标代价体；
9.通过预设的三维卷积沙漏模型对所述目标代价体进行视差估计，得到估计视差图；
10.通过预设的语义细化网络和所述第一图像特征对所述估计视差图进行语义细化处理，得到目标视差图。
11.在一些实施例，所述对所述左视图进行特征提取，得到多个左视图特征，并对所述右视图进行特征提取，得到多个右视图特征的步骤，包括：
12.对所述左视图进行卷积处理，得到左视图卷积特征，并对所述右视图进行卷积处理，得到右视图卷积特征；
13.根据预设的多尺度特征分辨率参数，对所述左视图卷积特征进行金字塔池化处理，得到所述多个左视图特征，并根据所述多尺度特征分辨率参数，对所述右视图卷积特征进行金字塔池化处理，得到所述多个右视图特征。
14.在一些实施例，所述对所述左视图特征进行图像分割处理，得到第一图像特征的步骤，包括：
15.通过预设的双线性峰插法对所述左视图特征进行上采样处理，得到第一视图特征隐变量；
16.通过预设的第一函数对所述第一视图特征隐变量进行特征排序，得到第一视图特征序列；
17.对所述第一视图特征序列进行卷积处理，得到所述第一图像特征。
18.在一些实施例，所述对所述左视图特征、所述第一图像特征以及所述右视图特征进行组合处理，得到目标代价体的步骤，包括：
19.根据预设的多尺度特征分辨率参数，对所述左视图特征和所述右视图特征进行分类组合处理，得到初始代价体；
20.通过预设的三维卷积网络对所述初始代价体、所述第一图像特征进行拼接处理，得到所述目标代价体。
21.在一些实施例，所述通过预设的三维卷积网络对所述初始代价体、所述第一图像特征进行拼接处理，得到所述目标代价体的步骤，包括：
22.通过所述三维卷积网络对所述初始代价体进行正则化处理，得到第一中间代价体，并通过所述三维卷积网络对所述第一图像特征进行正则化处理，得到第一中间图像特征；
23.通过所述三维卷积网络对所述第一中间代价体进行下采样处理，得到第二中间代价体，并对所述第一中间图像特征进行上采样处理，得到第二中间图像特征；
24.通过所述三维卷积网络对所述第二中间代价体与所述第二中间图像特征进行拼接处理，得到所述目标代价体。
25.在一些实施例，所述三维卷积沙漏模型包括聚合层、预测层，所述通过预设的三维卷积沙漏模型对所述目标代价体进行视差估计，得到估计视差图的步骤，包括：
26.通过所述聚合层对所述目标代价体进行代价聚合处理，得到融合代价体；
27.通过所述预测层的第二函数对所述融合代价体进行视差估计，得到所述估计视差图。
28.在一些实施例，所述通过预设的语义细化网络和所述第一图像特征对所述估计视差图进行语义细化处理，得到目标视差图的步骤，包括：
29.通过所述语义细化网络的第三函数对所述第一图像特征进行概率计算，生成语义概率图；
30.通过所述语义细化网络对所述估计视差图进行卷积处理，得到估计视差特征；
31.通过所述语义细化网络对所述语义概率图和所述估计视差特征进行融合处理，得到初步视差特征；
32.通过所述语义细化网络对所述初步视差特征进行解码处理，得到所述目标视差图。
33.为实现上述目的，本技术实施例的第二方面提出了一种视差图生成装置，所述装置包括：
34.图像获取模块，用于获取目标图像，其中，所述目标图像包括目标对象的左视图和右视图；
35.特征提取模块，用于对所述左视图进行特征提取，得到多个左视图特征，并对所述右视图进行特征提取，得到多个右视图特征；
36.图像分割模块，用于对所述左视图特征进行图像分割处理，得到第一图像特征；
37.融合模块，用于对所述左视图特征、所述第一图像特征以及所述右视图特征进行融合处理，得到目标代价体；
38.视差估计模块，用于通过预设的三维卷积沙漏模型对所述目标代价体进行视差估计，得到估计视差图；
39.语义细化模块，用于通过预设的语义细化网络和所述第一图像特征对所述估计视差图进行语义细化处理，得到目标视差图。
40.为实现上述目的，本技术实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述程序被所述处理器执行时实现上述第一方面所述的方法。
41.为实现上述目的，本技术实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
42.本技术提出的视差图生成方法和装置、电子设备及存储介质，其通过获取目标图像，其中，目标图像包括左视图和右视图。进而，对左视图进行特征提取，得到多个左视图特征，并对右视图进行特征提取，得到多个右视图特征，能够使得得到的左视图特征和右视图特征更加符合视差估计的需求。进而，对左视图特征进行图像分割处理，得到第一图像特征，并对左视图特征、第一图像特征以及右视图特征进行组合处理，得到目标代价体，通过预设的三维卷积沙漏模型对目标代价体进行视差估计，得到估计视差图，这样一来，能够利用语义信息辅助视差估计，提高视差估计的可靠性。最后，通过预设的语义细化网络和第一图像特征对估计视差图进行语义细化处理，得到目标视差图，能够增强立体匹配任务对场景的理解，提高视差估计的准确性，减小视差图的误差。
附图说明
43.图1是本技术实施例提供的视差图生成方法的流程图；
44.图2是图1中的步骤s102的流程图；
45.图3是图1中的步骤s103的流程图；
46.图4是图1中的步骤s104的流程图；
47.图5是图4中的步骤s402的流程图；
48.图6是图1中的步骤s105的流程图；
49.图7是图1中的步骤s106的流程图；
50.图8是本技术实施例提供的视差图生成装置的结构示意图；
51.图9是本技术实施例提供的电子设备的硬件结构示意图。
具体实施方式
52.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
53.需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻
辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
54.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
55.首先，对本技术中涉及的若干名词进行解析：
56.人工智能(artificial intelligence，ai)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
57.自然语言处理(natural language processing，nlp)：nlp用计算机来处理、理解以及运用人类语言(如中文、英文等)，nlp属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
58.信息抽取(information extraction，ner)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
59.视差：视差就是从有一定距离的两个点上观察同一个目标所产生的方向差异。从目标看两个点之间的夹角，叫做这两个点的视差角，两点之间的连线称作基线。通常，如果要知道视差角度和基线长度，就可以计算出目标和观测者之间的距离。
60.视差估计：视差估计是旨在预测目标场景中每个点的距离测量情况的基本计算机视觉问题。
61.残差网络(resnet)：通过残差密集块(rdb)来充分利用原始lr图像的所有分层特征。对于一个很深的网络来说，直接提取lr空间中的每个卷积层的输出很难，可以说是不切实际的。使用残差密集块(rdb)作为rdn的构建模块。rdb包含密集连通层和带有局部残差学习(lrl)的局部特征融合(lff)。残差密集块还支持rdb间的连续记忆。一个rdb的输出可以直接访问下一个rdb各层，从而使状态连续传递。rdb每个卷积层都可以访问所有的后续层，传递需要保留的信息。将前面的rdb与当前rdb的所有前面层的状态连接，lff通过自适应地保存信息来提取局部密集特征。此外，lff通过稳定更大网络的训练来实现极高的增长率。
在提取多层局部密集特征后，进一步进行全局特征融合(gff)以全局方式自适应地保留分层特征。每层都可以直接访问原始的lr输入，从而产生隐式的深层监督学习。残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。残差网络是由一系列残差块组成的。残差块分成两部分直接映射部分和残差部分。残差部分一般由两个或者三个卷积操作构成。
62.特征金字塔(feature pyramid network，fpn)：特征金字塔最先被提出用于小目标检测任务中，其充分结合了不同尺度下的特征信息，在大尺度下，低层特征具备高分辨率，高层特征包含的语义信息更为丰富。fpn在imagenet和coco检测任务中发挥着出色的作用。基于此，将其应用于立体匹配领域，对于卷积神经网络而言，不同深度对应着不同层次的语义特征，浅层网络分辨率高，学的更多是细节特征，深层网络分辨率低，学的更多是语义特征。在fpn网络中，每个分辨率的特征图引入后一分辨率缩放两倍的特征图做元素级别相加的操作。通过这样的连接，每一层特征图都融合了不同分辨率、不同语义强度的特征。这样确保了每一层都有合适的分辨率和强语义特征。而且该方法只是在原网络基础上加上了额外的跨层连接，在实际应用中几乎不会增加额外的时间和计算量。实验结果表明使用特征金字塔网络对于立体匹配任务具有显著的作用。
63.上采样(upsampling)：上采样是指放大图像，也称图像插值(interpolating)，其主要目的在于放大原图像,从而使图像可以显示在更高分辨率的显示设备上。上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素。插值算法主要包括基于边缘的图像插值算法和基于区域的图像插值算法。
64.下采样(subsampled)：下采样是指缩小图像，也称降采样(downsampled)，其主要目的在于使得图像符合显示区域的大小，以及生成对应图像的缩略图。下采样原理：对于一幅图像i尺寸为m*n，对其进行s倍下采样，即得到(m/s)*(n/s)尺寸的得分辨率图像，当然s应该是m和n的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
65.立体视觉：立体视觉是通过模拟人眼视觉，从经过校准的左右视图估计视差，并通过焦距、距离等外参利用三角形相似来获取场景三维信息的计算机视觉技术。立体匹配技术则是利用两张经过水平方向矫正的左右视图，通过沿共轭极线匹配对应像素，来计算每个像素的左右图视差，从而实现深度估计。立体匹配技术在自动驾驶、三维重建、机器人控制和医疗诊断等领域有着广泛应用。
66.目前，立体匹配算法在进行视差估计时，通常在弱纹理、重复纹理和遮挡等不适定区域遇到困难，往往无法准确地对目标对象进行视差估计。因此，如何提高视差估计的准确性，成为了亟待解决的技术问题。
67.基于此，本技术实施例提供了一种视差图生成方法和装置、电子设备及存储介质，旨在提高视差估计的准确性，减小视差图的误差。
68.本技术实施例提供的视差图生成方法和装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本技术实施例中的视差图生成方法。
69.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工
智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
70.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
71.本技术实施例提供的视差图生成方法，涉及人工智能技术领域。本技术实施例提供的视差图生成方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式系统，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现视差图生成方法的应用等，但并不局限于以上形式。
72.本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
73.图1是本技术实施例提供的视差图生成方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤s101至步骤s106。
74.步骤s101，获取目标图像，其中，目标图像包括左视图和右视图；
75.步骤s102，对左视图进行特征提取，得到多个左视图特征，并对右视图进行特征提取，得到多个右视图特征；
76.步骤s103，对左视图特征进行图像分割处理，得到第一图像特征；
77.步骤s104，对左视图特征、第一图像特征以及右视图特征进行组合处理，得到目标代价体；
78.步骤s105，通过预设的三维卷积沙漏模型对目标代价体进行视差估计，得到估计视差图；
79.步骤s106，通过预设的语义细化网络和第一图像特征对估计视差图进行语义细化处理，得到目标视差图。
80.本技术实施例的步骤s101至步骤s106，通过对左视图进行特征提取，得到多个左视图特征，并对右视图进行特征提取，得到多个右视图特征，能够使得得到的左视图特征和右视图特征更加符合视差估计的需求。通过对左视图特征进行图像分割处理，得到第一图像特征，并对左视图特征、第一图像特征以及右视图特征进行组合处理，得到目标代价体，
通过预设的三维卷积沙漏模型对目标代价体进行视差估计，得到估计视差图，能够利用语义信息辅助视差估计，提高视差估计的可靠性。最后，通过预设的语义细化网络和第一图像特征对估计视差图进行语义细化处理，得到目标视差图，能够增强立体匹配任务对场景的理解，提高视差估计的准确性，减小生成的目标视差图的误差。在一些实施例的步骤s101中，目标图像可以为二维图像也可以是三维图像；在一些实施例，该目标图像可以是通过计算机断层扫描(computed tomo-graphy,-ct)，在另一项实施例，该目标图像还可以是通过核磁共振成像(magnetic resonance imaging,mri)得来，在一些其他实施例中，该目标图像还可以通过双目摄像机等等拍摄得到，不限于此。左视图和右视图为通过双目摄像头拍摄到的左右两幅视图。
81.在一些实施例的步骤s102之前，视差图生成方法还包括预构建立体匹配网络，该立体匹配网络主要包括特征提取模块、图像分割模块、视差估计模块以及语义细化模块，其中，特征提取模块主要由残差网络构成，用于对输入的目标图像进行特征提取；图像分割模块主要由pspnet解码网络构成，用于对经过特征提取的目标图像进行采样处理；视差估计模块主要由三维卷积网络构成，用于对采样处理之后的目标图像进行视差估计，生成估计视差图；语义细化模块主要由语义细化网络构成，该语言细化网络主要包括卷积层和全连接层，用于对估计视差图进行语义细化处理，生成目标视差图。
82.请参阅图2，在一些实施例中，特征提取模块包括残差网络和池化层，步骤s102可以包括但不限于包括步骤s201至步骤s202：
83.步骤s201，对左视图进行卷积处理，得到左视图卷积特征，并对右视图进行卷积处理，得到右视图卷积特征；
84.步骤s202，根据预设的多尺度特征分辨率参数，对左视图卷积特征进行金字塔池化处理，得到多个左视图特征，并根据多尺度特征分辨率参数，对右视图卷积特征进行金字塔池化处理，得到多个右视图特征。
85.在一些实施例的步骤s201中，通过上述立体匹配网络中特征提取模块的预残差网络分别对左视图和右视图进行特征提取，具体地，该残差网络由多个残差密集块构成，通过不同残差密集块的卷积层对左视图和右视图分别进行卷积处理，得到左视图卷积特征和右视图卷积特征。
86.在一些实施例的步骤s202中，将左视图卷积特征和右视图卷积特征输入至特征提取模块的池化层，通过池化层的多尺度特征分辨率参数，分别对左视图卷积特征、右视图卷积特征进行金字塔池化处理，通过金字塔池化处理可以获取到左视图的多尺度特征以及右视图的多尺度特征。
87.例如，根据预设的多尺度特征分辨率参数，对左视图卷积特征进行金字塔池化处理，使得得到的多个左视图特征的分辨率分别为原始左视图分辨率的1/4、1/8和1/16；根据预设的多尺度特征分辨率参数，对右视图卷积特征进行金字塔池化处理，使得得到的多个右视图特征的分辨率分别为原始右视图分辨率的1/4、1/8和1/16。这一方式能够充分结合不同尺度下的视图特征信息，在多尺度下，低层特征能够具备高分辨率，高层特征能够包含的语义信息更为丰富，从而提高视图估计的准确性。
88.请参阅图3，在一些实施例中，图像分割模块包括解码层、卷积层，步骤s103可以包括但不限于包括步骤s301至步骤s303：
89.步骤s301，通过预设的双线性峰插法对左视图特征进行上采样处理，得到第一视图特征隐变量；
90.步骤s302，通过预设的第一函数对第一视图特征隐变量进行特征排序，得到第一视图特征序列；
91.步骤s303，对第一视图特征序列进行卷积处理，得到第一图像特征。
92.在一些实施例的步骤s301中，预设的双线性峰插法主要是使用邻近4个点的像元值,按照其距内插点的距离赋予不同的权重,进行线性内插，通过双线性峰插法能够对左视图特征进行上采样处理，将不同尺度的左视图特征通过双线性插值上采样到原始分辨率的四分之一，这一方式能够实现对左视图的平均化低通滤波,使左视图的边缘受到平滑作用,从而产生一个比较连贯的输出图像，也能够提高第一视图特征隐变量的准确性。
93.例如，在进行双线峰插值计算时，可以取左视图上的(x，y)点周围的4个邻点，在y方向(或x方向)内插两次，再在x方向(或y方向)内插一次，得到(x，y)点的值f(x，y)。设4个邻点分别为(i，j)，(i，j 1)，(i 1，j)，(i 1，j 1)，i代表左上角为原点的行数，j代表列数。设α＝x-i，β＝y-j，过(x,y)作直线与x轴平行，与4个邻点组成的边相交于点(i,y)和点(i 1,y)。先在y方向内插，计算交点的值f(i，y)和f(i 1,y)。f(i,y)即由f(i,j 1)与f(i,j)内插计算而来。
94.在一些实施例的步骤s302中，第一函数为concat函数，通过concat函数对第一视图特征隐变量进行序列连接，得到第一视图特征序列。
95.在一些实施例的步骤s303中，通过卷积层对第一视图特征序列进行卷积处理，获得多个不同尺度的第一图像特征。
96.请参阅图4，在一些实施例中，步骤s104可以包括但不限于包括步骤s401至步骤s402：
97.步骤s401，根据预设的多尺度特征分辨率参数，对左视图特征和右视图特征进行分类组合处理，得到初始代价体；
98.步骤s402，通过预设的三维卷积网络对初始代价体、第一图像特征进行拼接处理，得到目标代价体。
99.在一些实施例的步骤s401中，预设的多尺度特征分辨率参数可以为4,8,6等等，可以根据实际情况进行设定，不限于此。根据多尺度特征分辨率参数的不同，将多个左视图特征和多个右视图特征进行分类组合，例如，将多尺度特征分辨率参数均为4的左视图特征和右视图特征进行向量相加，得到多尺度特征分辨率参数为4的视图特征。其中，初始代价体的代价体尺寸可以表示为h和w为目标图像的图像尺寸，其中，h为目标图像的高度，w为目标图像的宽度，d为视差搜索范围，c为特征通道数，s为下采样率，s＝4,8,6。
100.需要说明的是，代价体是在不同尺度上构建的低成本分辨率成本体积，指图像拼接过程中得到的中间结果。具体地，由于是大多数的立体匹配过程是双目立体匹配，因此，立体匹配网络的输入通常是两张图，即左视图与右视图，对左视图与右视图进行拼接时，立体匹配网络会初始化设置一个最大视差，例如，最大视差为5，则对左视图与右视图进行五个不同尺度的拼接操作，这五种拼接操作对应的视差值分别等于0、1、2、3、4。当视差值为0
时，则将左视图与右视图直接拼接；当视差值为1时，对左视图与右视图错位1个像素进行拼接；当视差值为2时，对左视图与右视图错位2个像素进行拼接，当视差值为3时，对左视图与右视图错位3个像素进行拼接，当视差值为4时，对左视图与右视图错位4个像素进行拼接。最初的左视图与右视图的张量尺寸是w*h*3，其中，w指图像宽度，h为图像高度，3为通道数，左视图与右视图的张量尺寸是三维的，而拼接得到的目标视图的张量尺寸则是w*h*3*5，该目标视图即为即为代价体，目标视图的张量尺寸是四维的。简言之，根据预设的最大视差，在不同尺度下对输入图像进行拼接处理，得到的中间产物，即为代价体。进一步地将代价体输入到立体匹配网络进行每一像素点匹配，可以得到融合的代价体，同时通过立体匹配网络可以去掉代价体的张量尺寸中的最大视差参数(例如，最大视差值5)，使得输出的图像的张量尺寸仍是三维的，即输出图像的张量尺寸为w*h*3。
101.请参阅图5，在一些实施例中，步骤s402还可以包括但不限于包括步骤s501至步骤s503：
102.步骤s501，通过三维卷积网络对初始代价体进行正则化处理，得到第一中间代价体，并通过三维卷积网络对第一图像特征进行正则化处理，得到第一中间图像特征；
103.步骤s502，通过三维卷积网络对第一中间代价体进行下采样处理，得到第二中间代价体，并对第一中间图像特征进行上采样处理，得到第二中间图像特征；
104.步骤s503，通过三维卷积网络对第二中间代价体与第二中间图像特征进行拼接处理，得到目标代价体。
105.在一些实施例的步骤s501中，通过三维卷积网络的三维卷积对初始代价体进行正则化处理,得到第一中间代价体a，包括特征分辨率为的第一中间代价体a1，特征分辨率为的第一中间代价体a2，特征分辨率为的第一中间代价体a3，并通过二维卷积将多尺度特征分辨率参数为16的第一图像特征的通道数调整为并且将第一语义特征从二维升维到四维，通过三维卷积网络的三维卷积将四维的第一图像特征进行正则化处理，得到特征分辨率为的第一中间图像特征b3，通过相同的操作，得到特征分辨率为的第一中间图像特征b2，特征分辨率为的第一中间图像特征b1。
106.在一些实施例的步骤s502和步骤s503中，利用三维卷积网络中步长为2的三维卷积将特征分辨率为的第一中间代价体a1进行下采样处理，将下采样处理之后的第一中间代价体a1与特征分辨率为的第一中间代价体a2连接，得到第二中间代价体，并通过三维卷积进行通道数调整，进而，利用三维卷积网络中步长为2的三维卷积将第二中间代价体进行下采样处理，将下采样处理之后第二中间代价体与特征分辨率为的第一中间代价体a3连接，得到目标视图代价体。
107.同样地，将特征分辨率为的第一中间图像特征b3与特征分辨率为的第一中
间代价体a3连接，得到特征分辨率为的第二中间图像特征，并通过三维反卷积将特征分辨率为的第二中间图像特征c3进行上采样处理，得到特征分辨率为的第二中间图像特征c2，通过三维卷积调整特征分辨率为的第二中间图像特征c2的通道数。
108.通过上述操作，将特征分辨率为的第一中间图像特征b2与特征分辨率为的第一中间代价体a2连接，得到特征分辨率为的第二中间图像特征c1，将将特征分辨率为的第一中间图像特征b1与特征分辨率为的第一中间代价体a1连接，得到特征分辨率为的第二中间图像特征c1。
109.最后，将特征分辨率为的第二中间图像特征c1和目标视图代价体进行拼接处理，得到目标代价体。
110.请参阅图6，在一些实施例，三维卷积沙漏模型包括聚合层、预测层，步骤s105包括但不限于包括步骤s601至步骤s602：
111.步骤s601，通过聚合层对目标代价体进行代价聚合处理，得到融合代价体；
112.步骤s602，通过预测层的第二函数对融合代价体进行视差估计，得到估计视差图。
113.在一些实施例的步骤s601中，三维卷积沙漏模型包括两个堆叠的聚合层，聚合层结构与上述的三维卷积网络的结构相同，将目标代价体分别输入至这两个聚合层中，通过每一聚合层对目标代价体进行代价聚合，再将两个聚合层的输出进行融合处理，得到最终的融合代价体。
114.在一些实施例的步骤s602中，该第二函数为soft argmin函数，通过soft argmin函数能够对经过聚合得到的融合代价体进行较为准确地视差估计，得到估计视差图。
115.请参阅图7，在一些实施例中，语义细化网络包括卷积层和全连接层，步骤s106还可以包括但不限于包括步骤s701至步骤s704：
116.步骤s701，通过语义细化网络的第三函数对第一图像特征进行概率计算，生成语义概率图；
117.步骤s702，通过语义细化网络对估计视差图进行卷积处理，得到估计视差特征；
118.步骤s703，通过语义细化网络对语义概率图和估计视差特征进行融合处理，得到初步视差特征；
119.步骤s704，通过语义细化网络对初步视差特征进行解码处理，得到目标视差图。
120.在一些实施例的步骤s701中，语义细化网络的全连接层上预设有第三函数，第三函数为softmax函数，通过softmax函数对第一图像特征进行概率计算，根据计算结果，softmax函数会在预设的语义类别标签上创建一个概率分布，通过语义概率图来反映出第一图像特征在不同语义类别标签上的语义可能性。
121.在一些实施例的步骤s702中，通过语义细化网络的卷积层对估计视差图进行二维卷积处理，捕捉估计视差图的图像特征，得到估计视差特征。
122.在一些实施例的步骤s703中，通过语义细化网络的卷积层，根据预设的权重比例
对语义概率图与估计视差特征进行向量相乘，从而实现语义特征与估计视差特征的特征融合，得到获得语义加权的初步视差特征。
123.在一些实施例的步骤s704中，通过语义细化网络的卷积层对初步视差特征进行卷积解码和反卷积上采样处理，得到目标视差图，该目标视差图用于反映目标图像的分辨率视差。
124.通过上述步骤s701至步骤s704,视差图生成方法利用图像分割结果，对视差估计结果进行语义类别的加权，再进行编码和解码，提高估计视差的场景语义可靠性，增强立体匹配任务对场景的理解，利用场景的语义信息可以改善不适当区域的视差估计效果，从而提高视差估计的准确性，减小视差图的误差。
125.本技术实施例通过获取目标图像，其中，目标图像包括左视图和右视图。进而，对左视图进行特征提取，得到多个左视图特征，并对右视图进行特征提取，得到多个右视图特征，能够使得得到的左视图特征和右视图特征更加符合视差估计的需求。进而，对左视图特征进行图像分割处理，得到第一图像特征，并对左视图特征、第一图像特征以及右视图特征进行组合处理，得到目标代价体，通过预设的三维卷积沙漏模型对目标代价体进行视差估计，得到估计视差图，这样一来，能够利用语义信息辅助视差估计，提高视差估计的可靠性。最后，通过预设的语义细化网络和第一图像特征对估计视差图进行语义细化处理，得到目标视差图，能够增强立体匹配任务对场景的理解，提高视差估计的准确性，减小视差图的误差。
126.请参阅图8，本技术实施例还提供一种视差图生成装置，可以实现上述视差图生成方法，该装置包括：
127.图像获取模块801，用于获取目标图像，其中，目标图像包括目标对象的左视图和右视图；
128.特征提取模块802，用于对左视图进行特征提取，得到多个左视图特征，并对右视图进行特征提取，得到多个右视图特征；
129.图像分割模块803，用于对左视图特征进行图像分割处理，得到第一图像特征；
130.融合模块804，用于对左视图特征、第一图像特征以及右视图特征进行融合处理，得到目标代价体；
131.视差估计模块805，用于通过预设的三维卷积沙漏模型对目标代价体进行视差估计，得到估计视差图；
132.语义细化模块806，用于通过预设的语义细化网络和第一图像特征对估计视差图进行语义细化处理，得到目标视差图。
133.该视差图生成装置的具体实施方式与上述视差图生成方法的具体实施例基本相同，在此不再赘述。
134.本技术实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的程序以及用于实现处理器和存储器之间的连接通信的数据总线，程序被处理器执行时实现上述视差图生成方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
135.请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
136.处理器901，可以采用通用的cpu(centralprocessingunit，中央处理器)、微处理
器、应用专用集成电路(applicationspecificintegratedcircuit，asic)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本技术实施例所提供的技术方案；
137.存储器902，可以采用只读存储器(readonlymemory，rom)、静态存储设备、动态存储设备或者随机存取存储器(randomaccessmemory，ram)等形式实现。存储器902可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器902中，并由处理器901来调用执行本技术实施例的视差图生成方法；
138.输入/输出接口903，用于实现信息输入及输出；
139.通信接口904，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如usb、网线等)实现通信，也可以通过无线方式(例如移动网络、wifi、蓝牙等)实现通信；
140.总线905，在设备的各个组件(例如处理器901、存储器902、输入/输出接口903和通信接口904)之间传输信息；
141.其中处理器901、存储器902、输入/输出接口903和通信接口904通过总线905实现彼此之间在设备内部的通信连接。
142.本技术实施例还提供了一种存储介质，存储介质为计算机可读存储介质，用于计算机可读存储，存储介质存储有一个或者多个程序，一个或者多个程序可被一个或者多个处理器执行，以实现上述视差图生成方法。
143.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
144.本技术实施例提供的视差图生成方法、视差图生成装置、电子设备及存储介质，其通过获取目标图像，其中，目标图像包括左视图和右视图。进而，对左视图进行特征提取，得到多个左视图特征，并对右视图进行特征提取，得到多个右视图特征，能够使得得到的左视图特征和右视图特征更加符合视差估计的需求。进而，对左视图特征进行图像分割处理，得到第一图像特征，并对左视图特征、第一图像特征以及右视图特征进行组合处理，得到目标代价体，通过预设的三维卷积沙漏模型对目标代价体进行视差估计，得到估计视差图，这样一来，能够利用语义信息辅助视差估计，提高视差估计的可靠性。最后，通过预设的语义细化网络和第一图像特征对估计视差图进行语义细化处理，得到目标视差图，能够提高估计视差的场景语义可靠性，增强立体匹配任务对场景的理解，利用场景的语义信息可以改善不适当区域的视差估计效果，从而提高视差估计的准确性，减小视差图的误差。
145.本技术实施例描述的实施例是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
146.本领域技术人员可以理解的是，图1-7中示出的技术方案并不构成对本技术实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
147.以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是
或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
148.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
149.本技术的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
150.应当理解，在本技术中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：只存在a，只存在b以及同时存在a和b三种情况，其中a，b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
151.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
152.上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
153.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
154.集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例的方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等各种可以存储程序的介质。
155.以上参照附图说明了本技术实施例的优选实施例，并非因此局限本技术实施例的权利范围。本领域技术人员不脱离本技术实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本技术实施例的权利范围之内。