图像处理方法及装置与流程

1.本发明涉及图像处理技术领域，尤其涉及图像处理方法及装置。


背景技术：

2.场景建模技术因结合深度传感器采集的深度图和彩色相机采集的rgb图而得到蓬勃发展，并广泛用于自主驾驶、机器人识别、地图导航、运动规划和增强现实等计算机视觉领域。
3.然而，包括基于结构光的传感器和激光雷达在内的各种深度传感器由于设备自身的局限性，采集的深度图的可靠性受到影响，特别是在室内环境场景中经常存在连续、大量的部分深度信息缺失及深度数据有噪声等情况，进而在执行计算机视觉任务时产生不良影响。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种图像处理方法，对传感器采集的深度图进行补齐，提高深度图中深度信息的稠密度和准确性。
5.根据本发明第一方面实施例的图像处理方法，包括：
6.对初始rgb图像进行语义分割得到语义特征图；
7.基于所述语义特征图中包括的前景概率及语义特征对与所述初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，所述深度特征向量用于确定局部置信图及局部深度图；
8.将所述深度特征向量和所述初始rgb图像进行特征融合，获得融合置信图和融合深度图；
9.基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图。
10.根据本发明实施例的图像处理方法，通过提取初始rgb图像的语义信息，引导对初始深度图像准确刻画图像局部深度信息，同时通过深度特征向量和初始rgb图像的融合，优化全局深度图信息，并通过引入局部深度图和融合深度图对应的置信图，保留可靠的深度预测区域，提高目标深度图的深度信息的稠密度和准确性，为后续计算机视觉任务的提供保障。
11.根据本发明的一个实施例，所述对初始rgb图像进行语义分割得到语义特征图，包括：
12.将所述初始rgb图像输入至深度补齐模型的局部指导模块进行语义分割，获得所述局部指导模块输出的所述语义特征图；
13.所述基于所述语义特征图中包括的前景概率及语义特征对与所述初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，包括：
14.将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进
行深度特征提取，得到所述深度特征向量；
15.所述将所述深度特征向量和所述初始rgb图像进行特征融合，获得融合置信图和融合深度图，包括：
16.将所述初始rgb图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图；
17.所述基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图，包括：
18.将所述局部深度图、所述局部置信图、所述融合深度图和所述融合置信图输入至所述深度补齐模型的输出网络，获得所述输出网络输出的所述目标深度图；
19.其中，所述深度补齐模型为基于样本训练集训练得到。
20.根据本发明的一个实施例，所述将所述初始rgb图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图，包括：
21.将所述深度特征向量和所述初始rgb图像输入至所述对抗生成网络的生成器，由所述生成器基于所述深度特征向量重建所述初始rgb图像的深度信息，获得所述生成器输出的所述融合深度图和所述融合置信图；
22.所述生成器是基于样本rgb图像和样本密集深度图，联合所述对抗生成网络的判别器进行对抗训练得到。
23.根据本发明的一个实施例，所述将所述语义特征图和所述初始深度图像输入至所述深度补齐模型的约束网络进行深度特征提取，得到所述深度特征向量，包括：
24.将所述语义特征图和所述初始深度图像输入至所述约束网络的编码器进行下采样处理，得到第一深度特征向量；
25.将所述第一深度特征向量输入至所述约束网络的解码器进行上采样处理，得到第二深度特征向量。
26.根据本发明的一个实施例，所述将所述初始rgb图像和所述深度特征向量输入至所述深度补齐模型的对抗生成网络，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图，包括：
27.将所述初始rgb图像输入至所述对抗生成网络进行下采样处理，得到第一特征向量；
28.通过所述深度补齐模型的实例归一化模块对所述第一特征向量和第一深度特征向量进行特征融合，得到目标融合特征向量；
29.对所述目标融合特征向量进行上采样处理，得到第二特征向量；
30.通过所述实例归一化模块对所述第二特征向量和第二深度特征向量进行特征融合，获得所述对抗生成网络输出的所述融合深度图和所述融合置信图。
31.根据本发明的一个实施例，所述局部深度图和所述局部置信图通过如下步骤确定：
32.通过跳转连接的方式将所述约束网络的编码器中的所述深度特征向量输入至所述约束网络的解码器中的对称位置，得到所述解码器输出的所述局部深度图和所述局部置信图。
33.根据本发明的一个实施例，所述基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图，包括：
34.基于所述局部深度图、所述局部置信图、所述融合深度图和所述融合置信图，获得局部注意力权重和融合注意力权重；
35.基于所述局部注意力权重和所述融合注意力权重对所述局部深度图和所述融合深度图进行加权处理，得到所述目标深度图。
36.根据本发明的一个实施例，所述样本训练集包括多个样本rgb图像及其对应的拟真深度图像；
37.所述拟真深度图像通过如下步骤确定：
38.基于所述样本rgb图像对应样本深度图像进行高光区域掩模，得到第一拟真深度图；
39.基于所述样本深度图像进行目标像素区域掩模，得到第二拟真深度图；
40.基于所述样本深度图像进行噪声点掩模，得到第三拟真深度图；
41.基于所述样本深度图像进行语义标签随机掩模，得到第四拟真深度图；
42.基于所述样本训练集中所有样本深度图像进行语义分割训练，确定掩模矩阵，得到第五拟真深度图；
43.基于所述样本深度图像和所述第一至第五拟真深度图中的至少一个的深度信息，确定所述拟真深度图像。
44.根据本发明的一个实施例，所述深度补齐模型训练的目标损失函数基于如下步骤确定：
45.获取所述对抗生成网络的生成器的第一损失函数以及判别器的第二损失函数；
46.基于所述局部深度图和所述目标深度图，得到第三损失函数和第四损失函数；
47.基于所述第一损失函数、所述第二损失函数、所述第三损失函数和所述第四损失函数，得到所述目标损失函数。
48.根据本发明第一方面实施例的图像处理装置，包括：
49.第一处理模块，用于对初始rgb图像进行语义分割得到语义特征图；
50.第二处理模块，用于基于所述语义特征图中包括的前景概率及语义特征对与所述初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，所述深度特征向量用于确定局部置信图及局部深度图；
51.第三处理模块，用于将所述深度特征向量和所述初始rgb图像进行特征融合，获得融合置信图和融合深度图；
52.第四处理模块，用于基于所述局部置信图、所述局部深度图、所述融合置信图以及所述融合深度图，得到目标深度图。
53.根据本发明第三方面实施例的电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述图像处理方法的步骤。
54.根据本发明第四方面实施例的非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像处理方法的步骤。
55.根据本发明第五方面实施例的计算机程序产品，包括计算机程序，所述计算机程
序被处理器执行时实现如上述任一种所述图像处理方法的步骤。
56.本发明实施例中的上述一个或多个技术方案，至少具有如下技术效果之一：
57.通过提取目标rgb图像的语义信息，引导对目标深度图像准确刻画图像局部深度信息，同时通过深度特征向量和目标rgb图像的融合，优化全局深度图信息，并通过引入局部深度图和融合深度图对应的置信图，保留可靠的深度预测区域，提高目标密集深度图的深度信息的稠密度和准确性，为后续计算机视觉任务的提供保障。
58.进一步的，对抗生成网络的生成器对深度特征向量和目标rgb图像做类似风格迁移的处理，将深度特征向量所表征的深度信息与目标rgb图像的信息进行融合，使得对抗生成网络可以输出稠密的融合深度图。
59.更进一步的，利用注意力权重使得目标密集深度图均衡保留局部深度图和融合深度图对应的深度预测区域，相比深度传感器采集的目标深度图像，目标密集深度图的深度信息更加稠密、准确，由目标密集深度图转换的点云信息比目标深度图像包含更多的点，更能覆盖场景中对象的形状。
60.再进一步的，通过五张掩模方法生成不同种类的拟真深度图，融合不同深度图的深度信息，可以生成深度信息缺失分布更合理的拟真深度图像，并以此训练处更加稳健的深度补齐模型。
61.本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
62.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
63.图1是本发明实施例提供的图像处理方法的流程示意图；
64.图2是本发明实施例提供的深度补齐模型的结构示意图；
65.图3是本发明实施例提供的约束网络的结构示意图；
66.图4是本发明实施例提供的样本深度图示例图；
67.图5是本发明实施例提供的第一拟真深度图示例图；
68.图6是本发明实施例提供的第二拟真深度图示例图；
69.图7是本发明实施例提供的第三拟真深度图示例图；
70.图8是本发明实施例提供的第四拟真深度图像示例图；
71.图9是本发明实施例提供的第五拟真深度图像示例图；
72.图10是本发明实施例提供的拟真深度图像示例图；
73.图11是本发明实施例提供的图像处理装置的结构示意图；
74.图12是本发明实施例提供的电子设备的结构示意图。
具体实施方式
75.下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于
说明本发明，但不能用来限制本发明的范围。
76.在本发明实施例的描述中，需要说明的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明实施例的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
77.在本发明实施例的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明实施例中的具体含义。
78.在本发明实施例中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
79.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明实施例的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
80.深度传感器采集的深度图信息在室内环境场景中经常存在连续、大量的部分深度信息缺失、深度数据有噪声等现象，深度图的可靠性较低，这类原始深度图会对如3d目标检测、三维重建及室内导航等计算机视觉任务造成不良的影响。
81.深度补齐(depth completion)指通过结合使用同时刻采集的深度图与rgb图像，对深度图信息进行补全和修复，深度补齐是提高深度图可靠性，获取准确的深度信息的常用手段。
82.目前，深度图补全方法主要基于神经网络和卷积神经网络进行处理，大致可以分为三大类：第一类是直接采用编码-解码器(encoder-decoder)结构对深度图进行补齐操作，但此类方法生成深度信息模糊严重，补齐的深度图效果不佳；第二类通过学习全局点关系和迭代传播等方式优化深度补全，不仅要求全局比较丰富的深度信息作为输入，且补齐过程耗时长，效率低；第三类通过对深度图物理特性分析建模修改神经网络参数结构，此类方法泛化能力不足，对于室内场景中深度信息连续缺失情况处理效果较差。
83.下面结合图1至图10描述本发明实施例的图像处理方法，通过构建深度补齐模型对rgb图像的语义和结构信息进行提取和深度融合，优化全局深度信息，提高深度信息的准确性，进而提高深度图的可靠性，有利于计算机视觉任务的执行。
84.如图1所示，本发明实施例的图像处理方法包括步骤110至步骤140，该方法的执行主体可以为控制器，或者云端，或者边缘服务器。
85.步骤110、对初始rgb图像进行语义分割，获得语义特征图。
86.rgb图像指三通道的彩色图像，通过对红(r)、绿(g)和蓝(b)三个颜色通道的变化和相互之间的叠加来得到各式各样的颜色，以使rgb图像能够准备反映视觉色彩特征。其中，初始rgb图像是获取的某一场景下的rgb图像，该场景可以包括多个对象，对应的初始rgb图像包括多个对象对应的像素。
87.例如，初始rgb图像可以为室内场景下的rgb图像，室内场景可以包括室内的桌椅、家电及家具等对象。
88.在该步骤中，通过语义分割对初始rgb图像进行处理，语义分割对初始rgb图像中的每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都可以被标记为封闭区域的类别。
89.在该实施例中，初始rgb图像经过语义分割处理，得到对应的语义特征图，语义特征图包括前景概率(foreground probability)和语义特征(semantic features)的相关信息，也即语义特征图是标注出多个对象对应的标签及位置的特征图。
90.在实际执行中，可以通过u-net网络对初始rgb图像进行语义分割处理。
91.例如，采用u-net网络对维度为h
×w×
3的初始rgb图像进行语义分割，得到维度为h
×w×
2的语义特征图，语义特征图的第一个通道和第二个通道分别表示前景概率和语义特征，其中，h为图像的高，w为图像的宽。
92.步骤120、基于语义特征图所包括的前景概率及语义特征与初始深度图像进行特征提取处理，获得深度特征向量。
93.深度图像也叫距离影像，是指将从图像采集器到场景中各点的深度值作为像素值的图像，可以反映了场景内可见表面的几何形状。
94.深度图像经过坐标转换可以计算为点云数据，有规则及必要信息的点云数据也可以反算为深度图像数据。
95.其中，初始深度图像是获取的初始rgb图像对应的场景下的深度图像，初始深度图像同样包括多个对象对应的深度信息。
96.例如，初始深度图像可以为室内场景下的深度图像，室内场景可以包括室内的桌椅、家电及家具等对象。
97.可以理解的是，由于室内场景下对象的多样性、场景光线及采集设备自身局限性，使得初始深度图像存在连续、大量的部分深度信息缺失或深度数据有噪声等现象。
98.在该步骤中，在进行特征提取之前，将初始深度图像及语义特征图进行特征拼接，通过对初始深度图像及语义特征图拼接的图像进行特征提取，可以得到深度特征向量。
99.可以理解的是，初始深度图像与语义特征图的长宽维度相同，仅通道数不同，可以直接进行拼接。
100.例如，语义特征图的维度为h
×w×
2，初始深度图像的维度为h
×w×
1，直接进行拼接得到的图像的维度为h
×w×
3。
101.利用语义特征图所包括的前景概率和语义特征的相关信息，可以引导对初始深度图像的特征提取关注局部深度信息，使得深度特征向量可以更好地表征图像局部的对象的
深度信息。
102.对于初始深度图像及语义特征图拼接得到的图像的特征提取，可以包括缩减拼接的图像的尺寸的下采样处理以及增加特征的分辨率的上采样处理，相应得到的深度特征向量包括下采样处理和上采样处理过程中的特征向量。
103.在该实施例中，将初始深度图像及语义特征图拼接，对拼接的图像进行特征提取，基于得到的深度特征向量，获得局部置信图和局部深度图。
104.步骤130、对深度特征向量和初始rgb图像进行特征融合，获得融合置信图和融合深度图。
105.在该步骤中，基于深度特征向量和初始rgb图像做类似风格迁移的处理，以深度特征向量作为注入，将深度特征向量所表征的深度信息与初始rgb图像的信息进行融合。
106.在该实施例中，在初始rgb图像中以深度特征向量为映射，构建初始rgb图像中的深度信息，得到融合了深度特征向量的融合深度图以及表征融合深度图的像素置信度的融合置信图。
107.可以理解的是，初始rgb图像融合了深度特征向量得到的融合深度图所对应的深度信息相比初始深度图像的深度信息更加稠密。
108.步骤140、基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。
109.在该实施例中，通过局部置信图可以更好地关注局部深度图中可靠的深度预测区域，通过融合置信图可以更好地关注融合深度图中可靠的深度预测区域。
110.在实际执行中，可以通过引入注意力机制，利用局部置信图和融合置信图，针对局部深度图和融合深度图进行加权求和，使得到的目标深度图能够更加准确的保留可靠的深度预测区域，提高目标深度图的深度信息的稠密度和准确性。
111.可以理解的是，目标深度图是针对初始深度图像和初始rgb图像所对应的场景的预测深度图，用于表征场景的深度信息。
112.目标深度图相比初始深度图像，深度信息更加稠密、准确，目标深度图能够有效提高如自主驾驶、机器人识别、地图导航、运动规划和增强现实等后续计算机视觉任务执行的精度和效率。
113.根据本发明提供的图像处理方法，通过提取初始rgb图像的语义信息，引导对初始深度图像准确刻画图像局部深度信息，同时通过深度特征向量和初始rgb图像的融合，优化全局深度图信息，并通过引入局部深度图和融合深度图对应的置信图，保留可靠的深度预测区域，提高目标深度图的深度信息的稠密度和准确性，为后续计算机视觉任务的提供保障。
114.在一些实施例中，通过构建训练一个深度补齐模型，对初始深度图像和初始rgb图像进行处理，得到目标深度图。
115.需要说明的是，初始rgb图像可以为图像采集装置直接采集的rgb图像，也可以为其他颜色空间的图像进行转换得到的rgb图像。
116.在实际执行中，如图2所示，可以将初始深度图像(图示为d
raw
)和初始rgb图像(图示为r)输入至深度补齐模型，获得深度补齐模型输出的目标深度图(图示为d
pred
)。
117.可以理解的是，深度补齐模型在通过样本训练集训练完成后，再输入初始深度图
像和初始rgb图像进行处理。
118.可以向深度补齐模型输入样本训练集中的深度图像和rgb图像，通过输出的密集深度图像，计算深度补齐模型的损失函数，对深度补齐模型进行参数调整，在得到的损失函数满足停止训练的条件时，结束深度补齐模型的训练。
119.在该实施例中，如图2所示，深度补齐模型可以包括局部指导模块(图示为local guidance module)、约束网络(图示为constraint network)、对抗生成网络(图示为rdf-gan)和输出网络(图示为confidence fusion head)。
120.将初始rgb图像输入至局部指导模块进行语义分割，获得局部指导模块输出的语义特征图。
121.局部指导模块的输入为初始rgb图像，局部指导模块对初始rgb图像进行语义分割处理，提取前景概率和语义特征的相关信息，局部指导模块的输出为语义特征图。
122.在该步骤中，通过语义分割对初始rgb图像进行处理，语义分割对初始rgb图像中的每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都可以被标记为封闭区域的类别。
123.也即，语义分割是从像素的角度分割出初始rgb图像中的不同对象，并对初始rgb图像中的像素进行标注。
124.在实际执行中，局部指导模块可以通过u-net网络对初始rgb图像进行语义分割处理。
125.例如，采用u-net网络对维度为h
×w×
3的初始rgb图像进行语义分割，得到维度为h
×w×
2的语义特征图，语义特征图的第一个通道和第二个通道分别表示前景概率和语义特征，其中，h为图像的高，w为图像的宽。
126.约束网络基于初始深度图像及语义特征图进行特征提取处理，获得深度特征向量。
127.在实际执行中，可以通过深度传感器采集初始深度图像，初始深度图像与初始rgb图像对应的场景相同，两张图像所对应的视角也相同。
128.在该步骤中，在约束网络进行特征提取之前，将初始深度图像及语义特征图进行特征拼接，通过对初始深度图像及语义特征图拼接的图像进行特征提取，可以得到深度特征向量。
129.可以理解的是，初始深度图像与语义特征图的长宽维度相同，仅通道数不同，可以直接进行拼接。
130.例如，语义特征图的维度为h
×w×
2，初始深度图像的维度为h
×w×
1，直接进行拼接得到的图像的维度为h
×w×
3。
131.约束网络进行特征提取处理的过程中，利用语义特征图所包括的前景概率和语义特征的相关信息，可以引导对初始深度图像的特征提取关注局部深度信息，得到可以表征图像局部的对象的深度信息的深度特征向量。
132.约束网络进一步基于深度特征向量，输出局部置信图(图示为c
l
)和局部深度图(图示为d
l
)。
133.约束网络对于初始深度图像及语义特征图拼接得到的图像的特征提取，可以包括缩减拼接的图像的尺寸的下采样处理以及增加特征的分辨率的上采样处理，相应得到的深
度特征向量包括下采样处理和上采样处理过程中的特征向量。
134.在该实施例中，约束网络基于得到的深度特征向量，输出局部置信图和局部深度图，局部深度图指关注局部深度信息的深度图像，局部置信图是表征局部深度图的像素的置信值的置信图。
135.置信图是由每个像素的置信值构成，置信值表示每个像素属于目标的可能性大小，置信值越大，表明像素属于目标的可能性越大。
136.其中，局部深度图指关注局部深度信息的深度图像，局部置信图是表征局部深度图的像素的置信值的置信图。
137.对抗生成网络对深度特征向量和初始rgb图像进行特征融合，获得融合置信图和融合深度图。
138.对抗生成网络的输入为深度特征向量和初始rgb图像，对抗生成网络基于深度特征向量和初始rgb图像做类似风格迁移的处理，以深度特征向量作为条件注入，将深度特征向量所表征的深度信息与初始rgb图像的信息进行融合。
139.对抗生成网络的输出为融合视觉信息和深度信息的融合深度图(图示为df)以及对应的融合置信图(图示为cf)。
140.需要说明的是，在对抗生成网络中，在进行特征提取前，初始rgb图像先与局部指导模块提取得到的语义特征图进行融合，再在特征提取过程中将融合了语义特征图的初始rgb图像与深度特征向量进行融合，最后输出融合置信图以及融合深度图。
141.融合了语义特征图的初始rgb图像的维度为hxwx5，其中，3通道为r、g、b，2通道为前景概率和语义特征。
142.在该实施例中，在初始rgb图像中以深度特征向量为映射，构建初始rgb图像中的深度信息，得到融合了深度特征向量的融合深度图以及表征融合深度图的像素置信度的融合置信图。
143.将深度特征向量融合到初始rgb图像中，初始rgb图像所描述的图像区域对应图像的纹理性质与深度特征向量所表征的深度信息进行融合，对抗生成网络得到融合视觉信息和深度信息的融合深度图。
144.可以理解的是，初始rgb图像融合了深度特征向量得到的融合深度图所对应的深度信息相比初始深度图像的深度信息更加稠密。
145.输出网络基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。
146.输出网络的输入为局部置信图、局部深度图、融合置信图以及融合深度图，可以通过引入注意力机制，利用局部置信图和融合置信图，针对局部深度图和融合深度图进行加权求和。
147.其中，局部置信图表征了局部深度图中像素的置信值，融合置信图表征融合深度图中像素的置信值。
148.可以理解的是，局部深度图是基于初始深度图像进行深度预测得到的，融合深度图是基于初始rgb图像进行深度预测得到的。
149.在该实施例中，通过局部置信图可以更好地关注局部深度图中可靠的深度预测区域，通过融合置信图可以更好地关注融合深度图中可靠的深度预测区域。
150.在实际执行中，可以通过引入注意力机制，利用局部置信图和融合置信图，针对局部深度图和融合深度图进行加权求和，使得到的目标深度图能够更加准确的保留可靠的深度预测区域，提高目标深度图的深度信息的稠密度和准确性。
151.可以理解的是，目标深度图是针对初始深度图像和初始rgb图像所对应的场景的预测深度图，用于表征场景的深度信息。
152.例如，初始深度图像和初始rgb图像对应某一室内场景，目标深度图对应该室内场景的预测的深度信息。
153.目标深度图相比初始深度图像，深度信息更加稠密、准确，目标深度图能够有效提高如自主驾驶、机器人识别、地图导航、运动规划和增强现实等后续计算机视觉任务执行的精度和效率。
154.在一些实施例中，对抗生成网络包括生成器和判别器。
155.生成器以样本rgb图像提取的深度特征向量尽可能地重建样本rgb图像的深度信息，判别器(图示为discriminator)则判别生成器输出深度图像与输入的样本密集深度图(图示为d
gt
)相比是否一致，输出对应的真伪结果(图示为fake/real)。
156.在训练过程中，对抗生成网络中生成器和判别器相互博弈，实现更加准确可靠的输出结果。
157.其中，样本密集深度图可以是采用更精准的深度传感器采集得到的深度图像，样本密集深度图也可以是基于场景中对象的尺寸布局生成的准确且密集的深度图。
158.可以理解的是，判别器以及样本密集深度图只在对抗生成网络的训练过程中作为训练标签使用，在生成器输入初始rgb图像预测输出融合深度图的应用过程中无需使用。
159.在实际执行中，判别器可以使用patchgan的设计结构，以全卷积的形式，输出矩阵以评价生成器生成的深度图，其中，矩阵中每个点的真伪判断即代表生成器生成的深度图中每块小区域的评价值。
160.在对抗生成网络的应用过程中，生成器以初始深度图像提取的深度特征向量对初始rgb图像的深度信息进行重建，获得生成器输出的融合深度图以及对应的融合置信图。
161.需要说明的是，对抗生成网络的生成器对深度特征向量和初始rgb图像做类似风格迁移的处理，以初始rgb图像为生成器的条件输入，深度特征向量作为生成器的注入，将深度特征向量所表征的深度信息与初始rgb图像的信息进行融合。
162.在一些实施例中，对抗生成网络整体的损失函数包括生成器对应的第一损失函数以及判别器对应的第二损失函数。
163.在该实施例中，可以通过wgan的网络训练方式对对抗生成网络进行训练，可以有效平衡生成器和判别器之间的训练程度，训练过程中能生成确定的数值以指示对抗生成网络训练的进程，同时还可以确保生成器生成图像的多样性。
164.在对抗生成网络的训练过程中，判别器对应的第二损失函数可以应用如下公式确定：
165.ls＝e
draw～draw
[s(g(m(d
raw
))|r)]-e
dgt～dgt
[s(d
gt
|r)]
[0166]
其中，ls是判别器对应的第二损失函数，r是初始rgb图像，d
raw
是初始深度图像，d
raw
是初始深度图像的分布，d
gt
是样本密集深度图像，d
gt
是样本密集深度图像的分布，s是对抗生成网络的判别器，g是对抗生成网络的生成器，m是约束网络的编码器，e
draw～draw
(*)表
示基于分布d
raw
所采样得到d
raw
情况下*的期望值，e
dgt～dgt
(*)表示基于分布d
gt
所采样得到d
gt
情况下*的期望值。
[0167]
相应的，生成器对应的第一损失函数可以应用如下公式确定：
[0168]
lg＝-e
draw～draw
[s(g(m(d
raw
))|r)] λgl1[g(m(d
raw
))]
[0169]
其中，lg是生成器对应的第二损失函数，r是初始rgb图像，d
raw
是初始深度图像，d
raw
是初始深度图像的分布，s是对抗生成网络的判别器，g是对抗生成网络的生成器，m是约束网络的编码器，e
draw～draw
(*)表示基于分布d
raw
所采样得到d
raw
情况下*的期望值。
[0170]
其中，l1是局部深度图和目标深度图的损失函数，λg是l1的权重因子，在实际执行中，λg可以取0.5。
[0171]
在一些实施例中，约束网络在对初始深度图像和语义特征图进行特征提取，得到对应的深度特征向量包括：
[0172]
如图2所示，约束网络的编码器(图示为constraint encoder)对语义特征图和初始深度图像进行下采样处理，缩小图像尺寸，得到编码器输出的第一深度特征向量(图示为z1)。
[0173]
约束网络的解码器(图示为upsample1)对第一深度特征向量进行上采样处理，恢复推向分辨率，得到解码器输出的第二深度特征向量(图示为z2)。
[0174]
在该实施例中，约束网络包括编码器和解码器，编码器通过神经网络学习输入的初始深度图像和语义特征图拼接的图像的特征图谱，解码器对编码器所能提供的特征图谱进行标注分割。
[0175]
在实际执行中，约束网络卷积的编解码结构可以采用resnet-18网络构建得到，在约束网络的编码器和解码器使用之前，可以通过imagenet图像数据集对约束网络进行初步的训练。
[0176]
在一些实施例中，如图2所示，对深度补齐模型中还包括实例归一化模块(图示为w-adain)，融合约束网络的深度特征向量以及对抗生成网络中所输入的初始rgb图像的特征。
[0177]
其中，实例归一化模块是基于adain和注意力机制进行特征同和的模块，adain应用于图像的风格迁移处理。
[0178]
实例归一化模块的融合操作可以定义为：
[0179][0180]
其中，a和b分别表示深度特征向量z和初始rgb图像r通过自注意力机制得到的对应权重，fr是初始rgb图像提取得到的特征向量，μ和σ分别为均值操作和方差操作，ys和yb分别辨识为对深度特征向量z进行仿射变换得到的空间尺度因子和偏置因子。
[0181]
在该实施例中，实例归一化模块通过自注意力机制的设置，a将相似的权重值分配给同一深度平面上的区域，以适当地缩放空间尺度因子，b通过对局部相似的颜色层次分配相似的权重值来平滑深度块。
[0182]
实例归一化模块对深度特征向量和初始rgb图像的特征融合操作，在初始rgb图像的基础上突出呈现深度特征向量所表征的深度信息，使得对抗生成网络可以基于实例归一化模块融合后的特征，输出融合深度图以及对应的融合置信图。
[0183]
在该实施例中，如图2所示，对抗生成网络的生成器(图示为generated encoder和upsample2)与约束网络的网络结构相似，均为编码解码结构，约束网络编码器输出的第一深度特征向量和解码器输出第二深度特征向量，通过实例归一化模块输入融合到对抗生成网络的生成器中对应的位置。
[0184]
在实际执行中，对抗生成网络对输入的初始rgb图像进行下采样处理，得到对应的第一特征向量，在约束网络中对应的位置，约束网络的编码器输出下采样处理得到的第一深度特征向量。
[0185]
将第一特征向量和第一深度特征向量输入至实例归一化模块，实例归一化模块对其进行融合，得到融合了初始rgb图像的视觉信息和深度特征向量的深度信息的目标融合特征向量。
[0186]
目标融合特征向量再在对抗生成网络中进行上采样处理，得到对应的第二特征向量，在约束网络中对应的位置，约束网络的解码器输出上采样处理得到的第二深度特征向量。
[0187]
将第二特征向量和第二深度特征向量输入至实例归一化模块，实例归一化模块对其进行融合，使对抗生成网络输出融合深度图以及对应的融合置信图。
[0188]
需要说明的是，实例归一化模块所融合的特征仅输出给对抗生成网络进行处理，不会输出到约束网络中。
[0189]
在一些实施例中，约束网络的编码器在输入初始深度图像及语义特征图拼接的图像，进行不断的下采样，得到一系列维度大小不同的深度特征向量，解码器对应的位置在进行不断的上采样。
[0190]
如图3所示，在编码器和解码器之间，通过跳转连接将编码器下采样得到的深度特征向量，输入至解码器中对应的上采样的位置，以使解码器输出局部深度图及其对应的局部置信图。
[0191]
例如，编码器在输入初始深度图像及语义特征图拼接的图像后，先进行卷积核为7x7、步长为2以及输出通道为64的卷积，再进行3x3的最大池化(max pool)，得到维度大小为h/4xw/4，64的深度特征向量，进一步下采样得到h/8xw/8，128的深度特征向量以及h/16xw/16，256的深度特征向量。
[0192]
在解码器中对称的位置，通过跳转连接输入维度大小为h/4xw/4，64、h/8xw/8，128以及h/16xw/16，256的深度特征向量，以使解码器输出局部深度图及其对应的局部置信图。
[0193]
其中，局部深度图及其对应的局部置信图的维度大小为hxw。
[0194]
通过跳转连接的方式将约束网络的编码器中的深度特征向量输入至约束网络的解码器中的对称位置，得到解码器输出的局部深度图和局部置信图。
[0195]
在一些实施例中，获得局部置信图、局部深度图、融合置信图以及融合深度图后，通过引入注意力机制，利用局部置信图和融合置信图，得到局部深度图所对应的局部注意力权重以及融合深度图所对应的融合注意力权重。
[0196]
通过融合注意力权重和局部注意力权重对融合深度图和局部深度图进行加权处理，计算得到目标深度图。
[0197]
通过局部置信图和融合置信图，求取局部深度图和融合深度图分别对应的注意力权重，使得在利用注意力权重计算目标深度图时，使得目标深度图均衡局部深度图和融合
深度图分别对应的深度预测区域，使得目标深度图的深度信息更加接近真实深度信息。
[0198]
可以理解的是，相比深度传感器采集的初始深度图像，目标深度图的深度信息更加稠密、准确，由目标深度图转换的点云信息比初始深度图像包含更多的点，更能覆盖场景中对象的形状。
[0199]
在实际执行中，基于局部置信图、局部深度图、融合置信图以及融合深度图，目标深度图可以通过如下公式确定：
[0200][0201]
其中，d
pred
表示目标深度图像，d
l
表示局部深度图，df表示融合深度图，表示局部注意力权重，表示融合注意力权重，(i，j)表示输入图像中x坐标为i、y坐标为j的像素的坐标。
[0202]
在一些实施例中，样本训练集包括有多个样本rgb图像及对应的拟真深度图像。
[0203]
在该实施例中，深度补齐模式训练使用的样本训练集有多个样本训练组每个训练组中包括一个样本rgb图像以及与样本rgb图像对应的至少一个拟真深度图像。
[0204]
其中，拟真深度图像是通过对样本rgb图像对应的样本深度图像进行模拟生成的图像。
[0205]
需要说明的是，样本深度图像是获取的样本rgb图像对应的场景下的深度图像，样本rgb图像和样本深度图像包括同样的对象。
[0206]
在实际执行中，可以通过选取不同场景下的样本rgb图像所对应的样本训练集对深度补齐模型进行相应的训练，以提高深度补齐模型在特定场景下的深度补齐效果。
[0207]
例如，可以通过选择室内场景下的样本训练集对深度补齐模型进行训练，该样本训练集包括室内场景下的样本rgb图像以及与样本rgb图像对应的拟真深度图像。
[0208]
可以理解的是，通过拟真生成拟真深度图像可以全面模拟深度传感器采集深度图像中出现的连续、大量的部分深度信息缺失或深度数据有噪声等现象，进而对深度补齐模型进行充分训练，有效提高深度补齐模型训练的精度和效率。
[0209]
在一些实施例中，可以通过如下五种不同的实现方式得到五种不同的拟真深度图，进而获得样本rgb图像所对应的拟真深度图像，构成样本训练集。
[0210]
一、高光区域掩模。
[0211]
在该实施例中，通过对样本rgb图像进行分割，得到样本rgb图像具有反光性质的高光区域，对高光区域在样本深度图像中对应的区域进行掩模，也即遮盖住样本深度图像中的高光区域，得到第一拟真深度图。
[0212]
例如，对如图4所示的样本深度图像进行高光区域掩模，得到如图5所示的第一拟真深度图。
[0213]
二、黑色掩模。
[0214]
在该实施例中，基于样本rgb图像中每个像素的像素值，将样本深度图像中像素值在目标像素范围的与其划分为目标像素区域，并对目标像素区域在样本深度图像中对应的区域进行遮盖掩模，得到第二拟真深度图。
[0215]
在实际执行中，目标像素区域的像素是r、g、b值均在[0，5]的像素。
[0216]
例如，对如图4所示的样本深度图像进行目标像素区域掩模，得到如图6所示的第
二拟真深度图。
[0217]
三、噪声点掩模。
[0218]
在该实施例中，对样本深度图像进行图像分割，得到样本深度图像的深度信息的噪声点，在对样本深度图像中的噪声点进行遮盖掩模，得到第三拟真深度图。
[0219]
例如，对如图4所示的样本深度图像进行噪声点掩模，得到如图7所示的第三拟真深度图。
[0220]
四、语义标签随机掩模。
[0221]
在该实施例中，对样本深度图像进行语义分割，划分出样本深度图像中的各个语义标签，随机选取样本深度图像中的语义标签进行遮盖掩模，得到第四拟真深度图。
[0222]
例如，对如图4所示的样本深度图像进行语义标签随机掩模，得到如图8所示的第四拟真深度图。
[0223]
五、掩模矩阵掩模。
[0224]
在该实施例中，可以使用u-net网络对样本训练集中随机划分的部分样本深度图像进行语义分割任务训练，然后利用部分样本深度图像语义分割训练的结果，对样本训练集中其余部分样本深度图像进行语义分割，并通过样本深度图像对应的真实密集深度图像对其进行或运算，得到对应的掩模矩阵，进而利用掩模矩阵进行遮盖掩模得到第五拟真深度图。
[0225]
其中，真实密集深度图像是采用更精准的深度传感器采集得到的，也可以是基于场景中对象的尺寸布局生成的准确且密集的深度图，真实密集深度图像与样本深度图像对应的场景相同。
[0226]
例如，对如图4所示的样本深度图像进行掩模矩阵掩模，得到如图9所示的第五拟真深度图。
[0227]
在得到第一拟真深度图、第二拟真深度图、第三拟真深度图、第四拟真深度图和第五拟真深度图后，从五张拟真深度图和原始的样本深度图像中至少选择一张图，保留图中的深度信息，进而确定样本训练集中的拟真深度图像。
[0228]
例如，保留图9所示的第五拟真深度图和图7所示的第三拟真深度图的深度信息，得到如图10所述的拟真深度图像。
[0229]
在该实施例中，从五张拟真深度图和样本深度图像的六张图中至少选择保留其中一张图的深度信息，当选择两张图时，保留同时存在于两张图中的深度信息，选择三张图时，保留同时存在于三张图中的深度信息，以此类推。
[0230]
在实际执行中，从五张拟真深度图和样本深度图像的六张图中保留的一张图可以是样本深度图像，此时，拟真深度图像就是深度传感器所采集的样本深度图像。
[0231]
相关技术中，采用随机采样掩模的方法生成稀疏的深度图，这类深度图深度信息分布与真实场景有很大不同，随机采样掩模的像素覆盖场景中的所有区域，但在真实场景中，缺失的深度信息通常形成连续区域。
[0232]
在该实施例中，通过五张掩模方法生成不同种类的拟真深度图，融合不同深度图的深度信息，可以生成深度信息缺失分布更合理的拟真深度图像，并以此训练处更加稳健的深度补齐模型。
[0233]
在一些实施例中，用于指导深度补齐模型训练过程的目标损失函数包括对抗生成
网络中生成器和判别器的损失函数，还包括约束网络输出的局部深度图的损失函数，以及输出网络所输出的目标深度图的损失函数。
[0234]
其中，对抗生成网络中生成器和判别器的损失函数分别为第一损失函数和第二损失函数，约束网络输出的局部深度图的损失函数为第三损失函数，输出网络所输出的目标深度图的损失函数为第四损失函数。
[0235]
在实际执行中，深度补齐模型的目标损失函数为第一至第四的四个损失函数的和，可以通过应用如下公式确定：
[0236]
l
overall
＝ls lg λ
l
l1(d
l
) λ
pred
l1(d
pred
)
[0237]
其中，l
overall
是目标损失函数，l1(*)是深度图*和样本密集深度图像d
gt
计算绝对值损失得到的损失函数，ls是第二损失函数，lg是第一损失函数，λ
l
l1(d
l
)是第三损失函数，λ
pred
l1(d
pred
)是第四损失函数。
[0238]
λ
l
和λ
pred
分别是局部深度图和目标深度图对应的损失函数权重，在实际执行中，λ
l
和λ
pred
可以取1和10。
[0239]
下面对本发明实施例提供的图像处理装置进行描述，下文描述的图像处理装置与上文描述的图像处理方法可相互对应参照。
[0240]
如图11所示，本发明实施例提供的图像处理装置包括：
[0241]
第一处理模块1110，用于对初始rgb图像进行语义分割得到语义特征图；
[0242]
第二处理模块1120，用于基于语义特征图中包括的前景概率及语义特征对与初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，深度特征向量用于确定局部置信图及局部深度图；
[0243]
第三处理模块1130，用于将深度特征向量和初始rgb图像进行特征融合，获得融合置信图和融合深度图；
[0244]
第四处理模块1140，用于基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。
[0245]
根据本发明提供的图像处理装置，通过提取目标rgb图像的语义信息，引导对目标深度图像准确刻画图像局部深度信息，同时通过深度特征向量和目标rgb图像的融合，优化全局深度图信息，并通过引入局部深度图和融合深度图对应的置信图，保留可靠的深度预测区域，提高目标密集深度图的深度信息的稠密度和准确性，为后续计算机视觉任务的提供保障。
[0246]
在一些实施例中，第一处理模块1110，还用于将初始rgb图像输入至深度补齐模型的局部指导模块进行语义分割，获得局部指导模块输出的语义特征图；
[0247]
第二处理模块1120，还用于将语义特征图和初始深度图像输入至深度补齐模型的约束网络进行深度特征提取，得到深度特征向量；
[0248]
第三处理模块1130，还用于将初始rgb图像和深度特征向量输入至深度补齐模型的对抗生成网络，获得对抗生成网络输出的融合深度图和融合置信图；
[0249]
第四处理模块1140，还用于将局部深度图、局部置信图、融合深度图和融合置信图输入至深度补齐模型的输出网络，获得输出网络输出的目标深度图；
[0250]
其中，深度补齐模型为基于样本训练集训练得到。
[0251]
在一些实施例中，第三处理模块1130，还用于将深度特征向量和初始rgb图像输入
至对抗生成网络的生成器，由生成器基于深度特征向量重建初始rgb图像的深度信息，获得生成器输出的融合深度图和融合置信图；
[0252]
生成器是基于样本rgb图像和样本密集深度图，联合对抗生成网络的判别器进行对抗训练得到。
[0253]
在一些实施例中，对抗生成网络的损失函数包括生成器的第一损失函数和判别器的第二损失函数。
[0254]
在一些实施例中，第二处理模块1120，还用于将语义特征图和初始深度图像输入至约束网络的编码器进行下采样处理，得到第一深度特征向量；
[0255]
将第一深度特征向量输入至约束网络的解码器进行上采样处理，得到第二深度特征向量。
[0256]
在一些实施例中，第三处理模块1130，还用于将初始rgb图像输入至对抗生成网络进行下采样处理，得到第一特征向量；
[0257]
通过深度补齐模型的实例归一化模块对第一特征向量和第一深度特征向量进行特征融合，得到目标融合特征向量；
[0258]
对目标融合特征向量进行上采样处理，得到第二特征向量；
[0259]
通过实例归一化模块对第二特征向量和第二深度特征向量进行特征融合，获得对抗生成网络输出的融合深度图和融合置信图。
[0260]
在一些实施例中，第二处理模块1120，还用于通过跳转连接的方式将约束网络的编码器中的深度特征向量输入至约束网络的解码器中的对称位置，得到解码器输出的局部深度图和局部置信图。
[0261]
在一些实施例中，第四处理模块1140，还用于基于局部深度图、局部置信图、融合深度图和融合置信图，获得局部注意力权重和融合注意力权重；
[0262]
基于局部注意力权重和融合注意力权重对局部深度图和融合深度图进行加权处理，得到目标深度图。
[0263]
在一些实施例中，样本训练集包括多个样本rgb图像及其对应的拟真深度图像；拟真深度图像通过如下步骤确定：
[0264]
基于样本rgb图像对应样本深度图像进行高光区域掩模，得到第一拟真深度图；
[0265]
基于样本深度图像进行目标像素区域掩模，得到第二拟真深度图；
[0266]
基于样本深度图像进行噪声点掩模，得到第三拟真深度图；
[0267]
基于样本深度图像进行语义标签随机掩模，得到第四拟真深度图；
[0268]
基于样本训练集中所有样本深度图像进行语义分割训练，确定掩模矩阵，得到第五拟真深度图；
[0269]
基于样本深度图像和第一至第五拟真深度图中的至少一个的深度信息，确定拟真深度图像。
[0270]
在一些实施例中，深度补齐模型训练的目标损失函数基于如下步骤确定：
[0271]
获取对抗生成网络的生成器的第一损失函数以及判别器的第二损失函数；
[0272]
基于局部深度图和目标深度图，得到第三损失函数和第四损失函数；
[0273]
基于第一损失函数、第二损失函数、第三损失函数和第四损失函数，得到目标损失函数。
[0274]
图12示例了一种电子设备的实体结构示意图，如图12所示，该电子设备可以包括：处理器(processor)1210、通信接口(communications interface)1220、存储器(memory)1230和通信总线1240，其中，处理器1210，通信接口1220，存储器1230通过通信总线1240完成相互间的通信。处理器1210可以调用存储器1230中的逻辑指令，以执行图像处理方法，该方法包括：对初始rgb图像进行语义分割得到语义特征图；基于语义特征图中包括的前景概率及语义特征对与初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，深度特征向量用于确定局部置信图及局部深度图；将深度特征向量和初始rgb图像进行特征融合，获得融合置信图和融合深度图；基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。
[0275]
此外，上述的存储器1230中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0276]
进一步地，本发明还提供一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的图像处理方法，该方法包括：对初始rgb图像进行语义分割得到语义特征图；基于语义特征图中包括的前景概率及语义特征对与初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，深度特征向量用于确定局部置信图及局部深度图；将深度特征向量和初始rgb图像进行特征融合，获得融合置信图和融合深度图；基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。另一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的图像处理方法，该方法包括：对初始rgb图像进行语义分割得到语义特征图；基于语义特征图中包括的前景概率及语义特征对与初始rgb图像对应的初始深度图像进行深度特征提取，得到深度特征向量，深度特征向量用于确定局部置信图及局部深度图；将深度特征向量和初始rgb图像进行特征融合，获得融合置信图和融合深度图；基于局部置信图、局部深度图、融合置信图以及融合深度图，得到目标深度图。
[0277]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0278]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该
计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0279]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
[0280]
以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围中。