一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

深度图增强方法及装置

2022-07-30 18:57:19 来源:中国专利 TAG:


1.本技术涉及计算机视觉技术领域,特别涉及一种深度图增强方法及装置。


背景技术:

2.随着技术进步,立体对象模型的采集和获取变得越来越容易,特别是深度图由于其在自动驾驶和机器人等各个领域的应用而引起了越来越多的研究关注。
3.由于设备的低分辨率和遮挡等诸多因素,如激光雷达、深度相机等深度扫描设备直接获取的深度的数据质量通常很差,低质量数据主要表现在深度空间结构的不完整和信息冗余等方面,因此针对深度图的增强方法和系统在实际的工程应用中变得越来越重要。
4.相关技术中,采用的基于几何特征的补全和稠密化方法,需要目标物体满足某种特定的几何对称性,再利用获取的图像进行特征提取和预测。然而,真实世界的物体之间几何差异性较大,在深度采集的过程中难以使用通用的增强模型进行几何特征的补全和稠密化,使得采集中存在信息残缺以及精度低下的情况,亟待改进。


技术实现要素:

5.本技术提供一种深度图增强方法及装置,以解决相关技术中由于目标物体需满足某种特定的几何对称性,再进行特征提取和预测,导致在深度采集的过程中,难以使用通用的增强模型进行几何特征的补全和稠密化,使得采集中存在信息残缺以及精度低下的情况的技术问题。
6.本技术第一方面实施例提供一种深度图增强方法,包括以下步骤:从原始视觉数据中获取初始深度图;对所述初始深度图进行交替卷积与反卷积模块的多尺度特征提取,并由所述反卷积模块进行逐步恢复,得到以深度图三维坐标作为三通道的特征视图;对所述特征视图进行尺度压缩和卷积,依次得到两阶段的特征向量;对所述初始深度图进行空间变换和特征提取,得到深度图特征,并基于所述两阶段的特征向量对所述深度图特征进行强化,并恢复深度结构,生成第一三通道特征图;以及由所述特征视图多层感知机映射得到第二三通道特征图,并融合所述第一三通道特征图和所述第二三通道特征图,多层感知机映射得到最终深度图。
7.可选地,在本技术的一个实施例中,所述从原始视觉数据中获取初始深度图,包括:由所述原始视觉数据得到满足预设条件的低质量深度图;对所述低质量深度图和红外和深度图原始数据进行预处理和特征提取,生成所述初始深度图。
8.可选地,在本技术的一个实施例中,所述由所述原始视觉数据得到满足预设条件的低质量深度图,包括:基于预设的采集视角阈值对所述原始视觉数据进行采集,得到所述低质量深度图。
9.可选地,在本技术的一个实施例中,所述对所述初始深度图进行空间变换和特征提取,得到深度图特征,并基于所述两阶段的特征向量对所述深度图特征进行强化,并恢复深度结构,生成第一三通道特征图,包括:对所述初始深度图进行空间三维变换,得到三维
变换后的深度;基于所述三维变换后的深度提取第一特征,并将所述第一特征与所述特征视图的视图特征向量融合,得到第一阶段融合特征;基于所述第一阶段融合特征提取第二特征,并将所述第二特征与所述视图特征向量融合,得到第二阶段融合特征;由所述第二阶段融合特征多层感知机映射得到所述第一三通道特征图。
10.本技术第二方面实施例提供一种深度图增强装置,包括:获取模块,用于从原始视觉数据中获取初始深度图;特征提取模块,用于对所述初始深度图进行交替卷积与反卷积模块的多尺度特征提取,并由所述反卷积模块进行逐步恢复,得到以深度图三维坐标作为三通道的特征视图;计算模块,用于对所述特征视图进行尺度压缩和卷积,依次得到两阶段的特征向量;强化模块,用于对所述初始深度图进行空间变换和特征提取,得到深度图特征,并基于所述两阶段的特征向量对所述深度图特征进行强化,并恢复深度结构,生成第一三通道特征图;以及融合模块,用于由所述特征视图多层感知机映射得到第二三通道特征图,并融合所述第一三通道特征图和所述第二三通道特征图,多层感知机映射得到最终深度图。
11.可选地,在本技术的一个实施例中,所述获取模块包括:获取单元,用于由所述原始视觉数据得到满足预设条件的低质量深度图;预处理单元,用于对所述低质量深度图和红外和深度图原始数据进行预处理和特征提取,生成所述初始深度图。
12.可选地,在本技术的一个实施例中,所述获取单元进一步用于,基于预设的采集视角阈值对所述原始视觉数据进行采集,得到所述低质量深度图。
13.可选地,在本技术的一个实施例中,所述强化模块包括:三维变换单元,用于对所述初始深度图进行空间三维变换,得到三维变换后的深度;第一融合单元,用于基于所述三维变换后的深度提取第一特征,并将所述第一特征与所述特征视图的视图特征向量融合,得到第一阶段融合特征;第二融合单元,用于基于所述第一阶段融合特征提取第二特征,并将所述第二特征与所述视图特征向量融合,得到第二阶段融合特征;映射单元,用于由所述第二阶段融合特征多层感知机映射得到所述第一三通道特征图。
14.本技术第三方面实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序,以实现如上述实施例所述的深度图增强方法。
15.本技术第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以用于实现如权利要求1-4任一项所述的深度图增强方法。
16.本技术实施例可以从原始视觉数据中获取初始深度图,从初始深度图中,提取出两阶段特征向量和深度图特征并进行强化,恢复深度结构,并通过多层感知机映射得到最终深度图,在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。由此,解决了相关技术中由于目标物体需满足某种特定的几何对称性,再进行特征提取和预测,导致在深度采集的过程中,难以使用通用的增强模型进行几何特征的补全和稠密化,使得采集中存在信息残缺以及精度低下的情况的技术问题。
17.本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。
附图说明
18.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
19.图1为根据本技术实施例提供的一种深度图增强方法的流程图;
20.图2为根据本技术一个实施例的深度图增强方法的原理示意图;
21.图3为根据本技术一个实施例的深度图增强方法的增强网络的原理示意图;
22.图4为根据本技术一个实施例的深度图增强方法的生成器的原理示意图;
23.图5为根据本技术一个具体实施例的深度图增强方法的流程图;
24.图6为根据本技术实施例提供的一种深度图增强装置的结构示意图;
25.图7为根据本技术实施例提供的电子设备的结构示意图。
具体实施方式
26.下面详细描述本技术的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本技术,而不能理解为对本技术的限制。
27.下面参考附图描述本技术实施例的深度图增强方法及装置。针对上述背景技术中心提到的相关技术中由于目标物体需满足某种特定的几何对称性,再进行特征提取和预测,导致在深度采集的过程中,难以使用通用的增强模型进行几何特征的补全和稠密化,使得采集中存在信息残缺以及精度低下的情况的技术问题,本技术提供了一种深度图增强方法,在该方法中,可以从原始视觉数据中获取初始深度图,从初始深度图中,提取出两阶段特征向量和深度图特征并进行强化,恢复深度结构,并通过多层感知机映射得到最终深度图,在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。由此,解决了相关技术中由于目标物体需满足某种特定的几何对称性,再进行特征提取和预测,导致在深度采集的过程中,难以使用通用的增强模型进行几何特征的补全和稠密化,使得采集中存在信息残缺以及精度低下的情况的技术问题。
28.具体而言,图1为本技术实施例所提供的一种深度图增强方法的流程示意图。
29.如图1所示,该深度图增强方法包括以下步骤:
30.在步骤s101中,从原始视觉数据中获取初始深度图。
31.在实际执行过程中,本技术实施例可以使用深度相机和相机进行配套采集,获取原始视觉数据,从原始视觉数据中获取视图和稀疏且残缺的低质量深度图后,经过包括但不仅限于数据处理后获取初始深度图。
32.可选地,在本技术的一个实施例中,从原始视觉数据中获取初始深度图,包括:由原始视觉数据得到满足预设条件的低质量深度图;对低质量深度图和红外和深度图原始数据进行预处理和特征提取,生成初始深度图。
33.作为一种可能实现的方式,本技术实施例可以由原始视觉数据得到满足预设条件的低质量深度图,并将从原始数据中得到的视图、红外和深度图原始数据进行预处理和特征提取,生成初始深度图,用于后续步骤的处理。本技术实施例以红外数据作为辅助,对低
功耗低性能深度相机、激光雷达的数据输出进行增强的效果,下面进行详细描述。
34.需要注意的是,低质量深度图的预设条件可以由本领域技术人员根据实际情况进行设定,在此不做具体限制。
35.可选地,在本技术的一个实施例中,由原始视觉数据得到满足预设条件的低质量深度图,包括:基于预设的采集视角阈值对原始视觉数据进行采集,得到低质量深度图。
36.具体地,本技术实施例可以使用深度相机和相机进行配套采集,并基于预设的采集视角阈值对原始视觉数据进行采集,得到低质量深度图。本技术实施例基于预设采集视角阈值进行原始视觉数据采集,有利于后续对低质量深度图的强化及稠密化,为生成高质量图像奠定基础。
37.需要注意的是,预设的视角阈值根据采集目标的不同会有相应变化,视角阈值可以由本领域技术人员根据实际情况进行设置,在此不做具体限制。
38.在步骤s102中,对初始深度图进行交替卷积与反卷积模块的多尺度特征提取,并由反卷积模块进行逐步恢复,得到以深度图三维坐标作为三通道的特征视图。
39.进一步地,本技术实施例可以对通过上述步骤获取的初始深度图进行交替卷积与反卷积模块的多尺度特征提取,并由反卷积模块进行逐步恢复,得到以深度图三维坐标作为三通道的特征视图,本技术实施例可以通过逐步提取不同级别的几何特征,实现多模态特征的提取,便于后续进行特征融合并恢复生成高精度图像。
40.在步骤s103中,对特征视图进行尺度压缩和卷积,依次得到两阶段的特征向量。
41.在实际执行过程中,本技术实施例可以对特征视图和红外特征进行尺度压缩和卷积,从而以此获得两阶段的特征向量,实现多模态特征的提取,便于后续进行特征融合并恢复生成高精度图像。
42.在步骤s104中,对初始深度图进行空间变换和特征提取,得到深度图特征,并基于两阶段的特征向量对深度图特征进行强化,并恢复深度结构,生成第一三通道特征图。
43.具体地,本技术实施例可以对步骤s101中获取的初始深度图进行空间变换和特征提取,并输入步骤s103中获取的两阶段的特征向量,对深度图特征进行强化并恢复深度结构,进而生成第一三通道特征图。本技术实施例通过对深度图特征进行强化并恢复深度结构,有利于在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。
44.可选地,在本技术的一个实施例中,对初始深度图进行空间变换和特征提取,得到深度图特征,并基于两阶段的特征向量对深度图特征进行强化,并恢复深度结构,生成第一三通道特征图,包括:对初始深度图进行空间三维变换,得到三维变换后的深度;基于三维变换后的深度提取第一特征,并将第一特征与特征视图的视图特征向量融合,得到第一阶段融合特征;基于第一阶段融合特征提取第二特征,并将第二特征与视图特征向量融合,得到第二阶段融合特征;由第二阶段融合特征多层感知机映射得到第一三通道特征图。
45.举例而言,在实际执行过程中,本技术实施例进行深度特征强化的步骤如下:
46.1、对初始深度图进行空间三维变换,得到三维变换后的深度;
47.2、根据三维变换后的深度提取第一特征,并将第一特征与特征视图的视图特征向量融合,得到第一阶段融合特征;
48.3、通过第一阶段融合特征提取第二特征,并将第二特征与视图特征向量融合,得到第二阶段融合特征;
49.4、由第二阶段融合特征多层感知机映射得到第一三通道特征图。
50.举例而言,如图2所示,深度特征强化的方法为:
51.点分支从点中提取特征,并使用从图像分支中的图像特征生成的注意掩码生成增强的点特征;
52.然后,将增强的点要素转发到完全连接的层以重建表示全局几何的点集,该点集有助于最终预测深度的另一个子集。
53.具体来说,本技术实施例可以将欧氏空间(n
×
3)中3d表示的原始n个输入点转换为特征空间(n
×
c)中的固定维c,使用dgcnn中提出的edgeconv学习模块提取点特征。
54.在空间变换层中,本技术实施例可以使用估计的3
×
3矩阵将输入点集对齐到规范空间,为了估计3
×
3矩阵,本技术实施例可以使用一个张量将每个点的坐标及其k个相邻点的坐标差进行连接,其中,图像特征点特征arc全局特征ca
×
r为图2点分支中的特征增强模块。
55.可以理解的是,特征增强模块融合了从视图模态中的全局特征和通过注意机制从点模态中提取的几何局部特征f
p
。具体来说,来自第一个增强单元视图分支的k维特征向量(如图2的顶行所示)在与n倍的重复点连接后特征,使用mlp压缩为nx1维向量,通过sigmoid函数将此向量归一化为[0,1]的范围,可以得到一个注意掩码ma(nx1),此后,通过执行ma与点特征f

的逐元素相乘,实现增强的局部点特征f
p

[0056]
进一步地,本技术实施例可以获得由全局图像特征增强的局部特征:
[0057][0058]
最终的增强点特征fe(n
×2×
c)可以通过将局部增强点特征f

与对f
p
进行平均池化获得的全局点特征的n倍重复级联而实现。
[0059]
在步骤s105中,由特征视图多层感知机映射得到第二三通道特征图,并融合第一三通道特征图和第二三通道特征图,多层感知机映射得到最终深度图。
[0060]
作为一种可能实现的方式,本技术实施例可以将从上述步骤中获取的经过压缩的特征向量进行多层感知机映射,获得第二三通道特征图,并将上述步骤中获得的第一三通道特征图和第二三通道特征图进行融合,再经过多层感知机映射,获得经过恢复的稠密、完整深度图。本技术实施例可以在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。
[0061]
下面结合图2至图5所示,以一个实施例对本技术实施例进行详细阐述。
[0062]
本技术实施例包括以下步骤:
[0063]
步骤s501:原始视觉数据采集。在实际执行过程中,本技术实施例可以使用深度相机和相机,并基于预设的采集视角阈值对原始视觉数据进行配套采集,获取原始视觉数据,原始视觉数据中获取视图和稀疏且残缺的低质量深度图。
[0064]
需要注意的是,预设的视角阈值根据采集目标的不同会有相应变化,视角阈值可以由本领域技术人员根据实际情况进行设置,在此不做具体限制。
[0065]
步骤s502:原始数据的预处理和特征提取。作为一种可能实现的方式,本技术实施
例可以由原始视觉数据得到满足预设条件的低质量深度图,并将从原始数据中得到的视图、红外和深度图原始数据进行预处理和特征提取,生成初始深度图,用于后续步骤的处理。
[0066]
需要注意的是,低质量深度图的预设条件可以由本领域技术人员根据实际情况进行设定,在此不做具体限制。
[0067]
步骤s503:获取以深度图三维坐标作为三通道的特征视图。进一步地,本技术实施例可以对通过上述步骤获取的初始深度图进行交替卷积与反卷积模块的多尺度特征提取,并由反卷积模块进行逐步恢复,得到以深度图三维坐标作为三通道的特征视图,本技术实施例可以通过逐步提取不同级别的几何特征,实现多模态特征的提取,便于后续进行特征融合并恢复生成高精度图像。
[0068]
步骤s504:获取两阶段的特征向量。在实际执行过程中,本技术实施例可以对特征视图和红外特征进行尺度压缩和卷积,从而以此获得两阶段的特征向量,实现多模态特征的提取,便于后续进行特征融合并恢复生成高精度图像。
[0069]
步骤s505:进行深度图特征进行强化并恢复深度结构。具体地,本技术实施例可以对步骤s101中获取的初始深度图进行空间变换和特征提取,并输入步骤s103中获取的两阶段的特征向量,对深度图特征进行强化并恢复深度结构,进而生成第一三通道特征图。本技术实施例通过对深度图特征进行强化并恢复深度结构,有利于在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。
[0070]
在实际执行过程中,本技术实施例进行深度特征强化的步骤如下:
[0071]
1、对初始深度图进行空间三维变换,得到三维变换后的深度;
[0072]
2、根据三维变换后的深度提取第一特征,并将第一特征与特征视图的视图特征向量融合,得到第一阶段融合特征;
[0073]
3、通过第一阶段融合特征提取第二特征,并将第二特征与视图特征向量融合,得到第二阶段融合特征;
[0074]
4、由第二阶段融合特征多层感知机映射得到第一三通道特征图。
[0075]
举例而言,如图2所示,深度特征强化的方法为:
[0076]
点分支从点中提取特征,并使用从图像分支中的图像特征生成的注意掩码生成增强的点特征;
[0077]
然后,将增强的点要素转发到完全连接的层以重建表示全局几何的点集,该点集有助于最终预测深度的另一个子集。
[0078]
具体来说,本技术实施例可以将欧氏空间(n
×
3)中3d表示的原始n个输入点转换为特征空间(n
×
c)中的固定维c,使用dgcnn中提出的edgeconv学习模块提取点特征。
[0079]
在空间变换层中,本技术实施例可以使用估计的3
×
3矩阵将输入点集对齐到规范空间,为了估计3
×
3矩阵,本技术实施例可以使用一个张量将每个点的坐标及其k个相邻点的坐标差进行连接,其中,图像特征点特征arc全局特征ca
×
r为图2点分支中的特征增强模块。
[0080]
可以理解的是,特征增强模块融合了从视图模态中的全局特征和通过注意机制从
点模态中提取的几何局部特征f
p
。具体来说,来自第一个增强单元视图分支的k维特征向量(如图2的顶行所示)在与n倍的重复点连接后特征,使用mlp压缩为nx1维向量,通过sigmoid函数将此向量归一化为[0,1]的范围,可以得到一个注意掩码ma(nx1),此后,通过执行ma与点特征f

的逐元素相乘,实现增强的局部点特征f
p

[0081]
进一步地,本技术实施例可以获得由全局图像特征增强的局部特征:
[0082][0083]
最终的增强点特征fe(n
×2×
c)可以通过将局部增强点特征f

与对f
p
进行平均池化获得的全局点特征的n倍重复级联而实现。
[0084]
步骤s506:融合三通道特征图,经过多层感知机映射,获得经过恢复的稠密、完整深度图。作为一种可能实现的方式,本技术实施例可以将从上述步骤中获取的经过压缩的特征向量进行多层感知机映射,获得第二三通道特征图,并将上述步骤中获得的第一三通道特征图和第二三通道特征图进行融合,再经过多层感知机映射,获得经过恢复的稠密、完整深度图。本技术实施例可以在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。
[0085]
进一步地,本技术实施例的深度图增强方法主要包括以下几个方面:
[0086]
1、多模态特征提取、融合与恢复生成。深度增强网络是一种对抗式架构,包括生成器和鉴别器,如图3所示,增强网络是一种对抗性架构,包括生成器和鉴别器。如图4所示,生成器是具有相似结构的两个增强单元的级联结构,以低质量的深度x和单视图参考图像i作为输入,每个增强单元由三个并行功能分支组成:视图分支,点分支和融合分支,它们分别通过处理视图、红外特征,深度特征和多模态图像点融合特征来预测点集。
[0087]
如图4所示,深度生成器具有两个级联增强单元,第一个单元将原始图像i和深度图x直接作为输入,并将其传输到潜在的嵌入空间中,然后将要素转发到下一个单元;第二个单元在功能上类似于第一个单元,但输出为三维点集x。从数据流的角度来看,生成器包括三个并行分支,分别从视图,深度和多模态图像点特征预测深度,输出深度是三个分支的预测点集的并集。
[0088]
其中,视图分支,视图分支将图像和红外图像作为输入,并逐步提取不同级别的几何特征。
[0089]
深度分支,点分支从点中提取特征,并使用从图像分支中的图像特征生成的注意掩码生成增强的点特征,从而将增强的点要素转发到完全连接的层以重建表示全局几何的点集,该点集有助于最终预测深度的另一个子集。
[0090]
融合分支,融合分支主要融合两条特征流。
[0091]
2、生成深度判别器。对抗训练促进了图像表示方面的一系列表示和生成应用程序的开发,但是在将这种体系结构应用于深度完成方面的工作很少,因此本技术实施例可以添加一个判别器,以在框架中进行对抗训练,目的是识别深度的真假。本技术实施例可以使用考虑完整性和分布均匀性的联合损失函数来训练网络以获得“粗”完整深度,然后以对抗性损失对网络进行微调,以实现“精细”完整深度,并将pointnet用作判别器的二进制分类网络,以区分预测结果来自生成集x或实集y。本技术实施例可以在改进的wasserstein gan中使用对抗性损失进行训练:
[0092][0093]
其中,d表示1-lipschitz函数的集合,y~py和分别是从生成的数据和实际数据中提取的点集样本,第二项中的多项式是梯度罚分。
[0094]
根据本技术实施例提出的深度图增强方法,可以从原始视觉数据中获取初始深度图,从初始深度图中,提取出两阶段特征向量和深度图特征并进行强化,恢复深度结构,并通过多层感知机映射得到最终深度图,在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。由此,解决了相关技术中在进行数据采集时,由于物体几何差异性较大,难以通过几何对称性进行特征补全,使得采集到的数据存在信息残缺且精度低下的情况,难以实现高精度的图像输出的技术问题。
[0095]
其次参照附图描述根据本技术实施例提出的深度图增强装置。
[0096]
图6是本技术实施例的深度图增强装置的方框示意图。
[0097]
如图6所示,该深度图增强装置10包括:获取模块100、特征提取模块200、计算模块300、强化模块400和融合模块500。
[0098]
具体地,获取模块100,用于从原始视觉数据中获取初始深度图。
[0099]
特征提取模块200,用于对初始深度图进行交替卷积与反卷积模块的多尺度特征提取,并由反卷积模块进行逐步恢复,得到以深度图三维坐标作为三通道的特征视图。
[0100]
计算模块300,用于对特征视图进行尺度压缩和卷积,依次得到两阶段的特征向量。
[0101]
强化模块400,用于对初始深度图进行空间变换和特征提取,得到深度图特征,并基于两阶段的特征向量对深度图特征进行强化,并恢复深度结构,生成第一三通道特征图。
[0102]
融合模块500,用于由特征视图多层感知机映射得到第二三通道特征图,并融合第一三通道特征图和第二三通道特征图,多层感知机映射得到最终深度图。
[0103]
可选地,在本技术的一个实施例中,获取模块100包括:获取单元和预处理单元。
[0104]
其中,获取单元,用于由原始视觉数据得到满足预设条件的低质量深度图。
[0105]
预处理单元,用于对低质量深度图和红外和深度图原始数据进行预处理和特征提取,生成初始深度图。
[0106]
可选地,在本技术的一个实施例中,获取单元进一步用于,基于预设的采集视角阈值对原始视觉数据进行采集,得到低质量深度图。
[0107]
可选地,在本技术的一个实施例中,强化模块400包括:三维变换单元、第一融合单元、第二融合单元和映射单元。
[0108]
其中,三维变换单元,用于对初始深度图进行空间三维变换,得到三维变换后的深度。
[0109]
第一融合单元,用于基于三维变换后的深度提取第一特征,并将第一特征与特征视图的视图特征向量融合,得到第一阶段融合特征。
[0110]
第二融合单元,用于基于第一阶段融合特征提取第二特征,并将第二特征与视图特征向量融合,得到第二阶段融合特征。
[0111]
映射单元,用于由第二阶段融合特征多层感知机映射得到第一三通道特征图。
[0112]
需要说明的是,前述对深度图增强方法实施例的解释说明也适用于该实施例的深度图增强装置,此处不再赘述。
[0113]
根据本技术实施例提出的深度图增强装置,可以从原始视觉数据中获取初始深度图,从初始深度图中,提取出两阶段特征向量和深度图特征并进行强化,恢复深度结构,并通过多层感知机映射得到最终深度图,在保持原始深度几何结构的同时,可以对原始数据中形状缺失区域进行补全,并对整体深度图进行稠密化,具备了适应不同程度、不同角度的形状残缺和稀疏的能力,可以有效地提高低精度采集设备的有效输出精度,提高数据采集的质量。由此,解决了相关技术中在进行数据采集时,由于物体几何差异性较大,难以通过几何对称性进行特征补全,使得采集到的数据存在信息残缺且精度低下的情况,难以实现高精度的图像输出的技术问题。
[0114]
图7为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括:
[0115]
存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
[0116]
处理器702执行程序时实现上述实施例中提供的深度图增强方法。
[0117]
进一步地,电子设备还包括:
[0118]
通信接口703,用于存储器701和处理器702之间的通信。
[0119]
存储器701,用于存放可在处理器702上运行的计算机程序。
[0120]
存储器701可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
[0121]
如果存储器701、处理器702和通信接口703独立实现,则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture,简称为isa)总线、外部设备互连(peripheral component,简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture,简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
[0122]
可选的,在具体实现上,如果存储器701、处理器702及通信接口703,集成在一块芯片上实现,则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
[0123]
处理器702可能是一个中央处理器(central processing unit,简称为cpu),或者是特定集成电路(application specific integrated circuit,简称为asic),或者是被配置成实施本技术实施例的一个或多个集成电路。
[0124]
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如上的深度图增强方法。
[0125]
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任
一个或n个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0126]
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中,“n个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
[0127]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本技术的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本技术的实施例所属技术领域的技术人员所理解。
[0128]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或n个布线的电连接部(电子装置),便携式计算机盘盒(磁装置),随机存取存储器(ram),只读存储器(rom),可擦除可编辑只读存储器(eprom或闪速存储器),光纤装置,以及便携式光盘只读存储器(cdrom)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
[0129]
应当理解,本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如,如果用硬件来实现和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。
[0130]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
[0131]
此外,在本技术各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
[0132]
上述提到的存储介质可以是只读存储器,磁盘或光盘等。尽管上面已经示出和描
述了本技术的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本技术的限制,本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献