深度图的获取方法、装置、电子设备及存储介质与流程

1.本发明实施例涉及图像处理技术领域，特别涉及一种深度图的获取方法、装置、电子设备及存储介质。


背景技术：

2.对于三维视觉相关的行业而言，构造深度图数据集非常重要，并且通常期望得到丰富全面的深度图组成的大容量深度图数据集。而为了得到丰富全面的深度图的深度图像数据，往往需要在各种场景下，利用多种结构光系统对多种不同的散斑图案进行投影，然后采集散斑图像，从而根据采集到的大量的散斑图构成的散斑图数据集，然后通过将散斑图转化为深度图，得到深度图数据集。
3.然而，通过实际构造多种场景和多种结构光系统、对多种散斑图案进行投影的方式获取深度图需要耗费大量的人力物力，资源浪费严重。


技术实现要素：

4.本发明实施方式的目的在于提供一种深度图的获取方法、装置、电子设备及存储介质，使得能够减少深度图获取过程中消耗的人力物力，减少资源浪费。
5.为达到上述目的，本发明的实施例提供了一种深度图的获取方法，包括：获取红外背景图、参考散斑图案和所述红外背景图对应的场景深度信息；根据所述场景深度信息对所述参考散斑图案进行立体匹配，得到视差散斑图案；将所述视差散斑图案叠加到所述红外背景图，得到风格迁移散斑图上；将所述风格迁移散斑图转化为深度图。
6.为达到上述目的，本发明的实施例还提供了一种深度图的获取装置，包括：获取模块，用于获取红外背景图、参考散斑图案和所述红外背景图对应的场景深度信息；匹配模块，用于根据所述场景深度信息对所述参考散斑图案进行立体匹配，得到视差散斑图案；叠加模块，用于将所述视差散斑图案叠加到所述红外背景图上，得到风格迁移散斑图；转化模块，用于将所述风格迁移散斑图转化为深度图。
7.为达到上述目的，本发明的实施例还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的深度图的获取方法。
8.为达到上述目的，本发明的实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的深度图的获取方法。
9.本发明实施例提供的深度图的获取方法，在获取红外背景图、参考散斑图案和红外背景图对应的场景深度信息后，根据场景深度信息对参考散斑图案进行立体匹配，得到视差散斑图案，实现将红外背景图对应的深度信息赋给参考散斑图案，使得在将视差散斑图案叠加到红外背景图上后，能够得到场景深度信息不变，即场景不变的情况下，与红外背景图对应的散斑图不同的风格迁移散斑图，即得到新的散斑图，进而可以基于新的散斑图
得到新的深度图。也就是说，通过图像数据处理就能够得到新的深度图，不需要在实际场景中进行人工采集，避免了人力物力的浪费，节约了资源。
10.另外，本发明实施例提供的深度图的获取方法，所述获取红外背景图和所述红外背景图对应的场景深度信息，包括：获取散斑图；对所述散斑图进行散斑提取，得到场景散斑图案；对所述散斑图和所述场景散斑图案进行图像相减，得到初始红外图；对所述初始红外图进行匀光处理，得到所述红外背景图；对所述场景散斑图案进行深度恢复，得到所述场景深度信息。能够在散斑图的基础上，利用散斑提取和深度恢复得到红外背景图和红外背景图对应的场景信息，简洁高效、易于实现。
11.另外，本发明实施例提供的深度图的获取方法，所述对所述散斑图进行散斑提取，得到场景散斑图案，包括：对所述散斑图进行图像滤波处理；对滤波处理后的所述散斑图进行背景减除；对背景减除后的所述散斑图进行二值化和连通区域检测，得到所述场景散斑图案。通过滤波处理、背景减除、二值化和连通区域检测，能够得到准确的场景散斑图案，使得后续根据准确的场景散斑图案能够得到准确的场景深度信息和红外背景图。
12.另外，本发明实施例提供的深度图的获取方法，所述参考散斑图案和所述场景散斑图案不同。通过设置参考散斑图案和场景散斑图案不同，保证了基于参考散斑图案得到的视差散斑图和散斑图中的散斑图案不同，即风格迁移散斑图中的散斑图案和红外背景图对应的原散斑图中的散斑图案不同，进而风格迁移散斑图和红外背景图对应的原散斑图，基于风格迁移散斑图得到的深度图和原散斑图对应的深度图不同。
13.另外，本发明实施例提供的深度图的获取方法，所述获取红外背景图和所述红外背景图对应的场景深度信息，包括：从预设的散斑数据集中获取红外背景图和所述红外背景图对应的所述场景深度信息。在具有存储红外背景图和场景深度信息的散斑数据集中，直接获取红外散斑图和场景深度信息，从而快速地进入后续流程，大大提高了获取深度图的效率。
14.另外，本发明实施例提供的深度图的获取方法，所述根据所述场景深度信息对所述参考散斑图案进行立体匹配，得到视差散斑图案，包括：根据所述场景深度信息确定场景视差信息；根据所述场景视差信息对所述参考散斑图案进行立体匹配，得到所述视差散斑图案。通过场景深度信息进一步得到场景视差信息，实现对场景的准确模拟，从而基于模拟的场景对参考散斑图案投影到物体上的情况进行模拟，得到视差散斑图案，即得到散斑图案投影到物体上的结果。
15.另外，本发明实施例提供的深度图的获取方法，所述根据所述场景深度信息确定场景视差信息，包括：基于所述场景深度信息和如下表达式计算所述场景视差信息：d＝f*(b/z)，其中，d为所述场景视差信息，z为所述场景深度信息，f为焦距，b为基线，f和b均为预设值。实现了对场景进行建模，从而能够通过改变参数构建多种不同的场景，使得能够根据需求对场景进行变化，丰富了场景信息以及基于场景信息得到的视差散斑图案，最终能够获取类型丰富的深度图。
附图说明
16.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除
非有特别申明，附图中的图不构成比例限制。
17.图1是本发明一实施例中提供的深度图的获取方法的流程图；
18.图2是本发明另一实施例中提供的深度图的获取装置的结构示意图；
19.图3是本发明另一实施例中提供的电子设备的结构示意图。
具体实施方式
20.由背景技术可知，为了得到容量足够大的深度图像数据，往往需要在各种场景下，采集多种结构光系统利用各种不同的散斑图案进行投影得到的散斑图像，从而根据采集到的大量的散斑图构成的散斑图数据集，然后通过散斑图到深度图的转换，将散斑图数据集转化为深度图数据集。但是这种方式需要耗费大量的人力物力，资源浪费严重。
21.为解决上述问题，本发明实施例提供了一种深度图的获取方法，包括：获取红外背景图、参考散斑图案和所述红外背景图对应的场景深度信息；根据所述场景深度信息对所述参考散斑图案进行立体匹配，得到视差散斑图案；将所述视差散斑图案叠加到所述红外背景图，得到风格迁移散斑图；将所述风格迁移散斑图转化为深度图。
22.本发明实施例提供的深度图的获取方法，在获取红外背景图、参考散斑图案和红外背景图对应的场景深度信息后，根据场景深度信息对参考散斑图案进行立体匹配，得到视差散斑图案，实现将红外背景图对应的深度信息赋给参考散斑图案，使得在将视差散斑图案叠加到红外背景图后，能够得到场景深度信息不变，即场景不变的情况下，与红外背景图对应的散斑图不同的风格迁移散斑图，即得到新的散斑图，进而可以基于新的散斑图得到新的深度图。也就是说，通过图像数据处理就能够得到新的深度图，不需要在实际场景中进行人工采集，避免了人力物力的浪费，节约了资源。
23.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
24.以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
25.本发明实施例一方面提供了一种深度图的获取方法，应用于计算机等电子设备，深度图的获取方法的流程如图1所示，包括：
26.步骤101，获取红外背景图、参考散斑图案和红外背景图对应的场景深度信息。
27.本实施例中，红外背景图是指散斑图减除散斑图案后得到的图像，红外背景图对应的场景深度信息是指红外背景图对应的散斑图所处场景中的深度信息，参考散斑图案是预设的散斑图案，参考散斑图案可来源于不同的投射器，本实施例不对参考散斑中散斑斑点的大小、形状、稠密度和数量进行限定。
28.具体地，在无法直接得到红外背景图和红外背景图对应的场景深度信息的情况下，步骤101可以包括：获取散斑图，对散斑图进行散斑提取，得到场景散斑图案，对散斑图和场景散斑图案进行图像相减，得到初始红外图，对初始红外图进行匀光处理，得到红外背景图，对场景散斑图案进行深度恢复，得到场景深度信息，其中，对散斑图进行散斑提取，得到场景散斑图案可以包括：对散斑图进行图像滤波处理，对滤波处理后的散斑图进行背景
减除，对背景减除后的散斑图进行二值化和连通区域检测，得到场景散斑图案；在能够直接得到红外背景图和红外背景图对应的场景深度信息的情况下，步骤101不需要进行额外的处理，从含有红外背景图和红外背景图对应的场景深度信息的预设的散斑数据集中直接获取红外背景图和红外背景图对应的场景深度信息。
29.需要说明的是，在通过处理散斑图得到红外背景图和红外背景图对应的场景深度信息时，获取的散斑图案需要与散斑图对应的投射到物体上的原始散斑图案不同，不同可以体现在原始散斑图案和参考散斑图案的散斑斑点的大小、形状、稠密度和数量等方面，从而保证后续得到的风格迁移图与此时获取的散斑图不同。
30.以下将以具备预设的散斑图数据集且执行主体为计算机为例进行说明。
31.在一个例子中，假设预设的散斑数据集中的数据是散斑图，用户在计算机的人机交互界面输入散斑数据集的地址，这个地址可以是计算机的本地内存，也可以是一个为用户提供散斑数据集的服务器等的地址，计算机读取到用户输入的地址后，访问该地址并读取该地址中存储的散斑图，调用计算机中预设的散斑提取算法并将读取到的散斑图作为输入，散斑提取算法输出的结果即为场景散斑图案，其中，散斑提取算法包括图像滤波预处理、背景减除、二值化和连通区域检测处理过程；然后对读取到的散斑图和获得的场景散斑图案逐像素点作差，得到初始红外图，由于图像相减得到的初始红外图可能在原场景散斑图案所在位置出现边缘线，背景不均匀，因此，还需要对背景图像进行匀光处理，即计算机还继续调用预存的匀光处理算法，将散斑图和背景红外图作为匀光算法的输入，得到匀光算法输出的与散斑图背景区域亮度、对比度保持一致的红外背景图，其中，匀光算法可以是wallis匀光算法，以读取到的散斑图的背景区域的亮度、对比度为wallis匀光算法中的匀光模板且以初始红外图中散斑图案所在区域为wallis匀光算法的匀光处理对象，此时输出的红外背景图的亮度、对比度均匀，与此同时，计算机可以并行调用预存的深度恢复算法，将场景散斑图案作为深度恢复算法的输入，得到深度恢复算法输出的场景深度信息。
32.需要说明的是，以上仅为对散斑提取算法和匀光算法的具体举例说明，在其他例子中，还可以是其他散斑提取算法和其他匀光算法，此处就不再一一赘述了。
33.在另一个例子中，假设预设的散斑数据集中的数据是红外背景图和红外背景图，用户在计算机的人机交互界面输入散斑数据集的地址，计算机读取到用户输入的地址后，访问该地址并读取该地址中存储的红外背景图和红外背景图。
34.步骤102，根据场景深度信息对参考散斑图案进行立体匹配，得到视差散斑图案。
35.对于一个散斑结构光系统而言，可以包括一个焦距为f的光学传感器
‑
红外镜头和一个散斑投射器组成，散斑投射器用于向物体、人脸等对象投射散斑图案，光学传感器
‑
红外镜头用于采集物体、人脸等对象上投射有散斑图案时的图像，即散斑图，则根据三角成像原理可知，有如下表达式：
36.z＝f*(b/d)
37.其中，b表示散斑结构光系统中的基线，f散斑结构光系统中的光学传感器
‑
红外镜头的焦距，d为视差，z为场景中物体的深度信息，即场景深度信息。
38.特别地，考虑到，立体匹配实际是利用视差信息完成的，而根据上述表达式可知，视差与场景深度有关，因此，步骤102可以包括：根据场景深度信息确定场景视差信息，根据场景视差信息对参考散斑图案进行立体匹配，得到视差散斑图案，其中，由上述表达式可
知，根据场景深度信息确定场景视差信息可以通过如下表达式得到：
39.d＝f*(b/z)
40.其中，d为场景视差信息，z为场景深度信息，f为焦距，b为基线，f和b均为预设值。
41.在一个例子中，用户通过下达指令来设置焦距f和基线b，相当于确认获取散斑图是使用的散斑结构光系统的确认，进而计算机基于上述表达式，对参考散斑图案进行视差处理，其中，将视差值作为参考散斑图案和视差散斑图案的同一行或几行上的像素点的横坐标之差。
42.值得一提的是，通过立体匹配，实现了不需要实际构建场景，就能够模拟参考散斑图案映射至物体、人脸等对象的表面，得到参考散斑图案映射到物体、人脸等对象的结果。
43.需要说明的是，在实际场景中，不同的结构光系统可以有不同的基线b，因此，可以通过调整视差b来模拟结构光系统的改变，从而基于不同的基线b得到不同的视差信息，进而得到不同的视差散斑图案，实现对使用不同结构光系统得到散斑图的模拟。
44.也就是说，还可以多次对基线b进行设置，每次设置把不同的值，使得在场景深度信息z一定的情况下，参考散斑图案经过立体匹配得到不同的视差图，从而在后续得到不同的视差散斑图案，叠加到红外背景图后能够得到不同的风格迁移散斑图。此时，步骤102的步骤可以包括：确定红外镜头与投射器镜头的基线；按照该基线和场景深度信息确定场景视察信息，根据场景视差信息对参考散斑图案进行立体匹配。
45.步骤103，将视差散斑图案叠加到红外背景图上，得到风格迁移散斑图。
46.在一个例子中，通过逐像素计算像素值之和实现将视差散斑图案叠加到红外背景图上，得到风格迁移散斑图。
47.步骤104，将风格迁移散斑图转化为深度图。
48.在得到风格迁移散斑图后，风格迁移散斑图的风格便与红外背景图对应的散斑图的风格不同，即使使用同一深度恢复技术，无论是传统的深度恢复算法，还是深度学习的深度恢复算法，其得到的深度图风格也存在着不同。如果使用不同的深度恢复技术，对同一散斑图像也会形成不同风格的深度图像，因此可以针对某种风格的散斑图像，得到适应性最佳的深度恢复技术。
49.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
50.本发明实施例的另一方面还提供了一种深度图的获取装置，如图2所示，包括：
51.获取模块201，用于获取红外背景图、参考散斑图案和红外背景图对应的场景深度信息。
52.匹配模块202，用于根据场景深度信息对参考散斑图案进行立体匹配，得到视差散斑图案。
53.叠加模块203，用于将视差散斑图案叠加到红外背景图上，得到风格迁移散斑图。
54.转化模块204，用于将风格迁移散斑图转化为深度图。
55.不难发现，本实施例为与深度图的获取方法的实施例相对应的装置实施例，本实施例可与深度图的获取方法的实施例互相配合实施。深度图的获取方法的实施例中提到的
相关技术细节在本实施例中依然有效，为了减少重复，这里不再赘述。相应地，本实施例中提到的相关技术细节也可应用在深度图的获取方法的实施例中。
56.值得一提的是，本实施例中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施例中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施例中不存在其它的单元。
57.本技术实施例的另一方面还提供了一种电子设备，如图3所示，包括：包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行上述任一方法实施例所描述的深度图的获取方法。
58.其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传输给处理器301。
59.处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
60.本发明实施例的另一方面还提供了一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
61.本领域技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
62.本领域的普通技术人员可以理解，上述各实施例是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。