结构光重建模组的制作方法

1.本发明涉及结构光三维重建，具体地，涉及一种结构光重建模组。


背景技术：

2.移动支付在国内已经成为主流的支付方式，截止目前移动支付用户数达到10.5亿，全年移动支付交易量30万亿元，成为金融的支柱力量；移动支付爆发于智能手机的普及，随着4g/5g，人工智能，大数据、生物识别技术趋于成熟，2019迎来了代表支付4.0的刷脸支付元年，刷脸支付终端在线下商业场景逐步展开，即将迎来大规模使用，预计在2022年市场规模将达到185万亿元。
3.作为刷脸支付终端的核心器件，人脸识别摄像模组起到非常关键的作用。目前比较成熟的人脸识别摄像模组采用结构光方案。
4.结构光三方案是基于光学三角法测量原理。光学投射器将一定模式的结构光投射于物体表面，在表面上形成由被测物体表面形状所调制的光条三维图像。该三维图像被另一位置的摄像机探测，从而获得光条二维畸变图像。光条的畸变程度取决于光学投射器与摄像机之间的相对位置和物体表面形廓(高度)。直观上，沿光条显示出的位移(或偏移)与物体表面高度成比例，扭结表示了平面的变化，不连续显示了表面的物理间隙。当光学投射器与摄像机之间的相对位置一定时，由畸变的二维光条图像坐标便可重现物体表面三维形廓。
5.深度相机模组拓宽了前端感知的维度，能够很好的解决2d人脸识别遇到的抗假体攻击和极端情况下识别准确率降低的问题，效果得到了市场的认可，需求强烈，能够应用于基于3d人脸识别的门锁、门禁和支付等场景。在为了人脸识别等需求时，不仅需要目标的深度图像还需要灰度图像，一般灰度图像分为两种，一种是同一个相机拍摄的灰度图像或是不同相机拍摄的灰度图像或是两者兼而有之。在深度重建应用中，采集到的纹理图像包含投射器投射的纹理图案和背景光，其中投射器投射的纹理图案相当于有效信号，背景光相当于噪声干扰。在某些情况下，如光照强度较强时，背景光比较强，干扰比较厉害，造成信噪比较低。


技术实现要素：

6.针对现有技术中的缺陷，本发明的目的是提供一种结构光重建模组。
7.根据本发明提供的结构光重建模组，包括如下模块：
8.结构光投射器，用于向目标投射结构光；
9.泛光投射器，用于向目标投射泛光；
10.红外相机，用于采集背景图像、红外结构光图像以及红外图像；
11.处理器模块，用于获取预设置的帧频值，根据所述帧频值连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像，根据所述背景图像和所述红外结构光图像的对应像素的灰度值相减生成
目标结构光图像以及根据所述目标结构光图像进行深度重建或三维重建生成深度图像。
12.优选地，根据所述帧频值进行图像采集时，包括如下步骤：
13.步骤s1：获取预设置的帧频阈值和原始帧频值，所述原始帧频值为用于采集红外结构光图像和红外图像的红外相机的帧频值；
14.步骤s2：确定所述原始帧频值与所述帧频阈值之间的倍数值，当所述倍数值小于等于预设置的倍数阈值时，则确定所述预设置的帧频值为所述倍数阈值与所述帧频阈值的乘积，当所述倍数值大于等于预设置的倍数阈值时，则确定所述预设置的帧频值为所述原始帧频值；
15.步骤s3：根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像。
16.优选地，所述步骤s3包括如下步骤：
17.步骤s301：控制所述结构光投射器、所述泛光投射器顺次向目标投射结构光、泛光；
18.步骤s302：当所述倍数值小于等于预设置的倍数阈值时，根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像；
19.步骤s303：当所述倍数值大于预设置的倍数阈值时，根据所述帧频值在根据帧频阈值确定的多个采样周期内每个采样周期中任意连续三帧顺次采集同一目标的背景图像、红外结构光图像、红外图像或顺次采集同一目标的红外图像、红外结构光图像、背景图像。
20.优选地，所述生成目标结构光图像时，包括如下步骤：
21.步骤m1：确定所述背景图像和所述红外结构光图像中每个像素的像素值；
22.步骤m2：将所述背景图像和所述红外结构光图像进行像素级对齐；
23.步骤m3：在所述红外结构光图像中每个像素减去与所述背景图像的对应像素的灰度值相减生成目标结构光图像。
24.优选地，所述生成深度图像时，包括如下步骤：
25.步骤n1：在所述目标结构光图像与已知标定信息进行计算，得到目标结构光图像的视差图像；
26.步骤n2：根据三角测量原理确定所述红外相机的光心与视差图中每一视差值之间的距离，生成每一像素的深度信息；
27.步骤n3：根据每一所述像素的深度信息进行深度重建或三维重建生成深度图像。
28.优选地，所述红外结构光图像为包含编码纹理的图像，包括如下任一结构光图像：
[0029]-散斑点图像；
[0030]-条纹图像；
[0031]-编码图像；
[0032]-光栅图像。
[0033]
优选地，所述预设置的帧频阈值为15fps，所述预设置的倍数阈值为3。
[0034]
优选地，所述结构光投射器包括光源、光源驱动器以及光调制器；
[0035]
所述光源驱动器与所述光源连接，用于驱动所述光源发光；
[0036]
所述光调制器，用于将所述光源的投射的光调制形成离散点阵光后向所述目标投射。
[0037]
优选地，所述红外相机包括光学成像镜头和光探测器阵列；所述光探测器阵列包括多个呈阵列分布的光探测器；
[0038]
所述光学成像镜头，用于使得透过所述光学成像镜头进入光探测器阵列的所述点阵光的方向向量与光探测器呈一一对应关系；
[0039]
所述光探测器，用于接收经所述目标物体反射的点阵光。
[0040]
根据本发明提供的结构光重建模组，包括如下模块：
[0041]
结构光投射器，用于向目标投射结构光；
[0042]
泛光投射器，用于向目标投射泛光；
[0043]
红外相机，用于采集背景图像、红外结构光图像以及红外图像；
[0044]
处理器模块，用于获取预设置的帧频值，根据所述帧频值连续采集背景图像、红外结构光图像、红外图像，根据所述红外结构光图像进行深度重建或三维重建生成深度图像。
[0045]
与现有技术相比，本发明具有如下的有益效果：
[0046]
本发明中根据预设置的帧频值连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像，实现三帧图像的连续采集，缩短了相邻两帧图像之间的采集的时间间隔，提高了深度相机受攻击的难度，使得深度相机的安全性更高；
[0047]
本发明中根据所述背景图像和所述红外结构光图像的对应像素的灰度值相减生成目标结构光图像，进而根据目标结构光图像进行深度重建或三维重建生成深度图像，降低了背景光的干扰，使得深度相机能够适用于光照强度较强的环境。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
[0049]
图1为本发明实施例中结构光重建模组的工作原理示意图；
[0050]
图2为本发明实施例中确定帧频值的步骤流程图；
[0051]
图3为本发明实施例中根据帧频值采集图像的步骤流程图；
[0052]
图4为本发明实施例中生成目标结构光图像的步骤流程图；
[0053]
图5为本发明实施例中进行深度重建生成深度图像的步骤流程图；
[0054]
图6为本发明实施例中结构光投射器的模块示意图；以及
[0055]
图7为本发明实施例中红外相机的模块示意图。
具体实施方式
[0056]
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术
人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。
[0057]
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例，例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0058]
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
[0059]
本发明提供的结构光重建模组，旨在解决现有技术中存在的问题。
[0060]
下面以具体地实施例对本发明的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
[0061]
图1为本发明实施例中结构光重建模组的工作原理示意图，如图1所示，本发明提供的结构光重建模组，包括如下模块：
[0062]
结构光投射器，用于向目标投射结构光；
[0063]
泛光投射器，用于向目标投射泛光；
[0064]
红外相机，用于采集背景图像、红外结构光图像以及红外图像；
[0065]
处理器模块，用于获取预设置的帧频值，根据所述帧频值连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像，根据所述背景图像和所述红外结构光图像的对应像素的灰度值相减生成目标结构光图像以及根据所述目标结构光图像进行深度重建或三维重建生成深度图像。
[0066]
当使用本发明提供的深度相机时，可以首先通过红外相机采集背景图像，然后通过结构光投射器朝目标投射结构光后采集红外结构光图像，最后通过泛光投射器朝目标投射泛光后采集红外图像；还可以首先通过红外相机采集背景图像，然后通过结构光投射器朝目标投射结构光后采集红外结构光图像，最后通过泛光投射器朝目标投射泛光后采集红外图像。所述红外相机采用940nm的红外相机。所述泛光投射器采用led光源。
[0067]
图2为本发明实施例中确定帧频值的步骤流程图，如图2所示，确定帧频值，根据所述帧频值进行图像采集时，包括如下步骤：
[0068]
步骤s1：获取预设置的帧频阈值和原始帧频值，所述原始帧频值为用于采集红外结构光图像和红外图像的红外相机的帧频值；
[0069]
步骤s2：确定所述原始帧频值与所述帧频阈值之间的倍数值，当所述倍数值小于等于预设置的倍数阈值时，则确定所述预设置的帧频值为所述倍数阈值与所述帧频阈值的乘积，当所述倍数值大于等于预设置的倍数阈值时，则确定所述预设置的帧频值为所述原始帧频值；
[0070]
步骤s3：根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、
背景图像。
[0071]
在本发明实施例中，所述预设置的帧频阈值为15fps，所述预设置的倍数阈值为3，则当所述原始帧频值为30fps，则所述倍数值为2，由于倍数值2小于预设置的数阈值3，则确定所述预设置的帧频值为预设置的数阈值3乘以所述预设置的帧频阈值15，确定帧频值为45；当所述原始帧频值为60fps，则所述倍数值为4，由于倍数值4大于预设置的数阈值3，则确定所述预设置的帧频值为原始帧频值为60fps。
[0072]
图3为本发明实施例中根据帧频值采集图像的步骤流程图，如图3所示，所述步骤s103包括如下步骤：
[0073]
步骤s301：通过深度相机的光投射器向目标投射结构光、泛光；
[0074]
步骤s302：当所述倍数值小于等于预设置的倍数阈值时，根据所述帧频值在帧频阈值个采样周期内连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像；
[0075]
步骤s303：当所述倍数值大于预设置的倍数阈值时，根据所述帧频值在根据帧频阈值确定的多个采样周期内每个采样周期中任意连续三帧顺次采集同一目标的背景图像、红外结构光图像、红外图像或顺次采集同一目标的红外图像、红外结构光图像、背景图像。
[0076]
在本发明实施例中，当所述倍数值为2时，此时所述倍数值小于等于预设置的倍数阈值时，则在根据所述帧频值45在帧频阈值15个采样周期内连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像；
[0077]
依次类推，例如，当所述倍数值为4时，此时所述倍数值大于预设置的倍数阈值时，则在根据所述帧频值60在帧频阈值15个采样周期内每4帧连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像。
[0078]
在本发明实施例中，所述红外结构光图像为包含编码纹理的图像，包括但不限于如下任一结构光图像：
[0079]-散斑点图像；
[0080]-条纹图像；
[0081]-编码图像；
[0082]-光栅图像。
[0083]
图4为本发明实施例中生成目标结构光图像的步骤流程图，如图4所示，所述生成目标结构光图像时，包括如下步骤：
[0084]
步骤m1：确定所述背景图像和所述红外结构光图像中每个像素的灰度值；
[0085]
步骤m2：将所述背景图像和所述红外结构光图像进行像素级对齐；
[0086]
步骤m3：在所述红外结构光图像中每个像素减去与所述背景图像的对应像素的灰度值相减生成目标结构光图像。
[0087]
图5为本发明实施例中进行深度重建生成深度图像的步骤流程图，如图5所示，所述生成深度图像时，包括如下步骤：
[0088]
步骤n1：在所述目标结构光图像与已知标定信息进行计算，得到目标结构光图像的视差图像；
[0089]
步骤n2：根据三角测量原理确定所述红外相机的光心与视差图中每一视差值之间的距离，生成每一像素的深度信息；
[0090]
步骤n3：根据每一所述像素的深度信息进行深度重建或三维重建生成深度图像。
[0091]
图6为本发明实施例中结构光投射器的模块示意图，如图6所示，所述结构光投射器包括光源、光源驱动器以及光调制器；
[0092]
所述光源驱动器与所述光源连接，用于驱动所述光源发光；
[0093]
所述光调制器，用于将所述光源的投射的光调制形成离散点阵光后向所述待测体投射。
[0094]
在本发明实施例中，所述光调制器采用衍射光栅(doe)或空间光调制器(slm)。
[0095]
图7为本发明实施例中红外相机的模块示意图，如图7所示，所述红外相机包括光学成像镜头1和光探测器阵列3；所述光探测器阵列3包括多个呈阵列分布的光探测器；
[0096]
所述光学成像镜头1，用于使得透过所述光学成像镜头进入光探测器阵列的所述准直光束的方向向量与光探测器呈一一对应关系；
[0097]
所述光探测器，用于接收经所述目标物体反射的准直光束。
[0098]
在本发明实施例中，为了过滤背景噪声，所述光学成像镜头内通常还装有窄带滤光片2，使得所述光探测器阵列仅能通过预设的波长的入射准直光束。所述预设的波长可以为入射准直光束的波长，也可以为小于入射准直光束50纳米和大于入射准直光束50纳米之间。所述光探测器阵列可以呈周期或者非周期性排列。根据离散准直光束数量的需求，光探测器阵列可以是多个单点光探测器的组合或者是一个集成了多个光探测器的传感器芯片。为了进一步优化光探测器的灵敏度，一个离散准直光束在目标上的照射光斑可以对应一个或者多个光探测器。在多个光探测器对应同一个照射光斑时，每个探测器的信号可以通过电路连通，从而在能够合并为一个探测面积更大的光探测器。
[0099]
在本发明实施例中，所述光探测器可以采用cmos光传感器、ccd光传感器或spad光传感器。所述探测器端为红外探测器，通过红外探测器接收经所述目标反射后的所述点阵光。
[0100]
本发明实施例中根据预设置的帧频值连续顺次采集同一目标的背景图像、红外结构光图像、红外图像或连续顺次采集同一目标的红外图像、红外结构光图像、背景图像，实现三帧图像的连续采集，缩短了相邻两帧图像之间的采集的时间间隔，提高了深度相机受攻击的难度，使得深度相机的安全性更高；本发明实施例中根据所述背景图像和所述红外结构光图像的对应像素的灰度值相减生成目标结构光图像，进而根据目标结构光图像进行深度重建或三维重建生成深度图像，降低了背景光的干扰，使得深度相机能够适用于光照强度较强的环境。
[0101]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
[0102]
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述
特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。