一种活体检测方法及相关设备与流程

1.本技术涉及计算机视觉技术领域，尤其涉及一种活体检测方法及相关设备。


背景技术：

2.随着深度学习的发展，人脸识别技术在识别率方面也有了较大提升，被广泛应用于安保系统、银行系统和日常生活中。人脸识别通常包括前端的活体检测和后台的特征比对，前端在活体检测方面可以采用交互式活体检测和静默式活体检测，传统静默式活体检测通过对图像特征进行分类，得到活体检测结果，但这种方式对3d(3-dimensional，三维)攻击的防御较弱，检测精度仍然有待提升。


技术实现要素：

3.本技术实施例提供了一种活体检测方法及相关设备，有利于提升活体检测的精度，从而提升对3d攻击的防御。
4.本技术实施例第一方面提供了一种活体检测方法，该方法包括：
5.根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；
6.基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；
7.根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。
8.可以看出，本技术实施例中，根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。这样在rgb特征和nir特征的基础上，加入基于隐层特征得到的视差信息和两张图像中人脸的位置编码进行活体预测，位置编码一定程度上表示出了两张图像中人脸的相对位置关系，利用视差信息和位置编码辅助分类，有利于提升活体检测的精度。
9.结合第一方面，在一种可能的实施方式中，基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征，包括：
10.将第一隐层特征中每个位置对应的特征与第二隐层特征中每个位置对应的特征进行拼接，得到拼接特征；
11.对拼接特征进行至少一次线性变换和激活，以及对至少一次线性变换和激活得到的特征进行线性变换，得到注意力矩阵；
12.将注意力矩阵转化为目标特征，并将目标特征确定为视差特征；目标特征的尺寸与彩色rgb图像、近红外nir图像的尺寸相同。
13.可以看出，该实施方式中，通过计算第一隐层特征和第二隐层特征之间的注意力矩阵，该注意力矩阵暗含了第一隐层特征与第二隐层特征中对应位置的特征的相似度，这
种相似度隐式的表达了彩色rgb图像与近红外nir图像的视差，将该注意力矩阵转化为目标特征，该目标特征即可表示视差特征，以达到采用视差信息辅助活体检测的目的。
14.结合第一方面，在一种可能的实施方式中，根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到人脸的位置编码，包括：
15.获取彩色rgb图像中检测对象的人脸的第一检测框位置信息和近红外nir图像中检测对象的人脸的第二检测框位置信息；
16.对第一检测框位置信息和第二检测框位置信息进行正弦位置编码，得到位置编码。
17.可以看出，该实施方式中，采用正弦位置编码得到两个图像中人脸的位置编，该编码能够隐式的表达出两个人脸的相对位置信息，而该相对位置信息可以作为视差的粗估计，有利于实现采用又一视差信息辅助活体检测。
18.结合第一方面，在一种可能的实施方式中，在根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码之前，该方法还包括：
19.对彩色rgb图像进行人脸检测，得到第一检测框位置信息；
20.获取彩色rgb图像的第一深度信息；
21.基于第一深度信息和第一检测框位置信息，得到第四检测框；
22.对于待匹配的多张近红外nir图像，对多张近红外nir图像中的每张近红外nir图像进行人脸检测，得到每张近红外nir图像中的人脸的第三检测框位置信息；
23.获取每张近红外nir图像的第二深度信息；
24.基于第二深度信息和第三检测框位置信息，得到第五检测框；
25.将第五检测框中的待匹配人脸与第四检测框中包含的检测对象的人脸进行匹配，并从多张近红外nir图像中确定近红外nir图像。
26.可以看出，该实施方式中，基于深度信息和检测框的位置信息，得到人脸待匹配窗口(即第四检测框和第五检测框)，对两个匹配窗口中的人脸进行配，将相匹配的人脸所在的近红外图像确定为与rgb图像同步采集的近红外图像，有利于提升匹配的效率。
27.结合第一方面，在一种可能的实施方式中，彩色rgb图像是通过双目相机中的rgb相机采集的，第一检测框位置信息包括第一检测框的宽度和高度，基于第一深度信息和第一检测框位置信息，得到第四检测框，包括：
28.采用第一深度信息、第一检测框的宽度和rgb相机的焦距，计算得到更新的宽度；
29.采用第一深度信息、第一检测框的高度和rgb相机的焦距，计算得到更新的高度；
30.将基于更新的宽度和更新的高度得到的矩形框，确定为第四检测框。
31.可以看出，该实施方式中，利用相机的标定参数和深度信息对人脸检测框进行调整，以减少匹配时所用的特征，即只用部分人脸特征进行匹配，降低了计算量，从而有利于提升匹配的效率。
32.结合第一方面，在一种可能的实施方式中，根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果，包括：
33.对位置编码进行插值，得到与rgb特征、nir特征和视差特征尺寸相同的位置特征；
34.将rgb特征、nir特征、视差特征和位置特征拼接，并对拼接得到的特征进行分类，
得到活体检测结果。
35.可以看出，该实施方式中，将包含丰富语义信息的特征(即rgb特征和nir特征)、视差特征和位置特征拼接，利用融合有视差信息和位置信息的拼接特征辅助活体检测，有利于提升活体检测的精度。
36.结合第一方面，在一种可能的实施方式中，该方法是通过预先训练的活体检测模型执行的，活体检测模型包括第一神经网络分支、第二神经网络分支、注意力网络分支、位置编码分支和分类器，第一神经网络分支和第二神经网络分支分别与注意力网络分支连接，注意力网络分支的输出作为多层感知机的输入，第一神经网络分支、第二神经网络分支、多层感知机和位置编码分支的输出在拼接后作为分类器的输入。
37.可以看出，该实施方式中，采用预先训练的活体检测模型执行上述活体检测方法，由于该活体检测模型能够将包含丰富语义信息的特征、视差特征和位置特征拼接，再利用拼接特征进行活体检测，实现了利用视差信息辅助活体检测，从而有利于提升活体检测的精度。
38.本技术实施例第二方面提供了一种活体检测装置，该装置包括第一处理单元、第二处理单元和活体检测单元；
39.第一处理单元，用于根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；
40.第二处理单元，用于基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；
41.活体检测单元，用于根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。
42.本技术实施例第三方面提供了一种电子设备，该电子设备包括输入设备和输出设备，还包括处理器，适于实现一条或多条指令；以及，存储器，所述存储器存储有一条或多条计算机程序，所述一条或多条计算机程序适于由所述处理器加载并执行如第一方面所述方法中的步骤。
43.本技术实施例第四方面提供了一种计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由处理器加载并执行如第一方面所述方法中的步骤。
44.本技术实施例第五方面提供了一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如第一方面所述的方法。
附图说明
45.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1为本技术实施例提供的一种应用环境的示意图；
47.图2为本技术实施例提供的一种活体检测方法的流程示意图；
48.图3为本技术实施例提供的一种活体检测模型的结构示意图；
49.图4为本技术实施例提供的另一种活体检测模型的结构示意图；
50.图5为本技术实施例提供的另一种活体检测方法的流程示意图；
51.图6为本技术实施例提供的一种活体检测装置的结构示意图；
52.图7为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
53.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
54.本技术说明书、权利要求书和附图中出现的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。此外，术语“第一”、“第二”和“第三”等是用于区别不同的对象，而并非用于描述特定的顺序。
55.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本技术所描述的实施例可以与其它实施例相结合。
56.请参见图1，图1为本技术实施例提供的一种应用环境的示意图，该应用环境中包括双目相机、电子设备和数据库，其中，各部分通过网络通信连接。具体的，双目相机包括彩色rgb(red、green、blue，红、绿、蓝)相机模组和近红外nir(near infraredradiation)相机模组，彩色rgb相机模组和近红外nir相机模组分别在同一时刻对同一检测对象进行图像采集，得到检测对象的彩色rgb图像和近红外nir图像，并通过网络将该彩色rgb图像和近红外nir图像发送给电子设备。电子设备在接收到该两张图像后，执行本技术实施例提供的活体检测方法，对其进行特征提取，基于彩色rgb图像得到rgb特征、第一隐层特征，以及基于近红外nir图像得到nir特征和第二隐层特征，并对两张图像中人脸的检测框的位置信息进行编码，得到检测对象的人脸的编码，然后基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征，将rgb特征、nir特征、位置编码和视差特征进行拼接，对拼接后的特征进行活体检测，得到检测对象的活体检测结果。示例性的，双目相机还可将采集的所有彩色rgb图像和近红外nir图像存储在数据库中，电子设备需要对某一检测对象进行活体检测时，先从数据库中获取该检测对象的彩色rgb图像，然后从多张近红外nir图像中匹配出与该彩色rgb图像属于同一时刻对该检测对象进行图像采集得到的红外nir图像，之后再执行本技术实施例提供的活体检测方法。
57.示例性的，电子设备可以是独立的物理服务器、服务器集群，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、以及大数据和人工智能平台等基础云计算服务的云服务器，还可以是与双目相机连接
的控制主机、自助结算终端、人脸闸机，等等。
58.请参见图2，图2为本技术实施例提供的一种活体检测方法的流程示意图，该方法可基于图1所示的应用环境实施，应用于电子设备，如图2所示，该方法包括步骤201-203：
59.201：根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码。
60.本技术实施例中，提供一种活体检测模型，如图3所示，该活体检测模型包括第一神经网络分支、第二神经网络分支、注意力网络分支、位置编码分支和分类器，第一神经网络分支和第二神经网络分支分别与注意力网络分支连接，注意力网络分支的输出作为多层感知机(mlp，multilayer perceptron)的输入，第一神经网络分支、第二神经网络分支、多层感知机和位置编码分支的输出在拼接后作为分类器的输入。
61.其中，第一神经网络分支和第二神经网络分支均采用连续串联的多个inception结构进行特征提取，如图3所示，将彩色rgb图像输入第一神经网络分支经过多个inception结构的处理，由其输出层输出rgb特征；将近红外nir图像输入第一神经网络分支经过多个inception结构的处理，由其输出层输出nir特征。inception结构采用不同大小的卷积核意味着不同大小的感受野，也即实现了不同尺度的特征的融合，因此，rgb特征和nir特征具有丰富的材质、光泽和/或纹理等语义信息。具体的，将第一神经网络分支中任意一个隐藏层输出的特征作为第一隐层特征，将第二神经网络分支中与该任意一个隐藏层对应的隐藏层输出的特征作为第二隐层特征，也就是说第一隐层特征和第二隐层特征的尺寸是相同的。
62.示例性的，根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到人脸的位置编码，包括：
63.获取彩色rgb图像中检测对象的人脸的第一检测框位置信息和近红外nir图像中检测对象的人脸的第二检测框位置信息；
64.对第一检测框位置信息和第二检测框位置信息进行正弦位置编码，得到位置编码。
65.具体的，第一检测框位置信息包括彩色rgb图像中检测对象的人脸的第一检测框的坐标(x1,y1)、宽度w1和高度h1，第二检测框位置信息包括近红外nir图像中检测对象的人脸的坐标(x2,y2)、宽度w2和高度h2。其中，检测框的坐标可以是检测框的中心点的坐标，也可以是检测框的左上角的坐标或者右下角的坐标，或者以上几者的组合，此处不作限定。电子设备将第一检测框位置信息和第二检测框信息作为输入序列(x1,y1,w1,h1,x2,y2,w2,h2)，将该序列输入图3中的位置编码分支，由位置编码分支采用正、余弦函数对该序列进行交替编码，得到两张图像中人脸的位置编码(即正弦位置编码)。该实施方式中，采用正弦位置编码得到两个图像中人脸的位置编，该编码能够隐式的表达出两个人脸的相对位置信息，而该相对位置信息可以作为视差的粗估计，有利于实现采用又一视差信息辅助活体检测。
66.202：基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征。
67.本技术实施例中，基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征，包括：
68.将第一隐层特征中每个位置对应的特征与第二隐层特征中每个位置对应的特征
进行拼接，得到拼接特征；
69.对拼接特征进行至少一次线性变换和激活，以及对至少一次线性变换和激活得到的特征进行线性变换，得到注意力矩阵；
70.将注意力矩阵转化为目标特征，并将目标特征确定为视差特征；目标特征的尺寸与彩色rgb图像、近红外nir图像的尺寸相同。
71.具体的，由于第一隐层特征与第二隐层特征的尺寸相同，比如均为：c*28*28，其中，c表示通道，28*28表示宽度和高度，则电子设备可以将第一隐层特征与第二隐层特征输入图3中的注意力网络分支，通过注意力网络分支将第一隐层特征中的每个位置上的特征与第二隐层特征中每个位置上的特征进行拼接，也就是说第一隐层特征的任意位置上的特征均要与第二隐层特征中(28*28)个特征进行拼接，拼接方式可以是相乘、相加或堆叠等。注意力网络分支采用线性变换——激活——线性变换——激活——线性变换的方式对拼接特征进行处理，以将拼接特征转化为注意力矩阵，比如：该注意力矩阵的大小可以是(28*28)*(28*28)。由于矩阵无法直接参与卷积运算，因此，电子设备将该注意力矩阵输入多层感知机，由多层感知机将注意力矩阵转化为目标特征，其中，该目标特征的尺寸与彩色rgb图像、近红外nir图像的尺寸相同。由于该注意力矩阵可以理解为第一隐层特征相对于第二隐层特征的注意力矩阵，或第二隐层特征相对于第一隐层特征的注意力矩阵，这种相对关系隐式地表达出了第一隐层特征与第二隐层特征中对应位置的特征的相似度或差异，因此，可以将目标特征作为彩色rgb图像与近红外nir图像的视差特征。
72.该实施方式中，通过计算第一隐层特征和第二隐层特征之间的注意力矩阵，该注意力矩阵暗含了第一隐层特征与第二隐层特征中对应位置的特征的相似度，这种相似度隐式的表达了彩色rgb图像与近红外nir图像的视差，将该注意力矩阵转化为目标特征，该目标特征即可表示视差特征，以达到采用视差信息辅助活体检测的目的。
73.203：根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。
74.本技术实施例中，由于位置编码的尺寸与rgb特征、nir特征、视差特征存在差异，因此，电子设备可对位置编码进行插值，以得到与rgb特征、nir特征、视差特征尺寸相同的位置特征，如图3所示，电子设备将rgb特征、nir特征、视差特征和位置特征拼接，并将拼接得到的特征输入分类器进行分类预测，得到检测对象的活体检测结果。该实施方式中，将包含丰富语义信息的特征(即rgb特征和nir特征)、视差特征和位置特征拼接，利用融合有视差信息和位置信息的拼接特征辅助活体检测，有利于提升活体检测的精度。
75.示例性的，在根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码之前，该方法还包括：
76.a：对彩色rgb图像进行人脸检测，得到第一检测框位置信息。
77.具体的，如图4所示，活体检测模型还包括人脸检测分支，人脸检测分支通过yolo(you only look once，一瞥检测算法)网络对彩色rgb图像进行人脸检测，得到第一检测框位置信息。
78.b：获取彩色rgb图像的第一深度信息。
79.示例性的，可以上述视差特征为输入，采用预先训练的残差网络预测得到彩色rgb图像相对于近红外nir图像的视差信息a，再采用视差信息a和相机的标定参数计算得到彩
色rgb图像的第一深度信息。示例性的，电子设备还可采用如下公式计算得到彩色rgb图像的第一深度信息：
80.深度信息＝图像的数据量/图像尺寸；
81.示例性的，电子设备还可采用上述视差信息a计算得到彩色rgb图像的深度信息a，采用上述公式计算得到彩色rgb图像的深度信息b，将深度信息a和深度信息b的平均值、加权和或加权平均值作为第一深度信息。
82.c：基于第一深度信息和第一检测框位置信息，得到第四检测框。
83.示例性的，步骤c中基于第一深度信息和第一检测框位置信息，得到第四检测框，包括：
84.采用第一深度信息、第一检测框的宽度和rgb相机的焦距，计算得到更新的宽度；
85.采用第一深度信息、第一检测框的高度和rgb相机的焦距，计算得到更新的高度；
86.将基于更新的宽度和更新的高度得到的矩形框，确定为第四检测框。
87.具体的，第一检测框的宽度为w1、高度为h1，则采用如下公式可计算得到第四检测框的宽度w1和高度h1：
[0088][0089][0090]
其中，z1表示第一深度信息，f表示双目相机的焦距，电子设备保持第一检测框的中心不动，按照宽度w1和高度h1对第一检测框进行缩放，即可得到第四检测框，也就是说第四检测框是将第一检测框缩小后的检测框。该实施方式中，利用相机的标定参数和深度信息对人脸检测框进行调整，以减少匹配时所用的特征，即只用部分人脸特征进行匹配，降低了计算量，从而有利于提升匹配的效率。
[0091]
d：对于待匹配的多张近红外nir图像，对多张近红外nir图像中的每张近红外nir图像进行人脸检测，得到每张近红外nir图像中的人脸的第三检测框位置信息。
[0092]
具体的，多张近红外nir图像中包括检测对象的近红外nir图像，电子设备同样通过人脸检测分支对多张近红外nir图像进行人脸检测，得到每张近红外nir图像中的人脸的第三检测框位置信息。
[0093]
e：获取每张近红外nir图像的第二深度信息。
[0094]
具体的，同样可以采用如下公式计算得到每张近红外nir图像的第二深度信息：
[0095]
深度信息＝图像的数据量/图像尺寸；
[0096]
f：基于第二深度信息和第三检测框位置信息，得到第五检测框。
[0097]
具体的，第三检测框的宽度为w3、高度为h3，则采用如下公式可计算得到第五检测框的宽度w2和高度h2：
[0098][0099][0100]
其中，z2表示第二深度信息。应理解，与第四检测框的获取方式相同，保持第三检测框的中心不动，按照宽度w2和高度h2对第三检测框进行缩放，即可得到第五检测框，也就是说第五检测框是将第三检测框缩小后的检测框。g：将第五检测框中的待匹配人脸与第四
检测框中包含的检测对象的人脸进行匹配，并从多张近红外nir图像中确定近红外nir图像。
[0101]
具体的，由于第四检测框中仅包含检测对象的部分人脸，第五检测框中仅包含数据库中已存储的对象的部分待匹配人脸，则对第五检测框中的待匹配人脸进行特征提取，以及对第四检测框中的人脸进行特征提取，然后计算相似度，即可得到与第四检测框中的人脸相似度最高的一张近红外nir图像，将该张近红外nir图像作为与彩色rgb图像同一时刻对检测对象采集得到的近红外nir图像。
[0102]
该实施方式中，基于深度信息和检测框的位置信息，得到人脸待匹配窗口(即第四检测框和第五检测框)，对两个匹配窗口中的人脸进行配，将相匹配的人脸所在的近红外图像确定为与rgb图像同步采集的近红外图像，有利于提升匹配的效率。
[0103]
可以看出，本技术实施例中，根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。这样在rgb特征和nir特征的基础上，加入基于隐层特征得到的视差信息和两张图像中人脸的位置编码进行活体预测，位置编码一定程度上表示出了两张图像中人脸的相对位置关系，利用视差信息和位置编码辅助分类，有利于提升活体检测的精度。
[0104]
请参见图5，图5为本技术实施例提供的另一种活体检测方法的流程示意图，如图5所示，该方法包括步骤501-505：
[0105]
501：根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；
[0106]
502：将第一隐层特征中每个位置对应的特征与第二隐层特征中每个位置对应的特征进行拼接，得到拼接特征；
[0107]
503：对拼接特征进行至少一次线性变换和激活，以及对至少一次线性变换和激活得到的特征进行线性变换，得到注意力矩阵；
[0108]
504：将注意力矩阵转化为目标特征，并将目标特征确定为视差特征；
[0109]
505：根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。
[0110]
其中，步骤501-505的具体实施方式在图2所示的实施例中已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。
[0111]
请参见图6，图6为本技术实施例提供的一种活体检测装置的结构示意图，如图6所示，该装置包括第一处理单元601、第二处理单元602和活体检测单元603；
[0112]
第一处理单元601，用于根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；
[0113]
第二处理单元602，用于基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；
[0114]
活体检测单元603，用于根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。
[0115]
可以看出，在图6所示的装置中，根据检测对象同一时刻的彩色rgb图像和近红外
nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。这样在rgb特征和nir特征的基础上，加入基于隐层特征得到的视差信息和两张图像中人脸的位置编码进行活体预测，位置编码一定程度上表示出了两张图像中人脸的相对位置关系，利用视差信息和位置编码辅助分类，有利于提升活体检测的精度。
[0116]
在一中可能的实施方式中，在基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征方面，第二处理单元602具体用于：
[0117]
将第一隐层特征中每个位置对应的特征与第二隐层特征中每个位置对应的特征进行拼接，得到拼接特征；
[0118]
对拼接特征进行至少一次线性变换和激活，以及对至少一次线性变换和激活得到的特征进行线性变换，得到注意力矩阵；
[0119]
将注意力矩阵转化为目标特征，并将目标特征确定为视差特征；目标特征的尺寸与彩色rgb图像、近红外nir图像的尺寸相同。
[0120]
在一中可能的实施方式中，在根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到人脸的位置编码方面，第一处理单元601具体用于：
[0121]
获取彩色rgb图像中检测对象的人脸的第一检测框位置信息和近红外nir图像中检测对象的人脸的第二检测框位置信息；
[0122]
对第一检测框位置信息和第二检测框位置信息进行正弦位置编码，得到位置编码。
[0123]
在一中可能的实施方式中，第一处理单元601还用于：
[0124]
对彩色rgb图像进行人脸检测，得到第一检测框位置信息；
[0125]
获取彩色rgb图像的第一深度信息；
[0126]
基于第一深度信息和第一检测框位置信息，得到第四检测框；
[0127]
对于待匹配的多张近红外nir图像，对多张近红外nir图像中的每张近红外nir图像进行人脸检测，得到每张近红外nir图像中的人脸的第三检测框位置信息；
[0128]
获取每张近红外nir图像的第二深度信息；
[0129]
基于第二深度信息和第三检测框位置信息，得到第五检测框；
[0130]
将第五检测框中的待匹配人脸与第四检测框中包含的检测对象的人脸进行匹配，并从多张近红外nir图像中确定近红外nir图像。
[0131]
在一中可能的实施方式中，彩色rgb图像是通过双目相机中的rgb相机采集的，第一检测框位置信息包括第一检测框的宽度和高度，在基于第一深度信息和第一检测框位置信息，得到第四检测框方面，第一处理单元601具体用于：
[0132]
采用第一深度信息、第一检测框的宽度和rgb相机的焦距，计算得到更新的宽度；
[0133]
采用第一深度信息、第一检测框的高度和rgb相机的焦距，计算得到更新的高度；
[0134]
将基于更新的宽度和更新的高度得到的矩形框，确定为第四检测框。
[0135]
在一中可能的实施方式中，在根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果方面，活体检测单元603具体用于：
[0136]
对位置编码进行插值，得到与rgb特征、nir特征和视差特征尺寸相同的位置特征；
[0137]
将rgb特征、nir特征、视差特征和位置特征拼接，并对拼接得到的特征进行分类，得到活体检测结果。
[0138]
在一中可能的实施方式中，第一处理单元601、第二处理单元602和活体检测单元603可通过预先训练的活体检测模型实现其功能作用，活体检测模型包括第一神经网络分支、第二神经网络分支、注意力网络分支、位置编码分支和分类器，第一神经网络分支和第二神经网络分支分别与注意力网络分支连接，注意力网络分支的输出作为多层感知机的输入，第一神经网络分支、第二神经网络分支、多层感知机和位置编码分支的输出在拼接后作为分类器的输入。
[0139]
根据本技术的一个实施例，图6所示的活体检测装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，活体检测装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0140]
根据本技术的另一个实施例，可以通过在包括中央处理单元(central processing unit，cpu)、随机存取存储介质(random access memory，ram)、只读存储介质(read-only memory，rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2或图5中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图6中所示的活体检测装置，以及来实现本技术实施例的活体检测方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
[0141]
基于上述方法实施例和装置实施例的描述，本技术实施例提供了一种电子设备，请参见图7，该电子设备至少包括处理器701、输入设备702、输出设备703以及计算机存储介质704。其中，电子设备内的处理器701、输入设备702、输出设备703以及计算机存储介质704可通过总线或其他方式连接。
[0142]
计算机存储介质704可以存储在电子设备的存储器中，所述计算机存储介质704用于存储计算机程序，所述计算机程序包括程序指令，所述处理器701用于执行所述计算机存储介质704存储的程序指令。处理器701(或称中央处理器)是电子设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条指令从而实现相应方法流程或相应功能。
[0143]
在一个实施例中，本技术实施例提供的电子设备的处理器701可以用于进行一系列活体检测的处理：
[0144]
根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；
[0145]
基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；
[0146]
根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。
[0147]
可以看出，在图7所示的电子设备中，根据检测对象同一时刻的彩色rgb图像和近
红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码；基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征；根据rgb特征、nir特征、位置编码和视差特征，得到检测对象的活体检测结果。这样在rgb特征和nir特征的基础上，加入基于隐层特征得到的视差信息和两张图像中人脸的位置编码进行活体预测，位置编码一定程度上表示出了两张图像中人脸的相对位置关系，利用视差信息和位置编码辅助分类，有利于提升活体检测的精度。
[0148]
再一个实施例中，处理器701执行基于第一隐层特征和第二隐层特征，得到彩色rgb图像与近红外nir图像的视差特征，包括：
[0149]
将第一隐层特征中每个位置对应的特征与第二隐层特征中每个位置对应的特征进行拼接，得到拼接特征；
[0150]
对拼接特征进行至少一次线性变换和激活，以及对至少一次线性变换和激活得到的特征进行线性变换，得到注意力矩阵；
[0151]
将注意力矩阵转化为目标特征，并将目标特征确定为视差特征；目标特征的尺寸与彩色rgb图像、近红外nir图像的尺寸相同。
[0152]
再一个实施例中，处理器701执行根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到人脸的位置编码，包括：
[0153]
获取彩色rgb图像中检测对象的人脸的第一检测框位置信息和近红外nir图像中检测对象的人脸的第二检测框位置信息；
[0154]
对第一检测框位置信息和第二检测框位置信息进行正弦位置编码，得到位置编码。
[0155]
再一个实施例中，在根据检测对象同一时刻的彩色rgb图像和近红外nir图像，得到rgb特征、nir特征、第一隐层特征、第二隐层特征及人脸的位置编码之前，处理器701还用于执行：
[0156]
对彩色rgb图像进行人脸检测，得到第一检测框位置信息；
[0157]
获取彩色rgb图像的第一深度信息；
[0158]
基于第一深度信息和第一检测框位置信息，得到第四检测框；
[0159]
对于待匹配的多张近红外nir图像，对多张近红外nir图像中的每张近红外nir图像进行人脸检测，得到每张近红外nir图像中的人脸的第三检测框位置信息；
[0160]
获取每张近红外nir图像的第二深度信息；
[0161]
基于第二深度信息和第三检测框位置信息，得到第五检测框；
[0162]
将第五检测框中的待匹配人脸与第四检测框中包含的检测对象的人脸进行匹配，并从多张近红外nir图像中确定近红外nir图像。
[0163]
再一个实施例中，彩色rgb图像是通过双目相机中的rgb相机采集的，第一检测框位置信息包括第一检测框的宽度和高度，处理器701执行基于第一深度信息和第一检测框位置信息，得到第四检测框，包括：
[0164]
采用第一深度信息、第一检测框的宽度和rgb相机的焦距，计算得到更新的宽度；
[0165]
采用第一深度信息、第一检测框的高度和rgb相机的焦距，计算得到更新的高度；
[0166]
将基于更新的宽度和更新的高度得到的矩形框，确定为第四检测框。
[0167]
再一个实施例中，处理器701执行根据rgb特征、nir特征、位置编码和视差特征，得
到检测对象的活体检测结果，包括：
[0168]
对位置编码进行插值，得到与rgb特征、nir特征和视差特征尺寸相同的位置特征；
[0169]
将rgb特征、nir特征、视差特征和位置特征拼接，并对拼接得到的特征进行分类，得到活体检测结果。
[0170]
再一个实施例中，处理器701可通过预先训练的活体检测模型执行活体检测方法中的部分或全部步骤，活体检测模型包括第一神经网络分支、第二神经网络分支、注意力网络分支、位置编码分支和分类器，第一神经网络分支和第二神经网络分支分别与注意力网络分支连接，注意力网络分支的输出作为多层感知机的输入，第一神经网络分支、第二神经网络分支、多层感知机和位置编码分支的输出在拼接后作为分类器的输入。
[0171]
示例性的，该电子设备可包括但不仅限于处理器701、输入设备702、输出设备703以及计算机存储介质704，输入设备702可以是键盘、触摸屏等，输出设备703可以是扬声器、显示器、射频发送器等。本领域技术人员可以理解，所述示意图仅仅是电子设备的示例，并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件。
[0172]
需要说明的是，由于电子设备的处理器701执行计算机程序时实现本技术实施例的活体检测方法中的步骤，因此该活体检测方法的实施例均适用于该电子设备，且均能达到相同或相似的有益效果。
[0173]
本技术实施例提供了一种计算机存储介质(memory)，所述计算机存储介质是电子设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器701加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的，还可以是至少一个位于远离前述处理器701的计算机存储介质。在一个实施例中，可由处理器701加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关活体检测方法的相应步骤。
[0174]
示例性的，计算机存储介质的计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、rom、ram、电载波信号、电信信号以及软件分发介质等。
[0175]
本技术实施例还提供了一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，上述计算机程序可操作来使计算机执行如上述活体检测方法中的步骤。该计算机程序产品可以为一个软件安装包。
[0176]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。