人脸活体检测系统的测试方法、装置及存储介质与流程

1.本技术实施例涉及计算机视觉领域，特别涉及一种人脸活体检测系统的测试方法、装置及存储介质。


背景技术：

2.目前的人脸活体检测技术的测试方法主要是通过制作3d人脸模型模拟真实人脸进行测试。而制作3d人脸模型首先需要通过高精度扫描仪获取人脸3d数据，然后根据3d人脸数据进行3d人脸模型打印。而整个过程中人脸三维数据的精确测量难度较大，且整个过程需要进行人脸三维数据的转换，这很容易使得数据精度被降低，导致最终的测试结果不准确。另外，3d人脸模型的制作成本极高且制作周期长。


技术实现要素：

3.本技术实施方式的目的在于提供一种人脸活体检测系统的测试方法、装置及存储介质，通过投影图像来精确模拟人脸活体检测系统检测时接收到的人脸二维图像，提供了一种全新的3d活体测试方法，快速便捷，大大降低了测试成本。
4.为解决上述技术问题，本技术的实施方式提供了一种人脸活体检测系统的测试方法，包括：通过3d结构光相机的投射装置向待测人脸发射预设频率的激光图案，获取被所述激光图案照射的待测人脸的第一人脸点云数据，并通过2d相机对所述被激光图案照射的待测人脸进行拍摄获取人脸图像；获取所述第一人脸点云数据在所述人脸图像中对应的像素点的纹理信息，并将所述第一人脸点云数据与所述纹理信息结合，获取第二人脸点云数据；根据预设的标定参数将所述第二人脸点云数据转化为投影图像；当所述3d结构光相机的投射装置关闭时，通过所述投影图像对人脸活体检测系统进行测试。
5.本技术的实施方式还提供了一种人脸活体检测系统的测试装置，包括：3d结构光相机，用于向待测人脸发射预设频率的激光图案，并获取被所述激光图案照射的待测人脸的第一人脸点云数据；2d相机，用于对所述被所述激光图案照射的待测人脸进行拍摄获取人脸图像；投影装置，用于投影投影图像；至少一个处理器和与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上实施方式所述的人脸活体检测系统的测试方法。
6.本技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述实施方式提及的人脸活体检测系统的测试方法。
7.本技术实施方式提供的人脸活体检测系统的测试方法，通过3d结构光相机获取第一人脸点云数据，通过2d相机获取被激光图案照射的人脸图像，将第一人脸点云数据和人脸图像中对应的像素点的纹理信息结合获取第二人脸点云数据，此时第二人脸点云数据中包括了人脸三维数据和人脸叠加激光的纹理信息，然后将第二人脸点云数据转化为投影图
像，通过投影图像精确模拟人脸活体检测系统检测时接收到的人脸二维图像（比如：散斑图像），以此来进行人脸活体检测系统的测试，即本技术提供了一种全新的3d活体测试方法，快速便捷，大大降低了测试成本。
8.另外，本技术实施方式提供的人脸活体检测系统的测试方法，预设的标定参数包括：所述3d结构光相机的内参、所述2d相机的内参、所述投影装置的内参、所述3d结构光相机和所述2d相机之间的位姿关系和所述3d结构光相机和所述投影装置之间的位姿关系。在进行测试前，需要对3d结构光相机、2d相机和投影装置之间的位姿关系进行标定，确保获取投影图像的数据准确。
9.另外，本技术实施方式提供的人脸活体检测系统的测试方法，所述3d结构光相机和所述2d相机之间的位姿关系包括：所述3d结构光相机和所述2d相机之间的旋转关系、所述3d结构光相机和所述2d相机之间的平移关系；获取所述第一人脸点云数据在所述人脸图像中对应的像素点的纹理信息，包括：根据所述3d结构光相机和所述2d相机之间的旋转关系、所述3d结构光相机和所述2d相机之间的平移关系以及所述2d相机的内参确定所述第一人脸点云数据在所述人脸图像中对应的像素点；获取所述第一人脸点云数据在所述人脸图像中对应的像素点的纹理信息。将人脸点云数据与人脸叠加激光的纹理信息结合，更好地模拟人脸活体检测系统检测时获取到的散斑图。
10.另外，本技术实施方式提供的人脸活体检测系统的测试方法，所述根据所述标定参数将所述第二人脸点云数据转化为投影图像，包括：确定所述第二人脸点云数据在所述投影图像的待投影空间中对应的待投影位置；根据预设的标定参数和所述第二人脸点云数据中的纹理信息将所述待投影位置转化到投影装置的图像坐标系中，获取投影数据；根据所述投影数据生成投影图像。根据第二点云数据进行坐标系转化后即可获取投影数据，整个过程简单便捷。
11.另外，本技术实施方式提供的人脸活体检测系统的测试方法，所述确定所述第二人脸点云数据在所述投影图像的待投影空间中对应的待投影位置，包括：获取所述投影图像的待投影空间的点云数据，并将所述待投影空间的点云数据作为第三点云数据，其中，所述待投影空间为所述待测人脸的测试环境的背景空间；对所述第三点云数据和所述第二人脸点云数据均进行归一化处理；对归一化处理后的第三点云数据和归一化处理后的第二点云数据进行差值处理，获取差值数据；当所述差值数据的绝对值小于或等于预设阈值时，将小于或等于预设阈值的所述差值数据对应的第三点云数据作为所述待投影位置。对第二人脸点云数据和第三点云数据进行归一化和差值处理，根据预设阈值即可确定投影位置。
附图说明
12.一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
13.图1是本技术的实施方式提供的人脸活体检测系统的测试方法的流程图一。
14.图2是本技术的实施方式提供的人脸活体检测系统的测试方法的流程图二。
15.图3是本技术的实施方式提供的人脸活体检测系统的测试方法的流程图三。
16.图4是本技术的实施方式提供的人脸活体检测系统地测试装置的结构示意图。
具体实施方式
17.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本技术各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
18.下面对本实施方式的人脸活体检测系统的测试方法的实现细节进行举例说明。以下内容仅为方便理解而提供的实现细节，并非实施本方案的必须。
19.本技术的实施方式涉及一种人脸活体检测系统的测试方法，如图1所示，包括。
20.步骤101，通过3d结构光相机的投射装置向待测人脸发射预设频率的激光图案，获取被激光图案照射的待测人脸的第一人脸点云数据，并通过2d相机对被激光图案照射的待测人脸进行拍摄获取人脸图像。
21.本领域技术人员可以理解的是，3d结构光相机一般由投射装置和摄像头组成，投射装置发射向待测人脸发射预设频率的激光图案，比如：格雷码、正弦条纹等特定图案，3d结构光相机对被激光照射的人脸进行拍摄获取散斑图，对散斑图进行匹配计算获取视差图，根据视差图即可计算获取到第一人脸点云数据，需要说明的是，第一人脸点云数据包含了待测人脸上每一点的三维坐标。
22.本实施例中，通过2d相机对被激光照射的人脸进行拍摄获取人脸图像，值的注意的是，此时获取到的人脸图像既包含了待测人脸本身的纹理信息，也包含了3d结构光相机的投射装置发射的激光图案的纹理信息。具体地说，纹理信息可以是rgb信息或灰度信息，当然，此处仅为具体的举例说明，纹理信息还可以是图像中包含的其他信息。
23.步骤102，获取第一人脸点云数据在人脸图像中对应的像素点的纹理信息，并将第一人脸点云数据与纹理信息结合，获取第二人脸点云数据。
24.在本实施例中，第一人脸点云数据为三维人脸数据，而人脸图像是一种二维图像，因此需要将第一人脸点云数据在人脸图像中对应的像素点的位置获取到，以此来确定对应的像素点的纹理信息。
25.步骤103，根据预设的标定参数将第二人脸点云数据转化为投影图像。
26.在本实施例中，第二人脸点云数据包含了人脸三维坐标和人脸叠激光图案的纹理信息，而要将第二人脸点云数据转化为投影图像，就需要将人脸三维坐标转化为可以投影的二维坐标。人脸三维坐标通过3d结构光相机获取，投影图像需要投影装置进行投影，因此，可以理解的是，需要预先获取3d结构光相机的内参，投影装置的内参，以及3d结构光和投影装置之间的位姿关系。
27.步骤104，当3d结构光相机的投射装置关闭时，通过投影图像对人脸活体检测系统进行测试。
28.本领域技术人员可以理解的是，人脸活体检测系统是对待测对象进行拍摄获取散斑图，然后对散斑图进行匹配计算获取深度图，获取人脸的三维信息，以此来判断待测对象是否为真实人脸。当然，人脸活体检测系统的检测方法不仅限于此，还有其他方法，但基本原理都是针对获取到的散斑图或扫描图这类二维图像进行计算加工，完成人脸的3d重建过程，以此根据重建后的信息判断是都为真实人脸。
29.本实施例中，通过投影图像来精确模拟人脸活体检测系统检测时接收到的人脸二
维图像（比如：散斑图），以此来进行人脸活体检测系统的测试，也就是说，本技术从人脸活体检测系统的数据源头（即人脸二维图像）着手，在数据源头处进行模拟，避免了如制作3d人脸模型过程中的数据处理和数据转换时对人脸三维数据精度的降低，提供了一种全新的3d活体测试方法，大大降低了测试成本。
30.本技术实施方式提供的人脸活体检测系统的测试方法，通过3d结构光相机获取第一人脸点云数据，通过2d相机获取被激光照射的人脸图像，将第一人脸点云数据和人脸图像中对应的像素点的纹理信息结合获取第二人脸点云数据，此时第二人脸点云数据中包括了人脸三维数据和人脸叠加激光图案的纹理信息，然后将第二人脸点云数据转化为投影图像，通过投影图像精确模拟人脸活体检测系统检测时接收到的人脸二维图像（比如：散斑图像），以此来进行人脸活体检测系统的测试，即本技术提供了一种全新的3d活体测试方法，快速便捷，大大降低了测试成本。
31.本技术的实施方式涉及一种人脸活体检测系统的测试方法，如图2所示，包括。
32.步骤201，通过3d结构光相机的投射装置向待测人脸发射预设频率的激光图案，获取被激光图案照射的待测人脸的第一人脸点云数据，并通过2d相机对被激光照射的待测人脸进行拍摄获取人脸图像。
33.在本实施例中，本技术的人脸活体检测系统的测试方法应用于人脸活体检测系统的测试装置，该测试装置包括：3d结构光相机、2d相机和投影装置；预设的标定参数包括：3d结构光相机的内参、2d相机的内参、所述投影装置的内参、3d结构光相机和2d相机之间的位姿关系、3d结构光相机和投影装置之间的位姿关系。
34.进一步地，3d结构光相机和2d相机之间的位姿关系包括：3d结构光相机和2d相机之间的旋转关系、3d结构光相机和2d相机之间的平移关系。3d结构光相机和投影装置之间的位姿关系包括：3d结构光相机和投影装置之间的旋转关系、3d结构光相机和投影装置之间的平移关系。
35.在一实施例中，3d结构光相机和2d相机之间的位姿关系通过双相机标定方法获取；3d结构光相机和投射装置之间的位姿关系通过预设的标定图案获取。
36.具体地说，双相机标定方法可以采用张正友标定法，相机内参的获取可以根据newton-raphson迭代法进行求解。3d结构光相机与投影装置之间的位姿关系可使用投影装置投影标定图案（如棋盘格、圆形阵列等等），使用3d结构光相机进行拍摄获取对应的标定图案，根据标定图案进行标定，从而确定标定参数。
37.步骤202，根据3d结构光相机和2d相机之间的旋转关系、3d结构光相机和2d相机之间的平移关系以及2d相机的内参确定第一人脸点云数据在人脸图像中对应的像素点。
38.具体地，采用以下公式进行计算：其中，r为中间变量，（x，y，z）为第一人脸点云数据，（u，v）即为（x，y，z）在人脸图像中对应的像素点的二维坐标。kc为2d相机的内参，r
ac
为3d结构光相机坐标系与2d相机坐标
系之间的旋转矩阵，t
ac
为3d结构光相机坐标系与2d相机坐标系之间的平移矩阵。
39.步骤203，获取第一人脸点云数据在人脸图像中对应的像素点的纹理信息，并将第一人脸点云数据与纹理信息结合，获取第二人脸点云数据。
40.在本实施例中，所述纹理信息为rgb信息或灰度信息。具体地，人脸图像中的纹理信息可以用s表述，将第一人脸点云数据（x，y，z）与纹理信息s结合，获取第二人脸点云数据（x，y，z，s）。
41.步骤204，根据预设的标定参数将所述第二人脸点云数据转化为投影图像。
42.步骤205，当所述3d结构光相机的投射装置关闭时，通过所述投影图像对人脸活体检测系统进行测试。
43.在本实施例中，在通过投影图像对人脸活体检测系统测试时，本技术的投影装置投影投影图像，人脸活体检测系统对投影图像进行检测，需要注意的是，此时本技术的3d结构光相机的投射装置需要关闭，避免本技术的投射装置发射的激光对投影图像造成干扰，使得测试结果不准确。
44.本技术实施方式提供的人脸活体检测系统的测试方法，通过3d结构光相机获取第一人脸点云数据，通过2d相机获取被激光图案照射的人脸图像，将第一人脸点云数据和人脸图像中对应的像素点的纹理信息结合获取第二人脸点云数据，此时第二人脸点云数据中包括了人脸三维数据和人脸叠加激光的纹理信息，然后将第二人脸点云数据转化为投影图像，通过投影图像精确模拟人脸活体检测系统检测时接收到的人脸二维图像（比如：散斑图像），以此来进行人脸活体检测系统的测试，即本技术提供了一种全新的3d活体测试方法，快速便捷，大大降低了测试成本。
45.本技术的实施方式涉及一种人脸活体检测系统的测试方法，如图3所示，包括。
46.步骤301，通过3d结构光相机的投射装置向待测人脸发射预设频率的激光图案，获取被激光图案照射的待测人脸的第一人脸点云数据，并通过2d相机对被激光照射的待测人脸进行拍摄获取人脸图像。
47.步骤302，获取第一人脸点云数据在人脸图像中对应的像素点的纹理信息，并将第一人脸点云数据与纹理信息结合，获取第二人脸点云数据。
48.在本实施例中，步骤302的具体实施细节与步骤202、步骤203基本相同，在此不做赘述。步骤303，确第二人脸点云数据在投影图像的待投影空间中对应的待投影位置。
49.在一实施例中，步骤303的具体包括：获取投影图像的待投影空间的点云数据，并将待投影空间的点云数据作为第三点云数据；对第三点云数据和第二人脸点云数据均进行归一化处理；对归一化处理后的第三点云数据和归一化处理后的第二点云数据进行差值处理，获取差值数据；当差值数据的绝对值小于预设阈值时，将小于预设阈值的所述差值数据对应的第三点云数据作为待投影位置。其中，待投影空间为待测人脸的测试环境的背景空间。
50.具体地说，获取投影图像的待投影空间的点云数据(x0,y0,z0)，需要注意的是，在对待测人脸进行拍摄获取点云数据或人脸图像时，待测人脸的位置与待投影空间处于同一空间，优选的，待投影的投影屏要尽可能地与待测人脸的位置靠近。
51.进一步地，对第三点云数据(x0,y0,z0)和第二人脸点云数据（x，y，z，s）进行归一化处理，得到归一化后的第三点云数据和归一化后的第二点云数据，需要注意的是，第二人脸
点云数据包含纹理信息，在归一化处理时，不对纹理信息进行归一化，只对表示人脸空间位置的坐标进行归一化，具体公式如下：其中，(i,j，1)为归一化后的第二人脸点云数据中的三维坐标，(i0,j0，1)为归一化后的第三点云数据中的三维坐标。
52.进一步地，对归一化处理后的第三点云数据和归一化处理后的第二点云数据进行差值处理，获取差值数据；当差值数据的绝对值小于或等于预设阈值时，将小于或等于预设阈值的所述差值数据对应的第三点云数据作为待投影位置。需要说明的是，预设阈值可以根据对测试结果的准确度的要求进行设置，优选的，预设阈值设置为0，即要求归一化后的第二人脸点云数据和归一化后的第三点云数据相同，具体公式如下：i=i0，j=j0。如此，就可以确定待投影位置的具体坐标(x0,y0,z0)。
53.步骤304，根据预设的标定参数和第二人脸点云数据中的纹理信息将待投影位置转化到投影装置图像坐标系中，获取投影数据。
54.具体地说，采用如下公式就可以将待投影位置转化到投影装置图像坐标系中：其中，rb为中间变量，(ub，vb)为投影位置(x0，y0，z0)所对应的投影图像上的二维坐标，kb为投影装置的内参，r
ab
为3d结构光相机坐标系与投影装置坐标系之间的旋转矩阵，t
ab
为3d结构光相机坐标系与投影装置坐标系之间的平移矩阵。根据转化后投影装置坐标系的二维坐标(ub，vb)结合纹理信息s就可以得到投影数据(ub，vb，s)。
55.步骤305，根据投影数据生成投影图像。
56.步骤306，当3d结构光相机的投射装置关闭时，通过投影图像对人脸活体检测系统进行测试。
57.在一实施例中，通过投影图像对人脸活体检测系统进行测试，具体包括：通过投影图像模拟人脸活体检测系统检测时接收到的人脸二维图像，获取人脸活体检测系统对投影图像的检测结果；当检测结果为真实人脸时，确定人脸检测系统检测错误；当检测结果为虚假人脸时，确定人脸检测系统检测正确。
58.本技术实施方式提供的人脸活体检测系统的测试方法，通过3d结构光相机获取第一人脸点云数据，通过2d相机获取被激光图案照射的人脸图像，将第一人脸点云数据和人脸图像中对应的像素点的纹理信息结合获取第二人脸点云数据，此时第二人脸点云数据中包括了人脸三维数据和人脸叠加激光的纹理信息，然后将第二人脸点云数据转化为投影图
像，通过投影图像精确模拟人脸活体检测系统检测时接收到的人脸二维图像（比如：散斑图像），以此来进行人脸活体检测系统的测试，即本技术提供了一种全新的3d活体测试方法，快速便捷，大大降低了测试成本。
59.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
60.本技术的实施方式涉及一种人脸活体检测系统的测试装置，如图4所示，包括。
61.3d结构光相机401，用于向待测人脸发射预设频率的激光图案，并获取被所述激光图案照射的待测人脸的第一人脸点云数据。
62.2d相机402，用于对所述被所述激光图案照射的待测人脸进行拍摄获取人脸图像。
63.投影装置403，用于投影投影图像。
64.至少一个处理器404和与所述至少一个处理器通信连接的存储器405；其中，所述存储器存储有被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行以上实施方式所述的人脸活体检测系统的测试方法。
65.需要说明的是，在进行人脸活体检测系统的测试时，3d结构光相机的拍摄视场、2d相机的拍摄视场和投影装置的投影视场需要尽可能地重叠。本实施方式可与上述人脸活体检测系统的测试方法的实施方式互相配合实施。上述实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在上述实施方式中。此外，为了突出本技术的创新部分，本实施例中并没有将与解决本技术所提出的技术问题关系不太密切的单元或模组引入，但这并不表明本实施例中不存在其它的单元或模组。
66.其中，处理器404、存储器405可以通过总线或者其他方式连接。存储器作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施方式中策略空间内的各处理策略对应的算法就存储于存储器中。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述人脸活体检测系统的测试方法。
67.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。
68.本技术的实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述人脸活体检测系统的测试方法。
69.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
70.本领域的普通技术人员可以理解，上述各实施方式是实现本技术的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本技术的精神和范围。