人脸真伪识别的数据处理方法、装置、设备及存储介质与流程

1.本技术涉及二维人脸活体防伪技术领域，尤其涉及一种人脸真伪识别的数据处理方法、装置、设备及存储介质。


背景技术：

2.目前，人脸真伪识别场合都缺少不了活体防伪算法的支持，通过活体防伪算法可有效滤除掉浑水摸鱼中的伪人脸，增强识别中的安全性。
3.具体而言，现有活体防伪算法一般都是单张图像的人脸判定，这种方式通过判断对象是照片或本人来实现判定，但是这种方式对于现实场景下的活体防伪效果差，现实场景下的伪人脸并不局限于照片，例如：高清打印照片、各种照片的折叠、仿真面具等。为了更好的完成无约束现实场景下的防伪判定，基于人脸三维信息的防伪检测算法应用而生，其大大提升了人脸防伪判定算法的性能。但是，基于三维人脸检测对于仿真面具、照片紧贴人脸的场景将失效。
4.可见，在伪人脸是仿真面具时，现有的基于人脸三维信息的活体防伪检测算法无法进行准确判断，影响人脸活体识别的准确率。


技术实现要素：

5.为了解决上述技术问题或者至少部分地解决上述技术问题，本技术提供了一种人脸真伪识别的数据处理方法、装置、设备及存储介质。
6.第一方面，本技术提供了一种人脸真伪识别的数据处理方法，其特征在于，包括：获取目标图像数据；
7.依据所述目标图像数据进行图像对齐，得到对齐图像数据，其中，所述对齐图像数据包含第一对齐图像数据和第二对齐图像数据；
8.依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，所述第一扩充图像数据为所述第一对齐图像数据对应扩充后的图像数据，所述第二扩充图像数据为所述第二对齐图像数据对应扩充后的图像数据；
9.依据所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果。
10.可选的，所述获取目标图像数据，包括：
11.获取目标对象的彩色图像数据和红外图像数据，其中，所述彩色图像数据为通过彩色图像采集设备采集到的图像数据，所述红外图像数据为通过红外图像采集设备采集到的图像数据；
12.将所述彩色图像数据和所述红外图像数据作为所述目标图像数据。
13.可选的，所述依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，包括：
14.依据所述第一对齐图像数据进行人脸检测，得到所述目标人脸位置信息；
15.基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据。
16.可选的，所述目标人脸位置信息包含目标人脸坐标信息，所述基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据，包括：
17.基于所述目标人脸坐标信息，按照所述扩充比例信息对所述第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据；
18.基于所述目标人脸坐标信息确定所述第二对齐图像数据的目标人脸位置信息，并基于所述目标人脸位置信息按照所述扩充比例信息对所述第二对齐图像数据进行扩充，得到包含背景信息的第二扩充图像数据。
19.可选的，所述基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据，包括：
20.基于所述目标人脸位置信息，按照所述扩充比例信息对所述第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据；
21.基于所述第一扩充图像数据的坐标信息，从所述第二对齐图像数据中获取第二扩充图像数据。
22.可选的，所述人脸分类模型包括彩色图判别模型和红外图判别模型，所述将所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果，包括：
23.通过所述彩色图判别模型，对所述第一扩充图像数据进行识别，得到第一识别结果；
24.通过所述红外图判别模型，对所述第二扩充图像数据进行识别，得到第二识别结果；
25.依据所述第一识别结果和所述第二识别结果，生成所述人脸真伪的识别结果。
26.可选的，所述获取目标图像数据之前，还包括：
27.从预设的训练数据集中获取待训练图像数据，所述待训练图像数据包含待训练彩色图像数据和和与所述待训练彩色图像数据对应的待训练红外图像数据；
28.依据所述待训练图像数据进行图像对齐，得到所述待训练彩色图像数据对应的第三对齐图像数据和所述待训练红外图像数据对应的第四对齐图像数据；
29.依据所述第三对齐图像数据进行人脸检测，得到人脸位置信息；
30.基于所述人脸位置信息，分别按照预设的扩充比例信息对所述第三对齐图像数据和所述第四对齐图像数据进行扩充，得到所述第三对齐图像数据对应的第三扩充图像数据和所述第四对齐图像对应的第四扩充图像数据；
31.分别依据所述第三扩充图像数据和所述第四扩充图像数据进行在增强处理，得到所述第三扩充图像数据对应的第三增强图像数据和所述第四扩充数据对应的第四增强图像数据；
32.依据第三增强图像数据和第四增强图像数据进行模型训练，得到人脸分类模型。
33.第二方面，本技术提供了一种人脸真伪识别的数据处理装置，其特征在于，包括：
34.图像数据获取模块，用于获取目标图像数据；
35.图像数据对齐模块，用于依据所述目标图像数据进行图像对齐，得到对齐图像数据，其中，所述对齐图像数据包含第一对齐图像数据和第二对齐图像数据；
36.图像数据扩充模块，用于依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，所述第一扩充图像数据为所述第一对齐图像数据对应扩充后的图像数据，所述第二扩充图像数据为所述第二对齐图像数据对应扩充后的图像数据；
37.图像数据识别模块，用于依据所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果。
38.第三方面，本技术提供了一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
39.存储器，用于存放计算机程序；
40.处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例所述的人脸真伪识别的数据处理方法的步骤。
41.第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的人脸真伪识别的数据处理方法的步骤。
42.综上，本技术在获取目标图像数据，依据目标图像数据进行图像对齐，得到对齐图像数据，其中，对齐图像数据包含第一对齐图像数据和第二对齐图像数据，依据第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，第一扩充图像数据为第一对齐图像数据对应扩充后的图像数据，第二扩充图像数据为第二对齐图像数据对应扩充后的图像数据，依据第一扩充图像数据和第二扩充图像数据，通过预先训练的人脸分类模型，生成目标图像数据对应的人脸真伪的识别结果，解决了现有的基于人脸的三维信息的人脸活体防伪算法在采集到仿真面具图像数据时无法准确判断的问题，提高人脸活体真伪识别的准确率。
附图说明
43.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
44.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
45.图1为本技术实施例提供的一种人脸真伪识别的数据处理方法的步骤流程图；
46.图2是本技术一个可选实施例提供的一种人脸真伪识别的数据处理方法的步骤流程图；
47.图3是本技术一个可选实施例提供的一种人脸真伪识别的数据处理方法的步骤流程图；
48.图4是本技术一个示例中进行人脸真伪识别模型训练的示意图
49.图5是本技术实施例提供的一种人脸真伪识别的数据处理装置的结构框图；
50.图6是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
51.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.本技术实施例的核心构思之一在于，提供一种人脸真伪识别的数据处理方法，通过采用彩色图像数据和近红外图像数据结合实现活体防伪，增强活体防伪算法的性能，使得活体防伪算法的判定性能在大多数场景中的性能大大提升，进而提高人脸真伪识别的准确率。
53.在实际处理中，本技术实施例提供的人脸真伪识别的数据处理方法可以应用于各种需要识别人脸真伪的场景，具体可以包括但不局限于仿真面具、照片紧贴人脸、二维照片的各种形式折叠等场景等，本技术实施对此不作限制。
54.为便于对本技术实施例的理解，下面将结合附图以具体实施例做进一步的解释说明，实施例并不构成对本技术实施例的限定。
55.图1为本技术实施例提供的一种人脸真伪识别的数据处理方法的流程示意图。如图1所示，本技术提供的人脸真伪识别的数据处理方法具体可以包括如下步骤：
56.步骤110，获取目标图像数据。
57.具体的，在进行人脸活体防伪识别之前，可以预先通过相机、摄像头等设备获取人脸的图像数据，本技术实施例可以将该人脸的图像数据作为目标图像数据。
58.在一个可选实施方式中，本技术实施例获取目标图像数据具体可以包括如下子步骤：
59.子步骤1101，获取目标对象的彩色图像数据和红外图像数据。
60.其中，所述彩色图像数据为通过彩色图像采集设备采集到的图像数据，所述红外图像数据为通过红外图像采集设备采集到的图像数据。
61.子步骤1102，将所述彩色图像数据和所述红外图像数据作为所述目标图像数据。
62.在本技术实施例中，目标图像数据可以是指包含有目标对象的图像数据，且该目标对象可以是人脸，如目标图像数据可以是人脸图像数据。在具体实现中，可以通过同一个设备中的彩色图像采集设备和红外图像采集设备，对目标对象进行图像采集，从而可以将彩色图像采集设备采集到的彩色图像数据(包含人脸的图像数据)和红外图像采集设备采集到的红外图像数据(包含人脸的图像数据)确定为目标图像数据。
63.例如，在图像采集设备包含有彩色相机摄像头和近红外相机摄像头的情况下，可以将该彩色相机摄像头作为本技术实施例中的彩色图像采集设备，以通过彩色相机摄像头采集彩色图像数据，从而可以获取到彩色相机摄像头所采集的彩色图像数据；并可将近红外相机摄像头作为本技术实施例中的红外图像采集设备采集人脸的图像数据，如可以通过近红外相机采集人脸的图像数据，随后可以将该人脸的图像数据作为红外图像数据。随后，
可将该彩色图像数据和红外图像数据作为目标图像数据，输入到检测设备中，以通过检测设备判别人脸真伪。
64.在实际处理中，深度相机中包含有彩色相机摄像头和近红外相机摄像头。因此在本技术的一个可选实施方式中，可以通过深度相机中的彩色相机采集包含人脸的彩色图像数据，并可通过深度相机中的近红外相机摄像头采集包含人脸的红外图像数据。由于彩色图像数据和红外图像数据都是通过深度相机得到的，因此彩色图像数据与红外图像数据的图像尺寸可以相同，以便于后续实现图像对齐。
65.步骤120，依据所述目标图像数据进行图像对齐，得到对齐图像数据。
66.具体的，本技术实施例在获取到目标图像数据后，可以依据目标图像数据进行人脸对齐，以得到对齐图像数据，该对齐图像数据可以包含第一对齐图像数据和第二对齐图像数据。
67.具体而言，在本技术实施例中的目标图像数据包含有彩色图像数据和红外图像数据，在图像对齐时可以将目标图像数据中的彩色图像数据和目标图像数据中的红外图像数据进行人脸对齐，以得到彩色图像数据对应的第一对齐图像数据和红外图像数据对应的第二对齐图像数据。具体的，可以通过获取预设的相机内外参数，以依据该相机内外参数将彩色图像数据和目标图像数据中的红外图像数据转换到同一坐标系中，得到彩色图像数据对应的像素坐标信息和红外图像数据对应的像素坐标信息，进而可以依据彩色图像数据对应的像素坐标信息和红外图像数据对应的像素坐标信息进行人脸对齐，得到对齐后的第一对齐图像数据和第二对齐图像数据。其中，第一对齐图像数据为彩色图像数据对齐后的图像数据，用于表示人脸对齐后的彩色图像；第二对齐图像数据为红外图像数据对齐后的图像数据，用于表示人脸对齐后的近红外图像。
68.例如，可以获取彩色相机的内参矩阵和红外相机的内参矩阵，并通过立体标定的方法得到彩色相机和红外相机的位置关系参数矩阵。随后可以将彩色相机的内参矩阵、红外相机的内参矩阵以及彩色相机和红外相机的位置参数矩阵进行相乘，以获得对齐矩阵。随后可以通过对齐公式将彩色图像的像素与该对齐矩阵进行运算，并通过对齐公式将红外图像的像素与该对齐矩阵进行运算，以将彩色图像数据和红外图像数据转换到同一坐标系中，使得彩色图像中的像素与红外图像中的像素实现一一对应，从而实现将彩色图像数据中的人脸图像数据和红外图像数据中的人脸图像数据对齐。
69.步骤130，依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，所述第一扩充图像数据为所述第一对齐图像数据对应扩充后的图像数据，所述第二扩充图像数据为所述第二对齐图像数据对应扩充后的图像数据。
70.具体的，可以通过对第一对齐图像数据进行人脸识别，获取人脸的四个点坐标信息，作为目标人脸位置信息，随后第一对齐图像数据和第二对齐图像数据都可以基于人脸的四个点坐标信息进行图像扩充，以得到第一对齐图像数据对应的第一扩充图像数据和第二对齐图像数据对应的第二扩充图像数据。
71.在实际处理中，获得目标人脸位置信息的方式可以是对第一对齐图像数据进行人脸识别外，也可以采用其他方式获取目标人脸位置信息，如可以通过深度相机中的彩色相机进行人脸检测，以获取人脸四个点的坐标信息，作为目标人脸位置信息等，本技术实施例
对此不作限制。其中，人脸的四个点坐标信息可以是人脸左上角的坐标信息、人脸右上角的坐标信息、人脸左下角的坐标信息以及人脸右下角的坐标信息，本示例对此不作限制。
72.在具体实现中，将第一对齐图像数据和第二对齐图像数据进行图像扩充，可以是根据检测到的人脸的四个点坐标，按照一定的比例将人脸的四个点坐标向外进行扩充，得到扩充后的人脸的四个点坐标，随后可以将扩充后的人脸的四个点坐标应用到第一对齐图像数据和第二对齐图像数据中，以对第一对齐图像数据和第二对齐图像数据进行图像扩充。具体而言，图像的扩充比例可以是预设的扩充比例，如该预设扩充比例可以是百分之十，也可以是通过人脸的四个点坐标确定人脸的长宽，进而确定人脸的长宽比率，从而依据该人脸的长宽比率确定扩充比例，本技术对此不做限制。在确定图像的扩充比例后，可以将人脸的四个点坐标分别按照扩充比例向外进行扩充，以将扩充后的人脸的四个点坐标应用到第一对齐图像数据和第二对齐图像数据中，得到包含一定背景区域和人脸图像数据的彩色图像数据，以及包含一定背景区域和人脸图像数据的红外图像数据，随后可以将包含一定背景区域和人脸图像数据该的彩色图像数据作为第一扩充图像数据，并可以将包含一定背景区域和人脸图像数据的红外图像数据作为第二扩充图像数据。
73.步骤140，依据所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果。
74.具体的，可以将第一扩充图像数据和第二扩充图像数据输入到预先训练的人脸分类模型，以通过人脸分类模型分别确定第一扩充图像数据和第二扩充图像数据的识别结果，从而可以基于该第一扩充图像数据的识别结果和第二扩充图像数据的识别结果，确定目标图像数据对应的人脸真伪的识别结果。
75.作为本技术的一个示例，人脸分类模型可以包括彩色图判别模型和近红外图判别模型，可以将第一扩充图像数据输入到彩色图判别模型中，以得到第一扩充图像数据对应的第一人脸真伪的识别结果。同理，可以将第二扩充图像数据输入到红外图判别模型中，以得到第二扩充图像数据对应的第二人脸真伪的识别结果。随后可以通过第一人脸真伪的识别结果和第二人脸真伪的识别结果确定目标图像数据对应的人脸真伪的识别结果。
76.综上，本技术实施例通过获取目标图像数据，依据目标图像数据进行图像对齐，得到对齐图像数据，其中，对齐图像数据包含第一对齐图像数据和第二对齐图像数据，依据第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，第一扩充图像数据为第一对齐图像数据对应扩充后的图像数据，第二扩充图像数据为第二对齐图像数据对应扩充后的图像数据，随后可以依据第一扩充图像数据和第二扩充图像数据，通过预先训练的人脸分类模型，生成目标图像数据对应的人脸真伪的识别结果，解决了现有的基于人脸的三维信息的人脸活体防伪算法在采集到仿真面具图像数据时无法准确判断人脸真伪的问题，提高人脸活体真伪识别的准确率。
77.参照图2，示出了本技术一个可选实施例提供的一种人脸真伪识别的数据处理方法的步骤流程图。该方法可以具体可以包括如下步骤：
78.步骤210，获取目标图像数据。
79.步骤220，依据所述目标图像数据进行图像对齐，得到对齐图像数据。
80.其中，所述对齐图像数据包含第一对齐图像数据和第二对齐图像数据。
81.步骤230，依据所述第一对齐图像数据进行人脸检测，得到所述目标人脸位置信
息。
82.步骤240，基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据。
83.具体而言，本实施例中目标人脸位置信息可以包含目标人脸坐标信息，所述基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据，具体可以包括以下子步骤：
84.子步骤2401，基于所述目标人脸坐标信息，按照所述扩充比例信息对所述第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据。
85.子步骤2402，基于所述目标人脸坐标信息确定所述第二对齐图像数据的目标人脸位置信息，并基于所述目标人脸位置信息按照所述扩充比例信息对所述第二对齐图像数据进行扩充，得到包含背景信息的第二扩充图像数据。
86.具体的，可以通过对第一对齐图像数据进行人脸检测，获得目标人脸位置信息信息包含的目标人脸坐标信息。随后第一对齐图像数据可以基于目标人脸坐标信息，按照预设的扩充比例信息进行图像扩充，得到第一对齐图像数据对应的第一扩充图像数据。由于第一对齐图像和第二对齐图像是目标图像数据进行对齐后得到的，因此，通过第一对齐图像数据获得的目标人脸坐标信息，可以作为第二对齐图像数据的目标人脸位置信息，直接应用到第二对齐图像数据中，以使第二对齐图像数据可以基于人脸位置信息，按照预设的扩充比例信息进行图像扩充，得到第二对齐图像数据对应的第二扩充图像数据。
87.在实际处理中，可以预先设置一个扩充比例，如扩充比例可以是百分之十，本实施例对此不做限制，以将该扩充比例作为扩充比例信息，图像的扩充方式可以是依据目标人脸坐标信息包含的人脸的四个点坐标，将人脸的四个点坐标分别按照预设的扩充比例向外进行扩充，得到的第一对齐图像数据对应的第一扩充图像数据和第二对齐图形数据对应的第二扩充图像数据。
88.在一个可选实施方式中，对第一对齐图像数据和第二对齐图像数据进行图像扩充，还可以通过如下方式实现。
89.具体而言，所述基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据，具体可以包括以下子步骤：
90.子步骤2403，基于所述目标人脸位置信息，按照所述扩充比例信息对所述第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据。
91.子步骤2404，基于所述第一扩充图像数据的坐标信息，从所述第二对齐图像数据中获取第二扩充图像数据。
92.具体的，可以通过目标人脸位置信息包含的目标人脸坐标信息，按照预设扩充比例信息对第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据。随后可以将第一扩充图像数据的坐标信息直接应用到第二对齐图像数据中，可以直接从第二对齐图像数据获取第二扩充图像数据。具体而言，在对第一对齐图像数据进行人脸检测后，可以依
据人脸检测得到的目标人脸坐标信息，按照预设比例信息进行扩充，得到扩充后的第一对齐图像数据的人脸坐标，应用到第一对齐图像数据中，得到第一扩充图像数据和第一扩充图像数据对应的坐标信息，该坐标信息可以是扩充后的目标人脸坐标信息，因此，可以将第一扩充图像数据的坐标信息直接应用到第二对齐图像数据中，获取第二对齐图像数据对应的第二扩充图像数据。
93.步骤250，依据所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果。
94.具体的，在获得将第一扩充图像数据和第二扩充图像数据后，可以将该第一扩充图像数据和第二扩充图像数据输入人脸分类模型中，得到人脸分类模型输出的人脸真伪的识别结果，其中，人脸分类模型包括彩色图判别模型和红外图判别模型，具体可以包括如下子步骤。
95.子步骤2501，通过所述彩色图判别模型，对所述第一扩充图像数据进行识别，得到第一识别结果。
96.子步骤2502，通过所述红外图判别模型，对所述第二扩充图像数据进行识别，得到第二识别结果。
97.子步骤2503，依据所述第一识别结果和所述第二识别结果，生成所述人脸真伪的识别结果。
98.具体的，可以将第一扩充图像数据输入到彩色图判别模型中，通过彩色图判别模型对第一扩充图像数据进行判别，得到第一扩充图像数据对应的第一识别结果。同理，可以将第二扩充图像数据输入到红外图判别模型中，通过红外图判别模型对第二扩充图像数据进行判别，得到第二扩充图像数据对应的第二识别结果。随后可以依据第一识别结果和第二识别结果，确定人脸真伪的识别结果。
99.在实际处理中，若第一扩充图像数据对应的第一识别结果为真，则可以进一步确定第二扩充图像数据对应的第二识别结果是否为真，若第二识别结果为真，则可以确定人脸真伪的识别结果为真，从而可以确定目标图像数据为真人脸。同理，在第一识别结果为真的情况下，若第二识别结果为伪，则可以确定人脸真伪的识别结果为伪，从而可以确定目标图像数据为伪人脸，即目标图像数据中的人脸图像可能为仿真面具。若第一扩充图像数据对应的第一识别结果为伪，则可以确定人脸真伪的识别结果为伪，从而可以确定目标图像数据为伪人脸，即目标图像数据中的人脸图像可能为仿真面具。
100.可见，本技术实施例通过获取目标图像数据，以通过目标图像数据进行图像对齐，得到对齐图像数据，其中，对齐图像数据包含第一对齐图像数据和第二对齐图像数据，并依据第一对齐图像数据进行人脸检测，得到目标人脸位置信息，从而可以基于目标人脸位置信息，分别按照预设的扩充比例信息对第一对齐图像数据和第二对齐图像数据进行扩充，得到第一对齐图像数据对应的第一扩充图像数据和第二对齐图像数据对应的第二扩充图像数据，以将第一扩充图像数据和第二扩充图像数据输入人脸分类模型，得到人脸分类模型输出的人脸真伪的识别结果，解决了现有的基于人脸的三维信息的人脸活体防伪算法在采集到仿真面具图像数据时无法准确判断人脸真伪的问题，提高人脸活体真伪识别的准确率。
101.参照图3，示出了本技术一个可选实施例提供的一种人脸真伪识别的数据处理方
法的步骤流程图。具体而言，本技术实施例提供的人脸真伪识别的数据处理方法在模型训练阶段，具体可以包括如下步骤：
102.步骤310，从预设的训练数据集中获取待训练图像数据，所述待训练图像数据包含待训练彩色图像数据和与所述待训练彩色图像数据对应的待训练红外图像数据。
103.具体的，可以从预设的训练数据集中获取多张不同人脸的图像数据，以将该图像数据作为待训练图像数据。其中待训练图像数据可以包含待训练彩色图像数据和与该彩色图像数据对应的待训练红外图像数据。
104.步骤320，依据所述待训练图像数据进行图像对齐，得到所述待训练彩色图像数据对应的第三对齐图像数据和所述待训练红外图像数据对应的第四对齐图像数据。
105.步骤330，依据所述第三对齐图像数据进行人脸检测，得到人脸位置信息。
106.步骤340，基于所述人脸位置信息，分别按照预设的扩充比例信息对所述第三对齐图像数据和所述第四对齐图像数据进行扩充，得到所述第三对齐图像数据对应的第三扩充图像数据和所述第四对齐图像对应的第四扩充图像数据。
107.步骤350，分别依据所述第三扩充图像数据和所述第四扩充图像数据进行在增强处理，得到所述第三扩充图像数据对应的第三增强图像数据和所述第四扩充数据对应的第四增强图像数据。
108.本实施例中，将待训练图像数据进行图像对齐的方式以及将对齐后的图像数据进行图像数据扩充的方式，具体可以参照上述实施例，本技术实施例在此不再赘述。
109.进一步而言，本技术实施例在获得包含一定背景区域的第三扩充图像和第四扩充图像后，可以将该第三扩充图像数据和第四扩充图像数据进行增强处理，以得到第三扩充图像对应的第三增强图像和第四扩充图像对应的第四增强图像。
110.作为本技术的一个示例，在模型训练阶段可以分别对第一扩充图像数据和第二扩充图像数据进行图像数据的增强处理，如可以对第一扩充图像数据和第二扩充图像数据进行外观几何增强、虚拟样本增强以及真人数据增强等，得到第三扩充图像数据对应的第三增强图像数据和第四扩充图像数据对应的第四增强图像数据。
111.具体而言，在模型训练阶段可以将采集到的图像数据作为待训练图像数据，并可以对待训练图像数据进行增强处理，以实现对图像样本数量的扩充。如现有的采集到的图像数据为100张，则可以通过图像增强处理的方式，将图像数据增强到1000张，以增加图像样本的数量和图像样本的多样性。通过对采集到的图像数据进行增强处理，可以深入模拟现实场景下采集的人脸样本，弥补了在采集数据过程中没有考虑到的多种场景，实现了对采集到的图像样本数量的扩充。
112.在实际处理中，对待训练图像数据进行增强处理，可以是对图像数据进行外观几何增强、虚拟样本增强以及真人数据增强等。
113.例如，外观几何增强可以是对第一扩充图像数据的背景天气环境多样性的增强，可以是获取多张不同天气环境的待训练图像数据，如待训练图像数据的天气环境可以是阴天、晴天等，通过将不同天气环境的图像数据进行联合图像专家组(joint photographic experts group，jpeg)压缩、亮度对比度增强、伽马(gamma)亮度增强、高斯模糊、运动模糊、椒盐噪声、高斯噪声、随机角度的旋转等处理，以增加训练样本图像数据的多样性，进而可以提升最终训练得到的人脸分类模型的鲁棒性。
114.此外，本技术实施例可以通过随机旋转图像数据，增加待训练图像数据的多样性，以提升人脸分类模型识别的鲁棒性。具体而言，在将图像数据进行随机角度旋转后，如将图像数据顺时针旋转45度角后，此时获取图像数据的左上角、右上角、左下角以及右下角的像素信息均可能是空白区域的像素信息，即旋转后的图像数据的左上角、右上角、左下角以及右下角均可能出现空白区域，可以获取待训练图像数据的平均像素信息，以将该平均像素信息作为空白区域的填充像素对空白区域进行填充，实现对空白区域的填充。可见，本技术实施例可以通过增加待训练图像数据的多样性，提升人脸分类模型的准确率。
115.进一步的，本技术在进行图像数据的外观几何增强时，还可以同时对待训练图像数据进行虚拟样本增强和真人数据增强。具体而言，虚拟样本增强可以是构造多种类型的伪人脸图像数据，以增强人脸分类模型的算法的鲁棒性。如可以是将待训练图像数据中的人脸图像进行弯折，也可以是识别待训练图像数据中的人脸图像的人脸五官，获得人脸五官数据，将该人脸五官数据放到预先准备的伪人脸图像数据中的人脸上，作为伪人脸待训练图像数据，或者将该人脸五官数据放到预先准备的真人脸图像数据中的人脸上，作为真人脸待训练图像数据。随后可以将伪人脸待训练图像数据和真人脸图像数据输入人脸分类模型中，进行人脸真伪识别，以增强人脸分类模型的算法的鲁棒性。真人数据增强可以是获取多张真人图像数据，该真人图像数据可以是包含不同的真人表情和真人姿态。以通过将第一扩充图像数据和第二扩充图像数据进行外观几何增强、虚拟样本增强以及真人数据增强等增强处理，得到第一扩充图像数据对应的第一增强图像数据和第二扩充数据对应的第二增强图像数据。随后可以将该第一增强图像数据和所述第二增强图像数据输入人脸分类模型中进行人脸真伪识别，以实现对人脸分类模型的多样化训练，增强人脸分类模型的对人脸真伪识别的准确率，从而提升人脸分类模型的鲁棒性。
116.在实际处理中，对人脸分类模型的训练过程中，上述对图像数据的外观几何增强、虚拟样本增强以及真人数据增强均可以采用在线数据增强方式和离线数据增强方式。其中，在线数据增强方式可以是在将采集到的图像数据读取到神经网络的过程中，对采集到的图像数据进行增强处理。离线数据增强方式可以是在采集完图像数据数据后，直接对原图像数据进行增强处理。
117.作为本技术的一个示例，如图4所示，在人脸真伪识别模型的训练阶段，可以通过预先进行图像获取，如可以通过彩色相机获取彩色图和通过近红外相机获取近红外图，随后可以将彩色图和近红外图作为待训练图像数据。随后可以对获取到的待训练图像数据进行图像对齐，如可以通过预先设置的对齐算法，对待训练图像数据中的彩色图和近红外图进行图像对齐，从而可以得到对齐后的彩色图和近红外图。随后可以对对齐后的彩色图和近红外图进行数据预处理，可以是先可以将对齐后的彩色图进行人脸检测，以获得目标人脸位置信息，从而可以依据目标人脸位置信息确定人脸的四个点坐标，进而可以依据预先设置的扩充比例，将人脸的四个点坐标分别向外进行扩充，得到包含人脸和一定背景区域的彩色图人脸，并将扩充后的人脸的四个点坐标应用到对齐后的近红外图上，得到包含人脸和一定背景区域的近红外图人脸。在对彩色图和近红外图进行背景扩充后，可以进一步对扩充后的彩色图和扩充后的近红外图进行图像数据增强处理。如可以是将彩色图人脸和近红外图人脸通过在线数据增强的方式和离线数据增强的方式，对获取的彩色图人脸和近红外图人脸进行图像样本扩充和图像增强。具体而言，可以通过对彩色图人脸和近红外图
人脸进行图像样本扩充，以实现扩充样本图像数量，增加图像样本的数量。图像增强可以是对彩色图人脸和近红外图人脸进行外观增强、几何增强、虚拟样本增强以及真人数据增强，模拟现实场景下采集的人脸样本，从而解决了在图像数据采集的过程中没有考虑到的多种场景的问题。随后可以将增强后的彩色图人脸输入到彩色图判别模型，得到彩色图人脸的真伪识别结果，并将增强后的近红外图人脸数据输入到近红外图判别模型，得到近红外图人脸的真伪识别结果，从而实现对人脸分类模型的模型训练，当人脸分类模型训练到一定的阶段后，可以将人脸分类模型应用到实际检测中，以检测人脸分类模型准确率。
118.步骤360，依据第三增强图像数据和第四增强图像数据进行模型训练，得到人脸分类模型。
119.作为本技术的一个示例，在模型训练阶段，可以通过算法构建彩色图判别模型和红外图判别模型，可以是将第三增强图像数据输入到彩色图判别模型，以得到第三增强图像数据对应的人脸真伪的识别结果，将第四增强图像数据输入到红外图判别模型，以得到第四增强图像数据对应的人脸真伪的识别结果。随后，可以根据第三增强图像数据对应的人脸真伪的识别结果和第四增强图像数据对应的人脸真伪的识别结果，进而确定彩色图判别模型和红外图判别模型的准确率。随后可以将彩色图判别模型和红外图判别模型作为人脸分类模型。
120.在实际处理中，对人脸分类模型的前期训练，可以采用人工样本标注的方式，即通过人工将待训练的图像数据标注为真人脸或伪人脸，并将标注后的第三增强图像数据和第四增强图像数据输入至人脸分类模型中，使得人脸分类模型能分别记住真人脸图像数据对应的人脸图像特征和伪人脸图像数据对应的人脸图像特征。当训练达到一定阶段后，可以将未标注的待训练的图像数据进行对齐、扩充以及增强等处理后输入至人脸分类模型中，进行人脸真伪识别，以实现对人脸分类模型的模型训练。
121.本技术实施例在训练好人脸分类模型后，可以通过该人脸分类模型利用目标图像数据中的彩色图像数据和红外图像数据进行人脸真伪识别，确定人脸真伪，解决了现有的基于人脸的三维信息的人脸活体防伪算法在采集到仿真面具图像数据时无法准确判断的问题，提高人脸活体真伪识别的准确率。
122.需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。
123.如图5所示，本技术实施例提供了一种人脸真伪识别的数据处理装置500，包括；
124.图像数据获取模块510，用于获取目标图像数据；
125.图像数据对齐模块520，用于依据所述目标图像数据进行图像对齐，得到对齐图像数据，其中，所述对齐图像数据包含第一对齐图像数据和第二对齐图像数据；
126.图像数据扩充模块530，用于依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，所述第一扩充图像数据为所述第一对齐图像数据对应扩充后的图像数据，所述第二扩充图像数据为所述第二对齐图像数据对应扩充后的图像数据；
127.图像数据识别模块540，用于依据所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果。
128.可选的，所述获取目标图像数据，包括：
129.获取目标对象的彩色图像数据和红外图像数据，其中，所述彩色图像数据为通过彩色图像采集设备采集到的图像数据，所述红外图像数据为通过红外图像采集设备采集到的图像数据；
130.将所述彩色图像数据和所述红外图像数据作为所述目标图像数据。
131.可选的，所述依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，包括：
132.依据所述第一对齐图像数据进行人脸检测，得到所述目标人脸位置信息；
133.基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据。
134.可选的，所述目标人脸位置信息包含目标人脸坐标信息，所述基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据，包括：
135.基于所述目标人脸坐标信息，按照所述扩充比例信息对所述第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据；
136.基于所述目标人脸坐标信息确定所述第二对齐图像数据的目标人脸位置信息，并基于所述目标人脸位置信息按照所述扩充比例信息对所述第二对齐图像数据进行扩充，得到包含背景信息的第二扩充图像数据。
137.可选的，所述基于所述目标人脸位置信息，分别按照预设的扩充比例信息对所述第一对齐图像数据和所述第二对齐图像数据进行扩充，得到所述第一对齐图像数据对应的第一扩充图像数据和所述第二对齐图像数据对应的第二扩充图像数据，包括：
138.基于所述目标人脸位置信息，按照所述扩充比例信息对所述第一对齐图像数据进行扩充，得到包含背景信息的第一扩充图像数据；
139.基于所述第一扩充图像数据的坐标信息，从所述第二对齐图像数据中获取第二扩充图像数据。
140.可选的，所述人脸分类模型包括彩色图判别模型和红外图判别模型，所述将所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果，包括：
141.通过所述彩色图判别模型，对所述第一扩充图像数据进行识别，得到第一识别结果；
142.通过所述红外图判别模型，对所述第二扩充图像数据进行识别，得到第二识别结果；
143.依据所述第一识别结果和所述第二识别结果，生成所述人脸真伪的识别结果。
144.可选的，所述获取目标图像数据之前，还包括：
145.从预设的训练数据集中获取待训练图像数据，所述待训练图像数据包含待训练彩色图像数据和和与所述待训练彩色图像数据对应的待训练红外图像数据；
146.依据所述待训练图像数据进行图像对齐，得到所述待训练彩色图像数据对应的第
三对齐图像数据和所述待训练红外图像数据对应的第四对齐图像数据；
147.依据所述第三对齐图像数据进行人脸检测，得到人脸位置信息；
148.基于所述人脸位置信息，分别按照预设的扩充比例信息对所述第三对齐图像数据和所述第四对齐图像数据进行扩充，得到所述第三对齐图像数据对应的第三扩充图像数据和所述第四对齐图像对应的第四扩充图像数据；
149.分别依据所述第三扩充图像数据和所述第四扩充图像数据进行在增强处理，得到所述第三扩充图像数据对应的第三增强图像数据和所述第四扩充数据对应的第四增强图像数据；
150.依据第三增强图像数据和第四增强图像数据进行模型训练，得到人脸分类模型。
151.需要说明的是，本技术实施例提供的人脸真伪识别的数据处理证装置可执行本技术任意实施例所提供的人脸真伪识别的数据处理方法，具备执行方法相应的功能和有益效果。
152.在具体实现中，上述人脸真伪识别的数据处理装置可以集成在设备中，使得该设备可以依据目标图像数据进行人脸真伪识别，以作为人脸真伪识别设备，实现对人脸真伪的识别。该人脸真伪识别设备可以是由两个或多个物理实体构成，也可以是一个物理实体构成，如设备可以是个人计算机(personal computer，pc)、电脑、服务器等，本技术实施例对此不作具体限制。
153.如图6所示，本技术实施例提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信；存储器113，用于存放计算机程序；处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的人脸真伪识别的数据处理方法的步骤。示例性的，人脸真伪识别的数据处理方法的步骤可以包括如下步骤：获取目标图像数据；依据所述目标图像数据进行图像对齐，得到对齐图像数据，其中，所述对齐图像数据包含第一对齐图像数据和第二对齐图像数据；依据所述第一对齐图像数据的目标人脸位置信息进行图像扩充，得到第一扩充图像数据和第二扩充图像数据，所述第一扩充图像数据为所述第一对齐图像数据对应扩充后的图像数据，所述第二扩充图像数据为所述第二对齐图像数据对应扩充后的图像数据；依据所述第一扩充图像数据和所述第二扩充图像数据，通过预先训练的人脸分类模型，生成所述目标图像数据对应的人脸真伪的识别结果。
154.本技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的人脸真伪识别的数据处理方法的步骤。
155.需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
156.以上所述仅是本技术的具体实施方式，使本领域技术人员能够理解或实现本申
请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。