人脸识别过程中的欺诈行为检测方法及装置与流程

1.本说明书一个或多个实施例涉及图像处理技术领域，尤其涉及一种人脸识别过程中的欺诈行为检测方法及装置。


背景技术：

2.随着人类社会进入数字时代，计算机、互联网技术迅猛发展，生物识别技术也越来越多的被应用于核身认证，刷脸支付等场景。人脸识别技术因其安全性和非接触性等优点，在现有生物特征识别技术当中更容易被用户接受，已成为学术界和工业界的一个重点研究方向。然而人脸识别技术能识别人脸图像的身份但无法准确辨别所输入人脸的真伪。那么如何高效自动地辨别图像真伪，抵抗欺骗攻击，已成为人脸识别技术中一个迫切需要解决的问题。


技术实现要素：

3.本说明书一个或多个实施例描述了一种人脸识别过程中的欺诈行为检测方法及装置，可以提升欺诈行为检测的准确性。
4.第一方面，提供了一种人脸识别过程中的欺诈行为检测方法，包括：
5.在用户进行人脸识别的过程中，获取所述用户的人脸图像；
6.将所述人脸图像输入预先训练的欺诈检测模型进行欺诈行为检测；所述欺诈检测模型包括编码器、解码器和分类器；所述欺诈行为检测包括，利用所述编码器获取所述人脸图像的目标特征表示；利用所述解码器基于所述目标特征表示，生成对应于所述人脸图像的欺诈线索图；所述欺诈线索图示出欺诈行为的判别特征；利用所述分类器基于所述欺诈线索图以及所述人脸图像，确定所述人脸图像的第一打分，所述第一打分表示该次人脸识别存在欺诈行为的概率；
7.从所述人脸图像中提取成像设备的设备特征；
8.将所述设备特征输入预先训练的设备类型预测模型，以预测所述人脸图像对应于各预定设备类型的多个打分；
9.基于所述多个打分中的最高分，以及所述第一打分，确定该次人脸识别是否存在欺诈行为。
10.第二方面，提供了一种人脸识别过程中的欺诈行为检测装置，包括：
11.获取单元，用于在用户进行人脸识别的过程中，获取所述用户的人脸图像；
12.输入单元，用于将所述人脸图像输入预先训练的欺诈检测模型进行欺诈行为检测；所述欺诈检测模型包括编码器、解码器和分类器；所述欺诈行为检测包括，利用所述编码器获取所述人脸图像的目标特征表示；利用所述解码器基于所述目标特征表示，生成对应于所述人脸图像的欺诈线索图；所述欺诈线索图示出欺诈行为的判别特征；利用所述分类器基于所述欺诈线索图以及所述人脸图像，确定所述人脸图像的第一打分，所述第一打分表示该次人脸识别存在欺诈行为的概率；
13.提取单元，用于从所述人脸图像中提取成像设备的设备特征；
14.所述输入单元，还用于将所述设备特征输入预先训练的设备类型预测模型，以预测所述人脸图像对应于各预定设备类型的多个打分；
15.确定单元，用于基于所述多个打分中的最高分，以及所述第一打分，确定该次人脸识别是否存在欺诈行为。
16.第三方面，提供了一种计算机存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面的方法。
17.第四方面，提供了一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面的方法。
18.本说明书一个或多个实施例提供的人脸识别过程中的欺诈行为检测方法，首先提出可以结合欺诈线索图来对人脸图像进行打分，由于这里的欺诈线索图可以示出欺诈行为的判别特征，从而本方案可以提升第一打分的准确性。此外，还提出可以结合成像设备的设备信息，来进行欺诈行为检测。需要说明，在人脸识别过程中，攻击者使用的欺诈图像(如，图像或视频等)通常通过二次采集得到，其中通常会隐含有成像设备(或称采集设备)的唯一性信息，因此，本方案可以提升欺诈行为检测的准确性。
附图说明
19.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
20.图1为本说明书披露的一个实施例的实施场景示意图；
21.图2示出在一个实施例中欺诈检测模型的结构示意图；
22.图3示出根据一个实施例的训练欺诈检测模型的方法流程图；
23.图4示出在一个实施例中欺诈图像的示意图；
24.图5示出在一个实施例中样本线索图、预测反射图和预测深度图的示意图；
25.图6示出根据一个实施例的训练设备类型预测模型的示意图；
26.图7示出在一个实施例中设备类型预测模型的预测效果展示图；
27.图8示出根据一个实施例的人脸识别过程中的欺诈行为检测方法的流程图；
28.图9示出根据一个实施例的第一打分的调整方法流程图；
29.图10示出根据一个实施例的人脸识别过程中的欺诈行为检测装置的示意图。
具体实施方式
30.下面结合附图，对本说明书提供的方案进行描述。
31.图1为本说明书披露的一个实施例的实施场景示意图。图1中，在用户进行人脸识别的过程中，可以获取用户的人脸图像。针对该人脸图像通过两条链路进行两种不同的处理。其中，第一种处理包括：将人脸图像输入预先训练的欺诈检测模型，通过该欺诈检测模型的输出得到第一打分，该第一打分表示该次人脸识别存在欺诈行为的概率。第二种处理包括：从人脸图像中提取成像设备的设备特征；将设备特征输入预先训练的设备类型预测
模型，得到人脸图像对应于各预定设备类型的多个打分。之后基于多个打分中的最高分，以及第一打分，确定该次人脸识别是否存在欺诈行为。
32.以下针对上述欺诈检测模型和设备类型预测模型的训练过程进行说明。
33.本说明书实施例所述的欺诈检测模型可以如图2所示。图2中，该欺诈检测模型可以包括编码器、解码器和分类器。此外，还可以包括辅助图生成器。其中，编码器和解码器之间基于u
‑
net结构相连接，具体而言，编码器与解码器之间存在多尺度的跳跃连接。上述编码器进一步可以包括，具有不同网络层数和/或网络参数的两个中心差分卷积网络。辅助图生成器进一步可以包括，用于生成深度图的第一生成器和用于生成反射图的第二生成器。
34.关于图2示出的欺诈检测模型，其具体可以通过图3示出的方法进行训练。如图3所示，该训练方法至少可以包括如下步骤。
35.步骤302，获取训练样本集。
36.上述训练样本集中的每个训练样本可以包括一张样本图像和三个样本标签。该三个样本标签具体可以为第一标签、第二标签和第三标签。其中的第一标签指示样本图像是否为欺诈图像。比如，该第一标签可以为“0”或“1”，其中，“1”表示是欺诈图像，“0”表示不是欺诈图像，或者表示活体图像。这里的活体图像通过采集设备直接获取真实人脸的生理特征得到。
37.上述第二标签为样本图像的标定深度图。深度图通常示出图像中的目标对象(比如，人脸)的三维几何信息。上述第三标签为样本图像的标定反射图。反射图通常示出图像中的光谱信息。以下将样本图像分为欺诈图像和非欺诈图像(即活体图像)两种来讨论其标定深度图和标定反射图的生成过程。
38.对于欺诈图像，由于其通常通过二次采集得到(即先使用采集设备采集人脸图像或视频，之后在人脸识别过程中再针对人脸图像或视频进行二次采集)，从而其通常不包含深度信息。基于此，在本说明书中，将不包含任何深度信息的全黑图作为欺诈图像的标定深度图。以及将基于样本图像生成的包含有光谱信息的rgb图作为欺诈图像的标定反射图，其生成过程可参照预测反射图的生成。
39.对于活体图像，由于其通常直接基于活体人脸采集得到，因此，通常情况下，该活体图像中不包含光谱信息。基于此，本说明书中，将不包含任何光谱信息的全黑图作为活体图像的标定反射图。以及将基于样本图像生成的uv位置图作为其标定深度图。该标定深度图的生成过程是一个编解码的过程，具体可参照预测深度图的生成。这里的uv位置图是一种在uv空间中记录点的三维位置的二维图像。这里的uv空间或者uv坐标，是一种对三维空间中的点进行参数化后形成的二维图像平面，其可以用作纹理贴图(如，面部纹理)的表达。
40.此外，本说明书所述的欺诈图像可以分为两类：一类称为“同人”欺诈图像，另一类称为“同介质”欺诈图像，具体可以参见图4所示。图4中，上边示出“同人”欺诈图像，其可以通过对同一张人脸图像以不同方式进行采集得到。比如，不同角度的彩色打印，不同设备的翻拍采集或者不同环境的面具制作等。应理解，“同人”欺诈图像之间具有相同的人脸特征。图4中，下边示出“同介质”欺诈图像，其可以基于同一介质采集得到。这里的同一介质包括但不限于同一显示器、同一面具或者同一个手机等。应理解，“同介质”欺诈图像之间通常具有相似的介质特征，比如，具有相似的显示器边框、相似的背景或者相似的纸张打印边缘等。
41.步骤304，将训练样本集中的各样本图像输入欺诈检测模型。
42.需要说明，由于利用欺诈检测模型针对各样本图像的处理过程相同，因此，以下以针对任意的第一样本图像为例，对其处理过程进行说明。
43.具体地，对于训练样本集中任意的第一样本图像，可以利用编码器获取第一样本图像的样本特征表示。利用辅助图生成器基于样本特征表示，生成对应于第一样本图像的预测深度图和预测反射图。利用解码器基于样本特征表示，生成对应于第一样本图像的样本线索图。利用分类器基于样本线索图以及第一样本图像，确定第一样本图像的样本打分。
44.首先，如前所述，上述编码器可以进一步包括具有不同网络层数和/或网络参数的两个中心差分卷积网络。从而上述利用编码器获取第一样本图像的样本特征表示可以包括：分别利用两个中心差分卷积网络对第一样本图像进行卷积处理，得到两个中间特征表示。对得到的两个中间特征表示进行融合，得到样本特征表示。
45.以上述两个中心差分卷积网络中任意的第一卷积网络为例来说，利用该第一卷积网络得到对应的中间特征表示的过程可以如下：利用卷积核重复多次地对第一样本图像中，不同卷积窗口内的像素执行聚合操作。该聚合操作包括，对当前卷积窗口内的各像素与中心像素之间的梯度信息进行加权求和，以及对当前卷积窗口内的各像素进行加权求和。对两次加权求和结果进行聚合，得到当前卷积窗口对应的聚合结果。基于各卷积窗口各自对应的聚合结果(也即特征图)，确定对应于第一卷积网络的中间特征表示。
46.在一个例子中，通过以下公式获取当前卷积窗口对应的聚合结果。
[0047][0048]
其中，p0为当前卷积窗口内的中心位置，y(p0)为当前卷积窗口对应的聚合结果。θ为超参数，其取值范围为[0,1]。r为卷积窗口的大小。p0 p
n
为当前卷积窗口内的各个位置,x(p0)为当前卷积窗口内中心位置的像素，也称中心像素，x(p0 p
n
)为当前卷积窗口内的各个像素。w(p
n
)为卷积参数。
[0049]
应理解，上述只是利用一个卷积核对第一样本图像执行聚合操作的过程。在实际应用中，也可以利用多个卷积核分别针对第一样本图像执行聚合操作，具体的聚合过程可以同上所述，在此不复赘述。应理解，在利用多个卷积核分别执行聚合操作时，则可以得到多个特征图，从而可以基于该多个特征图，确定对应于第一卷积网络的中间特征表示。
[0050]
此外，上述只是描述了一个卷积层的处理。在第一卷积网络包括多个卷积层时，则可以利用每一层的卷积核重复多次地对上一层得到的特征图进行聚合操作，之后基于最后一层得到的特征图，确定对应于第一卷积网络的中间特征表示。
[0051]
其次，如前所述，上述辅助图生成器可以进一步包括第一生成器和第二生成器。从而上述利用辅助图生成器基于样本特征表示，生成对应于第一样本图像的预测深度图和预测反射图具体可以包括，利用第一生成器基于样本特征表示，生成对应于第一样本图像的预测深度图；以及利用第二生成器基于样本特征表示，生成对应于第一样本图像的预测反
射图。
[0052]
上述生成预测深度图具体可以包括：利用第一生成器对样本特征表示进行若干次卷积处理和若干次转置卷积处理，得到表示第一样本图像中的人脸的三维几何信息的uv位置图，将该uv位置图作为预测深度图。
[0053]
在一个具体例子中，第一生成器具体可以包括一个编码模块和一个解码模块。其中，编码模块可以基于1个卷积层和10个残差块实现。利用该编码模块可以将256*256*3的输入图像减少为8*8*512的特征图。解码模块可以包括17个转置卷积层。利用该解码模块可以生成256*256*3的位置图。上述所有卷积层或转置卷积层各自对应的卷积核大小为4*4，并使用relu层进行激活。由此得到的位置图可以包含完整的三维信息和点的位置对齐结果。
[0054]
此外，上述生成预测反射图具体可以包括：利用第二生成器对样本特征表示进行若干次卷积处理后进行线性变换处理，得到对应于第一样本图像的两张rgb图，将该两张rgb图中包含光谱信息的rgb图作为预测反射图。
[0055]
在一个具体例子中，上述第二生成器可以实现为一个全卷积网络。该全卷积网络可以包括9个卷积层和1个线性变换层。其中的第1个卷积层对应的卷积核的大小可以为1*1，其例如可以将(1472 3)的特征维度降为64维。剩余的8个卷积层各自对应的卷积核的大小可以为3*3。此外，各中间卷积层均可以有64个特征通道。在最后一层，可以使用线性变换在rgb颜色空间中合成2张图像，其中的一种图像中包含有光谱信息。
[0056]
其次，关于上述解码器生成的样本线索图，其通常与输入图像具有相同的大小或尺寸，用于示出欺诈行为的判别特征。对于活体图像，由于其不具有任何欺诈行为的判别特征，因此，在理想情况下，针对其生成的样本线索图应该为像素全部为0的图像(也即全黑图)。
[0057]
在一个例子中，针对任一样本图像，利用欺诈检测模型生成的样本线索图、预测反射图和预测深度图可以如图5所示。图5中，上面一行示出针对活体图像，生成的样本线索图、预测反射图和预测深度图。下面一行示出针对欺诈图像，生成的样本线索图、预测反射图和预测深度图。
[0058]
最后，上述分类器具体是二分类分类器，其用于将输入的样本图像分类为欺诈图像或活体图像。在一个例子中，如果对应的样本打分大于预定阈值，则可以将样本图像分类为欺诈图像，否则将样本图像分类为活体图像。
[0059]
步骤306,根据各样本图像各自对应的第一标签以及样本打分，确定第一预测损失，根据各样本图像各自对应的预测深度图以及第二标签，确定第二预测损失，根据各样本图像各自对应的预测反射图以及第三标签，确定第三预测损失，根据各样本图像中活体图像的样本线索图，确定第四预测损失。
[0060]
在一种实现方式中，上述第一预测损失具体可以是利用交叉熵损失函数(cross entropy loss)计算得到。以及第二预测损失和第三预测损失可以是利用均方差损失函数(mse loss)(一种像素级损失函数)计算得到。具体地，上述第二预测损失，可以是通过对预测深度图和标定深度图中对应位置的每个像素求差并求平方后，再对各求平方结果累加并求平均得到。同样的，上述第三预测损失，可以是通过对预测反射图与标定反射图中对应位置的每个像素求差并求平方后，再对各求平方结果累加并求平均得到。
[0061]
需要说明，为了提高对未知欺诈类型的泛化性，本说明书实施例中，仅仅最小化活体图像与其样本线索图之间的区分性，而不针对欺诈图像进行约束。也就是说，根据各样本图像中活体图像的样本线索图，确定第四预测损失。
[0062]
在一种实现方式中，上述第四预测损失具体可以是利用回归损失函数计算得到。这里的回归损失函数具体可以为平均绝对误差损失函数(mae loss)(一种像素级损失函数)。而如前所述，在理想情况下，针对活体图像生成的样本线索图应该为像素全部为0的图像(相当于标定线索图)。因此，上述第四预测损失，具体可以是通过对活体图像的样本线索图中的各像素进行求平均得到。
[0063]
当然，在实际应用中，还可以计算第五预测损失，该第五预测损失具体可以是基于解码器的中间输出与编码器的中间输出而确定，其用于约束同类样本(活体图像与活体图像)之间的紧凑性以及类间样本(活体图像与欺诈图像)之间的区分性。在一种实现方式中，该第五预测损失具体可以是利用弧面损失(arcface loss)函数计算得到。
[0064]
步骤308,至少以最小化第一、第二、第三和第四预测损失为目标，调整欺诈检测模型的模型参数。
[0065]
具体地，可以先对第一、第二、第三和第四预测损失进行加权求和，得到最终预测损失。之后根据最终预测损失，利用反向传播法，确定各层网络的网络参数对应的更新梯度。最后，基于更新梯度，调整各层网络的网络参数。至此就得到了训练后的欺诈检测模型。
[0066]
在一个例子中，可以根据如下公式获取最终预测损失。
[0067]
l
total
＝λ1l
c
λ2l
g_1
λ3l
g_2
λ4l
r
λ5l
arc
ꢀꢀꢀ
(公式2)
[0068]
其中，l
total
为最终预测损失，l
c
为第一预测损失，l
g_1
为第二预测损失，l
g_2
为第三预测损失，l
r
为第四预测损失，l
arc
为第五预测损失。此外，λ1‑
λ5分别为各预测损失各自对应的权重系数。
[0069]
综合以上，本说明书实施例提供的欺诈检测模型的训练方法，解码器中的两个中心差分卷积网络可以综合利用像素强度和梯度信息，来提取样本图像中更细节的特征，这可以增强编码环节的特征表征能力。此外，上述训练过程中还引入了深度图和反射图两个监督信息，由此可以使得所得到的目标特征表示可以更好地对欺诈图像进行响应。最后，上述训练过程中，只基于回归损失函数最小化活体图像的样本线索图，而对欺诈图像的样本线索图则不施加任何约束，可以提供对未知欺诈类型的泛化能力。
[0070]
以上是对欺诈检测模型的训练方法的说明，以下针对上述设备类型预测模型的训练方法进行说明。
[0071]
一般来说，在工艺伸长和成像处理的过程中，会对图像内容造成一些不明显的痕迹，而这些信息则被视为对应设备特有的模式，可以被看作该设备的设备类型(也称设备型号或设备指纹)。以下对用于识别成像设备的设备类型的模型(即设备类型预测模型)的训练过程进行详细说明。
[0072]
图6示出根据一个实施例的训练设备类型预测模型的示意图。如图6所示，该训练过程可以如下：收集一批样本图像。对收集的一批样本图像进行划分分组，得到若干图像组。确定各图像组各自对应的设备特征。将各图像组各自对应的设备特征输入设备类型预测模型，得到各图像组各自对应的预测结果。基于各图像组各自对应的预测结果以及样本标签，确定预测损失，并基于该预测损失，调整设备类型预测模型的参数。
[0073]
以下对上述训练过程进行详细说明。
[0074]
首先，上述收集的一批样本图像可以包括若干活体图像和若干欺诈图像。其中的每个欺诈图像可以通过一种已知设备类型的成像设备采集得到。在一个例子中，这里的若干欺诈图像可以涵盖分别通过24种不设备类型的成像设备所采集的图像。
[0075]
其次，上述划分分组可以包括：将若干活体图像划分为一组。该图像组的样本标签可以为类型0。对于若干欺诈图像，按照对应的成像设备的设备类型进行分组。也就是说，同一分组中的各欺诈图像对应的成像设备的设备类型相同。需要说明，基于若干欺诈图像划分的各图像组各自对应的样本标签可以为类型1
‑
类型24中的任一种。
[0076]
再者，关于设备特征的确定步骤，由于各图像组各自对应的设备特征的确定方法相类似，因此，以下以任意的第一图像组为例来说明。
[0077]
对于第一图像组中的任意的第一图像，可以利用离散余弦变换(discrete cosine transform，dct)从中提取高频信息，然后将提取的高频信息作为对应的中间设备特征。具体地，可以对第一图像进行dct变换，得到第一变换结果。基于第一变换结果进行快速傅里叶变换(fast fourier transform，fft)，得到第二变换结果。基于第二变换结果，确定对应于第一图像的中间设备特征。
[0078]
在一个具体例子中，确定对应于第一图像的中间设备特征可以包括：将第一图像划分为n*n(比如，8*8)个方格。针对划分方格后的人脸图像进行dct变换并量化，得到n*n个dct系数。对于n*n个dct系数中任意的第一系数，以该第一系数为频率，计算对应的第一频率密度直方图(即对普通直方图进行了正规化)。对第一频率密度直方图进行fft变换(一种通过频域分析去除直流分量的分析方法)，以得到若干交流分量。从若干交流分量中，统计大于目标阈值的目标交流分量的第一数目。将基于n*n个dct系数中各个dct系数统计的各个数目进行拼接，得到对应的中间设备特征。
[0079]
应理解，在实际应用中，上述各个步骤均是可以发生变化的，比如，也可以不对第一图像划分方格而直接进行dct变换。再比如，在最后一个步骤中，也可以将基于各个dct系数统计的各个数目中前k个数目进行拼接，得到对应的中间设备特征等等。
[0080]
在确定出第一图像组中各张图像各自对应的中间设备特征之后，可以对各中间设备特征进行融合(比如，加权求和)，并将融合结果作为第一图像组对应的第一设备特征。类似地，可以得到其它图像组各自对应的设备特征。
[0081]
此外，上述设备类型预测模型可以实现为多分类分类器。
[0082]
在一个例子中，各图像组中任意的第一图像组对应的预测结果可以包括该第一图像组对应于各预定设备类型的多个打分。
[0083]
在另一个例子中，上述预测结果也可以为对应图像组的预测类型。
[0084]
最后，关于预测损失的确定步骤，在一个例子中，可以先根据各图像组各自对应的预测结果中的最高分，确定各图像组各自对应的预测类型。之后，基于各图像组各自对应的预测类型以及样本标签，并结合损失函数(如，交叉熵损失函数)，确定预测损失。以及根据预测损失，利用反向传播法，确定各层网络的网络参数对应的更新梯度。最后，基于更新梯度，调整各层网络的网络参数。至此就得到了训练后的设备类型预测模型。
[0085]
需要说明，通过上述训练过程所训练的设备类型预测模型，可以精确地对人脸图像的成像设备的设备类型进行预测。
[0086]
图7示出在一个实施例中设备类型预测模型的预测效果展示图。图7中，基于模型提取的设备特征，可以实现对来自不同成像设备的欺诈图像的精准召回。
[0087]
以上是针对欺诈检测模型和设备类型预测模型的训练过程的说明，以下对基于两种模型所实现的欺诈行为的检测方法进行说明。
[0088]
图8示出根据一个实施例的人脸识别过程中的欺诈行为检测方法流程图。该方法可以通过任何具有计算、处理能力的装置、设备、平台、设备集群来执行。如图8所示，该方法至少可以包括如下步骤。
[0089]
步骤802，在用户进行人脸识别的过程中，获取用户的人脸图像。
[0090]
该人脸图像可以是直接从互联网或社交媒体首次采集得到，也可以是二次采集得到。其中，首次采集的真实人脸的图像也称活体图像，二次采集的图像或者面具称为欺诈图像。
[0091]
步骤804，将人脸图像输入预先训练的欺诈检测模型进行欺诈行为检测，得到第一打分。
[0092]
这里的欺诈检测模型可以是通过上述图3示出的各方法步骤训练得到。如前所述，该欺诈检测模型可以包括编码器、解码器和分类器。
[0093]
上述欺诈行为检测具体可以包括，利用编码器获取人脸图像的目标特征表示。利用解码器基于目标特征表示，生成对应于人脸图像的欺诈线索图。该欺诈线索图示出欺诈行为的判别特征。利用分类器基于欺诈线索图以及人脸图像，确定人脸图像的第一打分，该第一打分表示该次人脸识别存在欺诈行为的概率。
[0094]
上述利用编码器获取人脸图像的目标特征表示具体可以包括：分别利用两个中心差分卷积网络对人脸图像进行卷积处理，得到两个中间特征表示。对得到的两个中间特征表示进行融合，得到目标特征表示。其中，对应于每个中心差分卷积网络的中间特征表示的获取方法，可以参照上述步骤304中对应于第一卷积网络的中间特征表示的获取方法，本说明书在此不复赘述。
[0095]
此外，关于欺诈线索图，其定义与样本线索图相同，即用于示出欺诈行为的判别特征。因此，如果当前的人脸图像是活体图像，那么对应的欺诈线索图应该为像素全部为0的图像(也即全黑图)。而如果当前的人脸图像是欺诈图像，那么对应的欺诈线索图可以示出对应的判别特征。具体可以参照图5所示。
[0096]
最后，上述欺诈线索图和人脸图像以残差学习的方式输入到分类器，可以提高对欺诈行为的判别特征学习的准确性，也即可以提高欺诈线索图生成的准确性。
[0097]
步骤806，从人脸图像中提取成像设备的设备特征。
[0098]
这里的设备特征提取方法与步骤606中第一图像的中间设备特征的提取方法相类似。即可以利用dct变换，从人脸图像中提取高频信息，然后将提取的高频信息作为对应的设备特征。具体地，可以对人脸图像进行dct变换，得到第一变换结果。基于第一变换结果进行fft变换，得到第二变换结果。基于第二变换结果，确定对应于人脸图像的设备特征。
[0099]
步骤808，将设备特征输入预先训练的设备类型预测模型，以预测人脸图像对应于各预定设备类型的多个打分。
[0100]
这里的设备类型预测模型可以是通过上述图6示出的各方法步骤训练得到。如，通过该模型可以预测得到该人脸图像分别与类型0
‑
类型24对应的25个打分。
[0101]
需要说明，这里的多个打分中的每个打分，表示该人脸图像的成像设备属于对应设备类型的概率。
[0102]
步骤810，基于多个打分中的最高分，以及第一打分，确定该次人脸识别是否存在欺诈行为。
[0103]
在确定该次人脸识别是否存在欺诈行为之前，可以先对上述最高分和第一打分进行预处理。在一个例子中，针对第一打分的预处理可以包括：对第一打分进行归一化处理。针对最高分的预处理可以包括：判断该最高分对应的预定设备类型是否为类型0，如果是，则先对最高分进行归一化处理，再用1减去归一化后的最高分。否则，直接对最高分进行归一化处理。
[0104]
在还执行上述预处理的步骤时，可以基于预处理后的最高分以及第一打分，确定该次人脸识别是否存在欺诈行为。
[0105]
上述确定该次人脸识别是否存在欺诈行为可以包括：判断最高分(或者预处理后的最高分)以及第一打分(或者预处理后的第一打分)是否在相一致的置信度区间。若在相一致的置信度区间，则基于第一打分(或者预处理后的第一打分)，确定最终打分。基于最终打分，确定该次人脸识别是否存在欺诈行为。
[0106]
上述判断最高分和第一打分是否在相一致的置信度区间，包括：判断最高分和第一打分是否均小于第一阈值(如，0.1)或者均大于第二阈值(如，0.9)。其中，第二阈值大于第一阈值。若是，则确定最高分和第一打分在相一致的置信度区间。否则，不在相一致的置信度区间。
[0107]
在一个例子中，上述基于第一打分，确定最终打分可以为：如果最高分和第一打分均小于第一阈值，则可以将最终打分确定为：0。而如果最高分和第一打分均大于第二阈值，则可以将最终打分确定为：1。
[0108]
在上述例子中，若最终打分为：0，则确定该次人脸识别不存在欺诈行为，也即当前的人脸图像为活体图像。而若最终打分为：1，则确定该次人脸识别存在欺诈行为，也即当前的人脸图像为欺诈图像。
[0109]
需要说明，在实际应用中，也可以先执行步骤806
‑
步骤810，再执行步骤804；或者也可以同时步骤806
‑
步骤810和步骤804，本说明书对此不作限定。
[0110]
还需要说明，图8示出的方法是通过结合欺诈检测模型和设备类型预测模型两个模型的打分，来确定该次人脸识别过程是否存在欺诈行为。在实际应用中，还可以结合其它模型的打分，来确定该次人脸识别过程是否存在欺诈行为。以下对该结合过程进行详细说明。
[0111]
将人脸图像输入多任务分类器，得到多任务分类器针对人脸图像的第二打分。该第二打分表示该次人脸识别存在欺诈行为的概率；和/或，将人脸图像输入二分类分类器，得到二分类分类器针对所述人脸图像的第三打分。该第三打分表示该次人脸识别存在欺诈行为的概率。之后判断最高分、第一打分以及第二打分和/或第三打分是否在相一致的置信度区间。若在相一致的置信度区间，则基于第一打分，确定最终打分。基于最终打分，确定该次人脸识别是否存在欺诈行为。
[0112]
关于上述多任务分类器，其可以实现为aenet模型。在一个例子中，该多任务分类器可以具有三个分支任务：第一，预测人脸图像的语义信息(semantic)，这里的语义信息可
以包括但不限于活体图像的属性信息、欺诈图像的类型信息以及欺诈图像的环境信息中的至少一项。第二，预测人脸图像是否为欺诈图像。第三，预测人脸图像的深度图和反射图，由此可以提升模型针对活体图像和欺诈图像的表征能力。
[0113]
关于上述二分类分类器，其可以实现为resnet模型。该模型的引入主要是为了解决aenet模型对面具欺诈图像和室外欺诈图像的召回率低的问题。因此，其也可以称为辅助分类器。
[0114]
需要说明，对于该辅助分类器，其训练样本的负样本可以只包括面具欺诈图像和室外欺诈图像，以期望可以和aenet模型进行性能互补。此外，对应的损失函数可以采用焦点损失(focal loss)，用于解决简单样本的欠拟合问题。此外，对于训练样本，还可以对其进行增强处理，以提升模型的泛化性能。这里的增强处理可以包括随机裁剪(random crop)、图像翻转(flip)以及色彩失真(color distortion)中的至少一项。相应地，对于输入到二分类分类器的人脸图像，也可以先对该人脸图像进行增强处理，之后再将增强处理后的人脸图像输入到二分类分类器。
[0115]
最后，上述判断最高分、第一打分以及第二打分和/或第三打分是否在相一致的置信度区间，与上述判断最高分和第一打分是否在相一致的置信度区间相类似。比如，先对各打分进行预处理，然后判断预处理后的各打分是否在相一致的置信度区间等。具体判断过程和最终打分的确定过程可以参见上文所述，在此不复赘述。
[0116]
综合以上，本说明书实施例提供的人脸识别过程中的欺诈行为检测方法，首先提出可以结合欺诈线索图来对人脸图像进行打分，由于这里的欺诈线索图可以示出欺诈行为的判别特征，从而本方案可以提升第一打分的准确性。此外，还提出可以结合成像设备的设备信息，来进行欺诈行为检测。需要说明，在人脸识别过程中，攻击者使用的欺诈图像(如，图像或视频等)通常通过二次采集得到，其中通常会隐含有成像设备(或称采集设备)的唯一性信息，因此，本方案可以提升欺诈行为检测的准确性。最后，本方案可以结合多种模型的打分，可以进一步提升欺诈行为检测的准确性。
[0117]
最后需要说明，对于上述第一打分，其可能会存在误差。为此，可以先对该第一打分的分值进行调整，之后基于调整分值后的第一打分，以及其它模型的打分，来确定该次人脸识别是否存在欺诈行为。
[0118]
关于上述第一打分的调整方法可以如图9所示。如图9所示，该方法可以包括如下步骤：
[0119]
步骤902，判断第一打分是否小于预定阈值；若是，则执行步骤904；否则执行步骤910。
[0120]
步骤904，判断第一打分是否与预定阈值相接近；若是，则执行步骤906，否则结束。
[0121]
这里的第一打分与预定阈值相接近可以理解为，该两者在相同的取值区间，比如，该取值区间为[0.85,0.9]。
[0122]
步骤906，依次计算人脸图像与欺诈图像池中各图像类簇各自对应的类簇中心之间的距离。
[0123]
这里的欺诈图像池中的各类簇中心可以分为两组，其中的一组类簇中心基于欺诈图像池中的各欺诈图像的人脸特征聚类得到。另一组类簇中心基于欺诈图像池中的各欺诈图像的介质特征聚类得到。
[0124]
此外，上述各类簇中心中的每个类簇中心对应于一个中心向量。该中心向量可以是对应类簇中心中各欺诈图像的人脸特征或介质特征的融合结果。
[0125]
步骤906具体可以包括:从人脸图像中提取目标人脸特征，基于提取的目标人脸特征，计算人脸图像与上述一组类簇中心中各类簇中心之间的第一距离。从人脸图像中提取目标介质特征，基于提取的目标介质特征，计算人脸图像与上述另一组类簇中心中各类簇中心之间的第二距离。
[0126]
应理解，这里可以是计算目标人脸特征(或目标介质特征)，与各类簇中心的中心向量之间的第一距离(或第二距离)。
[0127]
在一个例子中，上述从人脸图像中提取目标介质特征可以包括：从人脸图像中去除前景图像(即去除人脸信息)。将去除前景图像后的人脸图像输入预先训练的介质预测模型，并获取人脸图像在介质预测模型的全连接层的特征表示。将获取的特征表示作为目标介质特征。这里的介质预测模型可以为多分类分类器。
[0128]
步骤908，若计算的各距离中存在小于距离阈值的目标距离，则将第一打分调整为大于预定阈值的分值。
[0129]
当然，在同时计算上述第一距离和第二距离的情况下，那么步骤908可以替换为：若计算的各第一或第二距离中存在小于距离阈值的目标距离，则将第一打分调整为大于预定阈值的分值。比如，调整为0.9。
[0130]
需要说明，这里之所以将第一打分调整为大于预定阈值的分值，是因为在存在目标距离的情况下，说明欺诈图像池中存在与当前的人脸图像相似的类簇中心，也即当前的人脸图像实际上是欺诈图像，但欺诈检测模型误将其识别为活体图像，从而需要对欺诈检测模型的分类结果进行纠正，也即需要对第一打分进行调整。
[0131]
由此可以看出，通过上述调整第一打分的步骤，可以纠正欺诈检测模型的错误分类结果，进而可以实现与欺诈检测模型的互补。
[0132]
应理解，在将第一打分调整为大于预定阈值的分值之后，可以基于多个打分中的最高分(即由设备类型预测模型输出)，以及调整分值后的第一打分，确定该次人脸识别是否存在欺诈行为。或者，基于多个打分中的最高分、调整分值后的第一打分以及第二打分(即由多任务分类器输出)和/或第三打分(即由二分类分类器输出)，确定该次人脸识别是否存在欺诈行为。具体确定过程可以参见上述所述，在此不复赘述。
[0133]
步骤910，将人脸图像加入欺诈图像池中，以更新各图像类簇各自对应的类簇中心。
[0134]
应理解，若第一打分不小于预定阈值，则可以确定人脸图像为欺诈图像，从而可以将其加入到欺诈图像池中。
[0135]
具体地，在将当前的人脸图像加入欺诈图像池之后，可以重新基于人脸特征和介质特征，对欺诈图像池中的各欺诈图像进行聚类，进而重新计算各类簇中心的中心向量。
[0136]
综上，本说明书实施例提供的人脸识别过程中的欺诈行为检测方法，可以以欺诈检测模型针对人脸图像的打分作为主要依据，以其它模型的打分作为参考信息，来确定该次人脸识别过程是否存在欺诈行为，由此可以大大提升欺诈行为检测的准确性。
[0137]
与上述人脸识别过程中的欺诈行为检测方法对应地，本说明书一个实施例还提供的一种人脸识别过程中的欺诈行为检测装置，如图10所示，该装置可以包括：
[0138]
获取单元1002，用于在用户进行人脸识别的过程中，获取用户的人脸图像。
[0139]
输入单元1004，用于将人脸图像输入预先训练的欺诈检测模型进行欺诈行为检测。该欺诈检测模型包括编码器、解码器和分类器。该欺诈行为检测包括，利用编码器获取人脸图像的目标特征表示。利用解码器基于目标特征表示，生成对应于人脸图像的欺诈线索图。该欺诈线索图示出欺诈行为的判别特征。利用分类器基于欺诈线索图以及人脸图像，确定人脸图像的第一打分，该第一打分表示该次人脸识别存在欺诈行为的概率。
[0140]
上述编码器包括具有不同网络层数和/或网络参数的两个中心差分卷积网络；
[0141]
输入单元1004具体用于：
[0142]
分别利用两个中心差分卷积网络对所述人脸图像进行卷积处理，得到两个中间特征表示；
[0143]
对两个中间特征表示进行融合，得到所述目标特征表示。
[0144]
上述两个中心差分卷积网络包括第一卷积网络，输入单元1004具体用于：
[0145]
利用第一卷积网络重复多次地对所述人脸图像中，不同卷积窗口内的像素执行聚合操作。该聚合操作包括，对当前卷积窗口内的各像素与中心像素之间的梯度信息进行加权求和，以及对当前卷积窗口内的各像素进行加权求和。对两次加权求和结果进行聚合，得到当前卷积窗口对应的聚合结果；
[0146]
基于各卷积窗口各自对应的聚合结果，确定对应于第一卷积网络的中间特征表示。
[0147]
提取单元1006，用于从人脸图像中提取成像设备的设备特征。
[0148]
提取单元1006具体用于：
[0149]
对人脸图像进行dct变换，得到第一变换结果；
[0150]
基于第一变换结果进行fft变换，得到第二变换结果；
[0151]
基于第二变换结果，确定设备特征。
[0152]
提取单元1006还具体用于：
[0153]
将人脸图像划分为n*n个方格；
[0154]
针对划分方格后的人脸图像进行dct变换并量化，得到n*n个dct系数；
[0155]
对于n*n个dct系数中任意的第一系数，以该第一系数为频率，计算对应的第一频率密度直方图；
[0156]
对第一频率密度直方图进行fft变换，以得到若干交流分量；
[0157]
从若干交流分量中，统计大于目标阈值的目标交流分量的第一数目；
[0158]
将基于n*n个dct系数中各个dct系数统计的各个数目进行拼接，得到设备特征。
[0159]
输入单元1004，还用于将设备特征输入预先训练的设备类型预测模型，以预测人脸图像对应于各预定设备类型的多个打分。
[0160]
确定单元1008，用于基于多个打分中的最高分，以及第一打分，确定该次人脸识别是否存在欺诈行为。
[0161]
确定单元1008具体用于：
[0162]
判断最高分和第一打分是否在相一致的置信度区间；
[0163]
若在相一致的置信度区间，则基于第一打分，确定最终打分；
[0164]
基于最终打分，确定该次人脸识别是否存在欺诈行为。
[0165]
确定单元1008还具体用于：
[0166]
判断最高分和所述第一打分是否均小于第一阈值或者均大于第二阈值；其中，第二阈值大于第一阈值；
[0167]
若是，则确定最高分和第一打分在相一致的置信度区间。
[0168]
可选地，上述装置还可以包括调整单元1010。
[0169]
获取单元1002，用于获取训练样本集，其中的每个训练样本包括一张样本图像和三个样本标签。其中的第一标签指示样本图像是否为欺诈图像、第二标签为样本图像的标定深度图，第三标签为样本图像的标定反射图。
[0170]
输入单元1004，还用于将训练样本集中的各样本图像输入欺诈检测模型。
[0171]
输入单元1004具体用于：
[0172]
对于任意的第一样本图像，利用编码器获取第一样本图像的样本特征表示。利用辅助图生成器基于样本特征表示，生成对应于第一样本图像的预测深度图和预测反射图，预测深度图示出第一样本图像中的人脸的三维几何信息，预测反射图示出第一样本图像中的光谱信息。利用解码器基于样本特征表示，生成对应于第一样本图像的样本线索图。利用分类器基于样本线索图以及第一样本图像，确定第一样本图像的样本打分。
[0173]
确定单元1008，还用于根据各样本图像各自对应的第一标签以及样本打分，确定第一预测损失。根据各样本图像各自对应的预测深度图以及第二标签，确定第二预测损失。根据各样本图像各自对应的预测反射图以及第三标签，确定第三预测损失。根据各样本图像中活体图像的样本线索图，确定第四预测损失。
[0174]
调整单元1010，用于至少以最小化所述第一、第二、第三和第四预测损失为目标，调整欺诈检测模型的模型参数。
[0175]
可选地，上述辅助图生成器可以包括用于生成预测深度图的第一生成器和用于生成预测反射图的第二生成器。
[0176]
输入单元1004还具体用于：
[0177]
利用第一生成器对样本特征表示进行若干次卷积处理和若干次转置卷积处理，得到表示第一样本图像中的人脸的三维几何信息的uv位置图；
[0178]
将uv位置图作为所述预测深度图。
[0179]
输入单元1004还具体用于：
[0180]
利用第二生成器对样本特征表示进行若干次卷积处理后进行线性变换处理，得到对应于第一样本图像的两张rgb图；
[0181]
将两张rgb图中包含光谱信息的rgb图作为预测反射图。
[0182]
可选地，该装置还可以包括计算单元1012；
[0183]
计算单元1012，用于在第一打分小于预定阈值，且与预定阈值相接近的情况下，依次计算人脸图像与欺诈图像池中各图像类簇各自对应的类簇中心之间的距离。
[0184]
调整单元1010，用于若计算的各距离中存在小于距离阈值的目标距离，则将第一打分调整为大于预定阈值的分值。
[0185]
确定单元1008具体用于：
[0186]
基于多个打分中的最高分，以及调整分值后的所述第一打分，确定该次人脸识别是否存在欺诈行为。
[0187]
其中，欺诈图像池中的各类簇中心分为两组，其中的一组类簇中心基于欺诈图像池中的各欺诈图像的人脸特征聚类得到。另一组类簇中心基于欺诈图像池中的各欺诈图像的介质特征聚类得到。
[0188]
计算单元1012具体用于：
[0189]
从人脸图像中提取目标人脸特征，基于目标人脸特征，计算人脸图像与一组类簇中心中各类簇中心之间的第一距离；
[0190]
从人脸图像中提取目标介质特征，基于目标介质特征，计算人脸图像与另一组类簇中心中各类簇中心之间的第二距离。
[0191]
调整单元1010具体用于：
[0192]
若计算的各第一或第二距离中存在小于距离阈值的目标距离，则将第一打分调整为大于预定阈值的分值。
[0193]
可选地，计算单元1012还具体用于：
[0194]
从人脸图像中去除前景图像；
[0195]
将去除前景图像后的人脸图像输入预先训练的介质预测模型，并获取人脸图像在介质预测模型的全连接层的特征表示；
[0196]
将获取的特征表示作为目标介质特征。
[0197]
可选地，该装置还可以包括加入单元1014；
[0198]
加入单元1014，用于在第一打分大于预定阈值的情况下，将人脸图像加入欺诈图像池中，以更新各图像类簇各自对应的类簇中心。
[0199]
可选地，输入单元1004，还用于将人脸图像输入多任务分类器，得到多任务分类器针对人脸图像的第二打分，该第二打分表示该次人脸识别存在欺诈行为的概率；和/或，
[0200]
输入单元1004，还用于将人脸图像输入二分类分类器，得到二分类分类器针对人脸图像的第三打分，该第三打分表示该次人脸识别存在欺诈行为的概率。
[0201]
确定单元1008还具体用于：
[0202]
判断最高分、第一打分以及第二打分和/或第三打分是否在相一致的置信度区间；
[0203]
若在相一致的置信度区间，则基于第一打分，确定最终打分；
[0204]
基于最终打分，确定该次人脸识别是否存在欺诈行为。
[0205]
输入单元1004还具体用于：
[0206]
对人脸图像进行增强处理，该增强处理包括以下中的至少一项：随机裁剪、图像翻转以及色彩失真；
[0207]
将增强处理后的人脸图像输入二分类分类器。
[0208]
本说明书上述实施例装置的各功能模块的功能，可以通过上述方法实施例的各步骤来实现，因此，本说明书一个实施例提供的装置的具体工作过程，在此不复赘述。
[0209]
本说明书一个实施例提供的人脸识别过程中的欺诈行为检测装置，可以提升欺诈行为检测的准确性。
[0210]
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图3、图6、图8或图9所描述的方法。
[0211]
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器
中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图3、图6、图8或图9所述的方法。
[0212]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0213]
结合本说明书公开内容所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动硬盘、cd
‑
rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外，该asic可以位于服务器中。当然，处理器和存储介质也可以作为分立组件存在于服务器中。
[0214]
本领域技术人员应该可以意识到，在上述一个或多个示例中，本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
[0215]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0216]
以上所述的具体实施方式，对本说明书的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的具体实施方式而已，并不用于限定本说明书的保护范围，凡在本说明书的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的保护范围之内。