一种活体检测方法及装置与流程

1.本技术涉及但不限于人工智能技术，尤指一种活体检测方法及装置。


背景技术：

2.反人脸欺诈检测(fas，face anti-spoof，也称为活体检测)技术，是用于判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击(如：彩色纸张打印的人脸图、电子设备屏幕中的人脸数字图像、或面具等)的技术，从而避免虚假认证。活体检测在金融支付、门禁等应用场景，活体检测一般是嵌套在人脸检测与人脸识别/验证中的模块，用来验证用户是否真实本人。
3.活体检测对应的计算机视觉问题就是分类问题，可看成二分类(真或假)，也可以看成多分类问题(如真人、纸张攻击、屏幕攻击、面具攻击等)。
4.相关技术中，对线索图的回归仅对真人数据进行约束，攻击数据没有任何监督，完全自由迭代，也就是说，对攻击数据的线索图表达能力有限；而且，没有针对人脸篡改任务的特点设计网络结构，大大影响了活体检测的准确度。


技术实现要素：

5.本技术提供一种活体检测方法及装置，能够提升活体检测的准确度。
6.本发明实施例提供了一种活体检测方法，包括：
7.将解码得到的图像划分为脸部区域和背景区域；
8.对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
9.融合第一图像信息和第二图像信息得到活体攻击检测信息。
10.在一种示例性实例中，所述将解码得到的图像划分为脸部区域和背景区域之前，还包括：
11.采用级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理。
12.在一种示例性实例中，所述编码处理包括一级或多级，所述解码处理包括一级或多级；
13.当所述解码处理包括多级时，每一级解码得到的图像均执行所述活体检测方法对解码得到的图像进行的处理后再输入下一级解码器，直到没有解码器。
14.在一种示例性实例中，所述对脸部区域进行卷积处理和归一化处理得到第一图像信息，包括：
15.对所述脸部区域使用二维图像2d卷积得到第一向量q、第一向量k、第一向量v，并重新排列为一维特征；
16.根据第一向量q和第一向量k计算矩阵乘法，得到第一注意力图e；
17.对第一注意力图e进行归一化处理；
18.对归一化处理后的第一结果与第一向量v相乘，并重新排列为脸部区域大小的图
像；
19.将重新排列后的脸部区域大小的图像与松鼠解码得到的图像相加得到所述第一图像信息。
20.在一种示例性实例中，所述对人脸区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息，包括：
21.对所述脸部区域和所述背景区域分别使用2d卷积得到第二向量q`、第二向量k`、第二向量v`，并重新排列为一维特征；
22.根据第二向量q`和第二向量k`计算矩阵乘法，得到第二注意力图e`；
23.对第二注意力图e`进行归一化处理；
24.对归一化处理后的第二结果与第二向量v`相乘，并重新排列为脸部区域大小的图像；
25.对归一化处理后的结果与解码得到的图像相加得到所述第二图像信息。
26.在一种示例性实例中，所述方法还包括：
27.根据最后一级所述编码的结果，以及经过所述活体检测方法对解码得到的图像处理后的每一级活体攻击检测信息进行三元组度量学习；
28.所述融合之后还包括：
29.对所述融合后得到的活体攻击检测信息进行回归损失处理；
30.将回归损失处理后的攻击线索图与所述待检测图像叠加并进行二分类得到最终的攻击线索图。
31.在一种示例性实例中，所述回归损失处理之前还包括：
32.对根据所述第一图像信息和所述第二图像信息融合后的攻击数据进行数据扩展操作；
33.所述回归损失处理包括：根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
34.本技术实施例还提供一种实现活体检测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的活体检测方法的步骤。
35.本技术实施例又提供另一种活体检测方法，包括：
36.对攻击数据进行数据扩展操作；
37.根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
38.在一种示例性实例中，所述对攻击数据进行数据扩展操作之前，还包括：
39.采用级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理；所述编码处理包括一级或多级，所述解码处理包括一级或多级；
40.根据最后一级编码的结果，以及每一级解码的结果进行三元组度量学习。
41.在一种示例性实例中，所述根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图，包括：
42.使用损失函数引入攻击线索自身的监督信息进行约束，其中，自监督的线索回归损失函数如下：
[0043][0044]
其中，lr表示所述获得的攻击线索图，live表示活体库，spoof表示攻击库；exp表示扩展操作，c表示攻击数据i的攻击线索，c`表示进行数据扩展操作后的攻击数据的攻击线索。
[0045]
在一种示例性实例中，所述方法还包括：
[0046]
将回归损失处理后的攻击线索图与原始的待检测图像叠加并进行二分类得到最终的攻击线索图。
[0047]
在一种示例性实例中，所述对攻击数据进行数据扩展操作之前，还包括：
[0048]
采用级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理；所述编码处理包括一级或多级，所述解码处理包括一级或多级；
[0049]
将解码得到的图像划分为脸部区域和背景区域，对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0050]
当所述解码处理包括多级时，每一级解码得到的图像均执行所述活体检测方法对解码得到的图像进行的处理后再输入下一级解码器，直到没有解码器；
[0051]
根据最后一级所述编码的结果，以及经过所述活体检测方法对解码得到的图像处理后的每一级活体攻击检测信息进行三元组度量学习；
[0052]
融合第一图像信息和第二图像信息。
[0053]
本技术实施例还提供一种实现活体检测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述任一项所述的另一种活体检测方法的步骤。
[0054]
本技术实施例再提供一种活体检测方法，包括：
[0055]
将解码得到的图像划分为脸部区域和背景区域，对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0056]
对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作；
[0057]
根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0058]
在一种示例性实例中，所述将解码得到的图像划分为脸部区域和背景区域之前，还包括：
[0059]
采用级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理。
[0060]
在一种示例性实例中，所述编码处理包括一级或多级，所述解码处理包括一级或多级；
[0061]
当所述解码处理包括多级时，每一级解码得到的图像均执行所述活体检测方法对解码得到的图像进行的处理后再输入下一级解码器，直到没有解码器。
[0062]
在一种示例性实例中，所述对脸部区域进行卷积处理和归一化处理得到第一图像信息，包括：
[0063]
对所述脸部区域使用2d卷积得到第一向量q、第一向量k、第一向量v，并重新排列为一维特征；
[0064]
根据第一向量q和第一向量k计算矩阵乘法，得到第一注意力图e；
[0065]
对第一注意力图e进行归一化处理；
[0066]
对归一化处理后的第一结果与第一向量v相乘，并重新排列为脸部区域大小的图像；
[0067]
将重新排列后的脸部区域大小的图像与松鼠解码得到的图像相加得到所述第一图像信息。
[0068]
在一种示例性实例中，所述对人脸区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息，包括：
[0069]
对所述脸部区域和所述背景区域分别使用2d卷积得到第二向量q`、第二向量k`、第二向量v`，并重新排列为一维特征；
[0070]
根据第二向量q`和第二向量k`计算矩阵乘法，得到第二注意力图e`；
[0071]
对第二注意力图e`进行归一化处理；
[0072]
对归一化处理后的第二结果与第二向量v`相乘，并重新排列为脸部区域大小的图像；
[0073]
对归一化处理后的结果与解码得到的图像相加得到所述第二图像信息。
[0074]
在一种示例性实例中，所述对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作之前，还包括：
[0075]
采用级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理；所述编码处理包括一级或多级，所述解码处理包括一级或多级；
[0076]
根据最后一级编码的结果，以及每一级解码的结果进行三元组度量学习；
[0077]
在一种示例性实例中，所述根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图，包括：
[0078]
使用损失函数引入攻击线索自身的监督信息进行约束，其中，自监督的线索回归损失函数如下：
[0079][0080]
其中，lr表示所述获得的攻击线索图，live表示活体库，spoof表示攻击库；exp表示扩展操作，c表示攻击数据i的攻击线索，c`表示进行数据扩展操作后的攻击数据的攻击线索。
[0081]
在一种示例性实例中，所述方法还包括：
[0082]
将所述回归损失处理后的攻击线索图与所述待检测图像叠加并进行二分类得到
最终的攻击线索图。
[0083]
本技术实施例还提供一种活体检测装置，包括：划分模块、第一处理模块、第二处理模块、融合模块；其中，
[0084]
划分模块，设置为将解码得到的图像划分为脸部区域和背景区域；
[0085]
第一处理模块，设置为对脸部区域进行卷积处理和归一化处理得到第一图像信息；
[0086]
第二处理模块，设置为对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0087]
融合模块，设置为融合第一图像信息和第二图像信息得到活体攻击检测信息。
[0088]
本技术实施例又提供一种活体检测装置，包括：扩展模块、回归处理模块；其中，
[0089]
扩展模块，设置为对攻击数据进行数据扩展操作；
[0090]
回归处理模块，设置为根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0091]
本技术实施例再提供一种活体检测装置，包括：划分模块、第一处理模块、第二处理模块、融合模块、扩展模块、回归处理模块；其中，
[0092]
划分模块，设置为将解码得到的图像划分为脸部区域和背景区域；
[0093]
第一处理模块，设置为对脸部区域进行卷积处理和归一化处理得到第一图像信息；
[0094]
第二处理模块，设置为对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0095]
融合模块，设置为融合第一图像信息和第二图像信息；
[0096]
扩展模块，设置为对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作；
[0097]
回归处理模块，设置为根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0098]
本技术一种实施例通过采用双路2d自注意力架构，从网络结构本身增强了整个活体检测过程的表达能力，获得了更符合人脸篡改任务的注意力，提升了活体检测的准确度。
[0099]
本技术另一种实施例将自监督约束首次引入活体检测任务，解决了攻击线索没有真实标签无法约束的问题，从而让攻击线索图充分对攻击数据进行了表达，提升了活体检测的准确度。
[0100]
本技术又一实施例，一方面，采用双路2d自注意力架构，从网络结构本身增强了整个活体检测过程的表达能力，获得了更符合人脸篡改任务的注意力，提升了活体检测的准确度；另一方面，将自监督约束首次引入活体检测任务，解决了攻击线索没有真实标签无法约束的问题，从而让攻击线索图充分对攻击数据进行了表达，提升了活体检测的准确度。。
[0101]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0102]
附图用来提供对本技术技术方案的进一步理解，并且构成说明书的一部分，与本技术的实施例一起用于解释本技术的技术方案，并不构成对本技术技术方案的限制。
[0103]
图1为一种实现活体检测的网络架构示意图；
[0104]
图2为本技术活体检测方法第一实施例的流程示意图；
[0105]
图3为本技术活体检测方法第二实施例的流程示意图；
[0106]
图4为本技术活体检测方法第三实施例的流程示意图；
[0107]
图5为本技术实施例中实现活体检测的网络架构示意图；
[0108]
图6为本技术实施例中活体检测装置第一实施例的组成结构示意图；
[0109]
图7为本技术实施例中活体检测装置第二实施例的组成结构示意图；
[0110]
图8为本技术实施例中活体检测装置第三实施例的组成结构示意图。
具体实施方式
[0111]
为使本技术的目的、技术方案和优点更加清楚明白，下文中将结合附图对本技术的实施例进行详细说明。需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互任意组合。
[0112]
在本技术一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0113]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0114]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0115]
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0116]
图1为一种实现活体检测的网络架构示意图，如图1所示，输入为人脸rgb图像(归一化-1到1)，输出为原图大小的攻击线索图(spoof cue map)。在攻击线索生成器(spoof cue generator)中，采用了u-net架构(全卷积神经网络的一种变形)，构建从级联的编码器(encoder)到解码器(decoder)的多尺度跳跃连接结构，生成攻击线索(spoof cue)。编码器e(如图1中的e1～e5)可以采用18层的残差网络(resnet18)，解码器d(如图1中的d1～d4)可以含四个resnet block，其中每个结构级联(concatenation)对称部分编码器的输出，第四个解码块即e4输出tanh使其归一化-1到1。经过编码器(encoder)的五个编码块(e1～e5)输
出后进行三元组度量学习，输出spoof cue map进行l1回归，再将l1回归后的spoof cue map加回到原始图像进行二分类(辅助分类器可以采用resnet18)得到最终的spoof cue map。
[0117]
其中，在三元组损失(triplet loss)监督中，一个批(batch)的数据中有m个正样本和n个负样本，那么，按照(a,p,n)则可以组成n*n*m个三元组，计算三元组loss，这样可以使得类内紧凑，类间分散，这是典型的度量学习(metric learning)的内容。回归损失(regression loss)，图1所示相关技术的假设中，spoof cue仅存在于攻击样本(spoof samples)中，因而活体样本(live samples)对应的特征图(feature map)应该是全零矩阵，需要将正常样本回归到0，而对异常样本则不关心，也就是说，认为正常样本都有一个同一的域内中心即为0，而异常样本的中心是不定的，所以计算回归loss时只计算正常样本的loss。分类损失(classification loss)是辅助loss，用于增强梯度效应，做正例和负例二分类。
[0118]
但是，本技术发明人发现，图1所示的活体检测架构，由于线索图的回归仅对真人数据进行约束，而对攻击数据没有任何监督，完全自由迭代，而且模型对攻击数据的线索图表达能力有限。也就是说，图1所示的相关技术没有针对人脸篡改任务的特点设计网络结构，从而会影响活体检测的准确度。
[0119]
活体攻击包含多种类型的攻击，活体攻击检测主要包括：提取摩尔纹、人脸区域材质、人脸纹理异常等特征构建分类任务进行区分。这种方式中，没有考虑人脸自身的自洽性以及人脸与背景的关系，比如左右眼颜色不一致、嘴巴异常遮挡、鼻子形状异常、背景扭曲等。
[0120]
图2为本技术活体检测方法第一实施例的流程示意图，如图2所示，至少包括：
[0121]
步骤200：将解码得到的图像划分为脸部区域和背景区域。
[0122]
在一种示例性实例中，步骤200之前还可以包括：
[0123]
可以采用如图1所示的级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理。
[0124]
在一种示例性实例中，编码处理可以是一级或多级，解码处理可以是一级或多级。结合图5所示的本技术实施例中实现活体检测的网络架构示意图，当解码处理包括多级时，每一级解码得到的图像都可以采用本技术图2所示的活体检测方法对解码得到的图像进行处理后再输入下一级解码，直到没有解码器。
[0125]
步骤201：对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息。
[0126]
在一种示例性实例中，结合图5所示，本步骤中的对脸部区域进行卷积处理和归一化处理得到第一图像信息，可以包括：
[0127]
对脸部区域xf使用二维图像(2d)卷积得到第一向量q、第一向量k、第一向量v，并重新排列为一维特征；
[0128]
根据第一向量q和第一向量k计算矩阵乘法，得到第一注意力图e；
[0129]
对第一注意力图e进行归一化处理；
[0130]
对归一化处理后的第一结果与第一向量v相乘，并重新排列为脸部区域大小的图像；
[0131]
将重新排列后的脸部区域大小的图像与解码得到的图像相加得到第一图像信息y。
[0132]
在一种实施例中，可以使用如softmax函数对第一注意力图e进行归一化处理。在机器学习尤其是深度学习中，softmax是个非常常用和重要的函数，尤其在多分类的场景中使用广泛。softmax将一些输入映射为0～1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。
[0133]
通过本步骤中的对脸部区域进行卷积处理和归一化处理得到第一图像信息的处理，构成了脸部自洽性的注意力通道，实现了对脸部自洽性的提取。
[0134]
在一种示例性实例中，如图5所示，本步骤中的对人脸区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息，可以包括：
[0135]
对脸部区域xf和背景区域xb分别使用2d卷积得到第二向量q`、第二向量k`、第二向量v`，并重新排列为一维特征；
[0136]
根据第二向量q`和第二向量k`计算矩阵乘法，得到第二注意力图e`；
[0137]
对第二注意力图e`进行归一化处理；
[0138]
对归一化处理后的第二结果与第二向量v`相乘，并重新排列为脸部区域大小的图像；
[0139]
对归一化处理后的结果与解码得到的图像相加得到第二图像信息y`。
[0140]
在一种实施例中，可以使用如softmax函数对第二注意力图e`进行归一化处理。
[0141]
通过本步骤中的对人脸区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息的处理，构成了脸部和背景的相关性的注意力通道，实现了对脸部和背景的相关性的提取。
[0142]
本技术实施例中的脸部自洽性的注意力通道，以及脸部和背景的相关性的注意力通道构成双路2d自注意力架构(如图5所示)，从网络结构本身增强了整个活体检测过程的表达能力，可以获得更符合人脸篡改任务的注意力，从而提升了活体检测的准确度。
[0143]
步骤202：融合第一图像信息和第二图像信息得到活体攻击检测信息。
[0144]
在一种示例性实例中，本步骤可以通过如concat、add等操作等来实现融合，其中，concat是通道数的增加，add是特征图相加，通道数不变。
[0145]
本技术实施例提供的双路2d自注意力架构即插即用，可以方便地嵌入其他系统，使用在任意活体检测任务的网络主干。为人脸活体攻击检测量身定制的双路2d自注意力架构，同时提取人脸自洽性及人脸和背景相关性，可以应用在其他有相似约束关系的任务中。
[0146]
在一种示例性实例中，在步骤200～步骤202的执行过程中，还包括：
[0147]
根据最后一级编码的结果，以及经过步骤200～步骤202所示的活体检测方法的处理后的每一级活体攻击检测信息进行三元组度量学习；
[0148]
步骤202之后还可以包括：对融合后得到的活体攻击检测信息进行回归损失处理；
[0149]
将回归损失处理后的攻击线索图与原始的待检测图像叠加并进行二分类得到最终的攻击线索图。
[0150]
在一种示例性实例中，如图5所示，可以采用辅助分类器如resnet18等实现二分类。
[0151]
本技术实施例提供的活体检测方法，采用双路2d自注意力架构，从网络结构本身
增强了整个活体检测过程的表达能力，获得了更符合人脸篡改任务的注意力，提升了活体检测的准确度。
[0152]
本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述图2所示的任一项的活体检测方法。
[0153]
本技术再提供一种实现活体检测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述图2所示的任一项的活体检测方法的步骤。
[0154]
图3为本技术活体检测方法第二实施例的流程示意图，如图3所示，至少包括：
[0155]
步骤300：对攻击数据进行数据扩展操作。
[0156]
在一种示例性实例中，本步骤之前还包括：
[0157]
可以采用如图1所示的级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理；
[0158]
根据最后一级编码的结果，以及每一级解码的结果进行三元组度量学习；
[0159]
在一种示例性实例中，编码处理可以是一级或多级，解码处理可以是一级或多级。
[0160]
在一种示例性实例中，步骤300中的扩展操作可以包括但不限于：对同一幅攻击数据如人脸攻击数据，采用如裁剪、缩放、旋转、mixup等一种或任意组合的数据扩展方式进行数据增强。
[0161]
举个例子来看，假设将原始攻击数据即步骤300中的攻击数据表示为i，数据扩展操作表示为exp。那么，对攻击数据i进行数据扩展操作可以表示为exp(i)。假设攻击数据i的攻击线索表示为c，那么，exp(i)的攻击线索可以表示为c`。这样，如果已知数据扩展操作，那么，可以得到c`＝exp(c)，也就是说，攻击线索c及其相应扩展数据的线索c`具有一致性。
[0162]
步骤301：根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0163]
在一种示例性实例中，结合图5所示，可以使用l1、l2距离或者nce loss、triplet loss等损失函数引入攻击线索自身的监督信息进行约束。自监督的线索回归损失函数如公式(1)所示：
[0164][0165]
上式中，live表示活体库，spoof表示攻击库；exp表示扩展操作，c表示攻击数据i的攻击线索，c`表示进行数据扩展操作后的攻击数据的攻击线索。通过公式(1)，不仅约束了真人线索图，还增加了攻击数据和扩展的攻击数据线索图相似性的约束。
[0166]
在一种示例性实例中，还可以包括：
[0167]
将回归损失处理后的攻击线索图与原始的待检测图像叠加并进行二分类得到最终的攻击线索图。
[0168]
在一种示例性实例中，可以采用辅助分类器如resnet18等实现二分类。
[0169]
本技术实施例中，对线索图的回归不仅对真人数据进行了约束，还对攻击数据进行了约束。人脸数据采集时，真人没有攻击线索，不同人脸活体攻击的攻击线索各异，本技术将自监督约束首次引入活体检测任务，解决了攻击线索没有真实标签无法约束的问题，从而让攻击线索图充分对攻击数据进行了表达，提升了活体检测的准确度。
[0170]
本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述图3所示的任一项的活体检测方法。
[0171]
本技术再提供一种实现活体检测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述图3所示的任一项的活体检测方法的步骤。
[0172]
图4为本技术活体检测方法第三实施例的流程示意图，如图4所示，至少包括：
[0173]
步骤400：将解码得到的图像划分为脸部区域和背景区域，对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息。
[0174]
在一种示例性实例中，步骤400之前还可以包括：
[0175]
可以采用如图1所示的级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理。
[0176]
在一种示例性实例中，编码处理可以是一级或多级，解码处理可以是一级或多级。当解码处理包括多级时，每一级解码得到的图像都可以采用本技术图2所示的活体检测方法对解码得到的图像进行处理后再输入下一级解码。
[0177]
在一种示例性实例中，步骤400中的对脸部区域进行卷积处理和归一化处理得到第一图像信息，可以包括：
[0178]
对脸部区域xf使用2d卷积得到第一向量q、第一向量k、第一向量v，并重新排列为一维特征；
[0179]
根据第一向量q和第一向量k计算矩阵乘法，得到第一注意力图e；
[0180]
对第一注意力图e进行归一化处理；
[0181]
对归一化处理后的第一结果与第一向量v相乘，并重新排列为脸部区域大小的图像；
[0182]
将重新排列后的脸部区域大小的图像与解码得到的图像相加得到第一图像信息y。
[0183]
在一种实施例中，可以使用如softmax函数对第一注意力图e进行归一化处理。在机器学习尤其是深度学习中，softmax是个非常常用和重要的函数，尤其在多分类的场景中使用广泛。softmax将一些输入映射为0～1之间的实数，并且归一化保证和为1，因此多分类的概率之和也刚好为1。
[0184]
通过步骤400中的对脸部区域进行卷积处理和归一化处理得到第一图像信息的处理，构成脸部自洽性的注意力通道，实现了对脸部自洽性的提取。
[0185]
在一种示例性实例中，步骤400中的对人脸区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息，可以包括：
[0186]
对脸部区域xf和背景区域xb分别使用2d卷积得到第二向量q`、第二向量k`、第二向量v`，并重新排列为一维特征；
[0187]
根据第二向量q`和第二向量k`计算矩阵乘法，得到第二注意力图e`；
[0188]
对第二注意力图e`进行归一化处理；
[0189]
对归一化处理后的第二结果与第二向量v`相乘，并重新排列为脸部区域大小的图像；
[0190]
对归一化处理后的结果与解码得到的图像相加得到第二图像信息y`。
[0191]
在一种实施例中，可以使用如softmax函数对第二注意力图e`进行归一化处理。
[0192]
通过步骤400中的对人脸区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息的处理，构成脸部和背景的相关性的注意力通道，实现了对脸部和背景的相关性的提取。
[0193]
步骤401：对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作。
[0194]
在一种示例性实例中，本步骤之前还包括：根据最后一级编码的结果，以及经过步骤200～步骤202所示的活体检测方法的处理后的每一级活体攻击检测信息进行三元组度量学习；
[0195]
融合第一图像信息和第二图像信息得到攻击数据。
[0196]
在一种示例性实例中，本步骤可以通过如concat、add等操作等来实现融合，其中，concat是通道数的增加，add是特征图相加，通道数不变。
[0197]
在一种示例性实例中，步骤401中的扩展操作可以包括但不限于：对同一幅攻击数据如人脸攻击数据，采用如裁剪、缩放、旋转、mixup等一种或任意组合的数据扩展方式进行数据增强。
[0198]
举个例子来看，假设将原始攻击数据即步骤401中的攻击数据表示为i，数据扩展操作表示为exp。那么，对攻击数据i进行数据扩展操作可以表示为exp(i)。假设攻击数据i的攻击线索表示为c，那么，exp(i)的攻击线索可以表示为c`。这样，如果已知数据扩展操作，那么，可以得到c`＝exp(c)，也就是说，攻击线索c及其相应扩展数据的线索c`具有一致性。
[0199]
步骤402：根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0200]
在一种示例性实例中，可以使用l1、l2距离或者nce loss、triplet loss等损失函数引入攻击线索自身的监督信息进行约束。自监督的线索回归损失函数如公式(1)所示。
[0201]
在一种示例性实例中，还可以包括：
[0202]
将回归损失处理后的攻击线索图与原始的待检测图像叠加并进行二分类得到最终的攻击线索图。
[0203]
在一种示例性实例中，可以采用辅助分类器如resnet18等实现二分类。
[0204]
本技术实施例提供的活体检测方法，一方面，采用双路2d自注意力架构，从网络结构本身增强了整个活体检测过程的表达能力，获得了更符合人脸篡改任务的注意力，提升了活体检测的准确度。另一方面，对线索图的回归不仅对真人数据进行了约束，还对攻击数据进行了约束解决了攻击线索没有真实标签无法约束的问题，从而让攻击线索图充分对攻击数据进行了表达。本技术实施例提供的活体检测方法，将活体攻击检测抽象为攻击线索回归任务，解决了攻击线索没有真实标签，无法约束的问题，同时为活体攻击任务设计的自
注意力架构，从网络结构上增强了对活体攻击线索的表达能力，提升了活体检测的准确度。
[0205]
本技术还提供一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行上述图4所示的任一项的活体检测方法。
[0206]
本技术再提供一种实现活体检测的设备，包括存储器和处理器，其中，存储器中存储有以下可被处理器执行的指令：用于执行上述图4所示的任一项的活体检测方法的步骤。
[0207]
在一种示例性实例中，图2所示的活体检测方法中，所述回归损失处理之前还包括：
[0208]
对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作；
[0209]
所述回归损失处理包括：根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0210]
在一种示例性实例中，图3所示的活体检测方法中，对攻击数据进行数据扩展操作之前，还可以包括：
[0211]
采用级联的编码器到解码器结构，对待检测图像进行编码处理和解码处理；所述编码处理包括一级或多级，所述解码处理包括一级或多级；
[0212]
将解码得到的图像划分为脸部区域和背景区域，对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0213]
当所述解码处理包括多级时，每一级解码得到的图像均执行所述活体检测方法对解码得到的图像进行的处理后再输入下一级解码器，直到没有解码器；
[0214]
根据最后一级编码的结果，以及经过步骤200～步骤202所示的活体检测方法的处理后的每一级活体攻击检测信息进行三元组度量学习；
[0215]
融合第一图像信息和第二图像信息。
[0216]
本技术实施例提供的活体检测方法可以应用于如：通过金融类app进行登录时，通过购物类app进行支付时，通过政务类app进行签名时等需要进行人脸识别的场景，以更好地避免了可能的人脸攻击。
[0217]
图6为本技术实施例中活体检测装置第一实施例的组成结构示意图，如图6所示，至少包括：划分模块、第一处理模块、第二处理模块、融合模块；其中，
[0218]
划分模块，设置为将解码得到的图像划分为脸部区域和背景区域；
[0219]
第一处理模块，设置为对脸部区域进行卷积处理和归一化处理得到第一图像信息；
[0220]
第二处理模块，设置为对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0221]
融合模块，设置为融合第一图像信息和第二图像信息得到活体攻击检测信息。
[0222]
在一种示例性实例中，还可以包括：级联的编码器到解码器结构，设置为对待检测图像进行编码处理和解码处理。
[0223]
在一种示例性实例中，编码处理可以是一级或多级，解码处理可以是一级或多级。如图5所示，当解码处理包括多级时，每一级解码得到的图像都可以采用本技术图6所示的活体检测装置对解码得到的图像进行处理后再输入下一级解码，直到没有解码器。
[0224]
在一种示例性实例中，还可以包括：第三处理模块，第四处理模块；其中，
[0225]
第三处理模块，设置为根据最后一级编码的结果，以及图6所示的活体检测装置的处理后的每一级活体攻击检测信息进行三元组度量学习；
[0226]
第四处理模块，设置为对融合后得到的活体攻击检测信息进行回归损失处理；将回归损失处理后的攻击线索图与原始的待检测图像叠加并进行二分类得到最终的攻击线索图。
[0227]
在一种示例性实例中，所述第四处理模块还设置为：对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作；第四处理模块中的回归损失处理包括：根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0228]
本技术实施例提供的活体检测装置，采用双路2d自注意力架构，从网络结构本身增强了整个活体检测过程的表达能力，获得了更符合人脸篡改任务的注意力，提升了活体检测的准确度。
[0229]
图7为本技术实施例中活体检测装置第二实施例的组成结构示意图，如图7所示，至少包括：扩展模块、回归处理模块；其中，
[0230]
扩展模块，设置为对攻击数据进行数据扩展操作；
[0231]
回归处理模块，设置为根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0232]
在一种示例性实例中，还可以包括：级联的编码器到解码器结构、第五处理模块；其中，
[0233]
级联的编码器到解码器结构，设置为对待检测图像进行编码处理和解码处理；
[0234]
第五处理模块，设置为根据最后一级编码的结果，以及每一级解码的结果进行三元组度量学习。
[0235]
在一种示例性实例中，编码处理可以是一级或多级，解码处理可以是一级或多级。
[0236]
在一种示例性实例中，扩展模块还设置为：
[0237]
将解码得到的图像划分为脸部区域和背景区域，对脸部区域进行卷积处理和归一化处理得到第一图像信息，对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0238]
根据最后一级编码的结果，以及经过图6所示的活体检测装置的处理后的每一级活体攻击检测信息进行三元组度量学习；
[0239]
融合第一图像信息和第二图像信息。
[0240]
在一种示例性实例中，如图5所示，当解码处理包括多级时，每一级解码得到的图像都可以采用本技术图6所示的活体检测装置对解码得到的图像进行处理后再输入下一级解码。
[0241]
在一种示例性实例中，还可以包括：第六处理模块，设置为：
[0242]
将回归损失处理后的攻击线索图与原始的待检测图像叠加并进行二分类得到最终的攻击线索图。
[0243]
本技术实施例提供的活体检测装置，对线索图的回归不仅对真人数据进行了约束，还对攻击数据进行了约束。人脸数据采集时，真人没有攻击线索，不同人脸活体攻击的攻击线索各异，本技术将自监督约束首次引入活体检测任务，解决了攻击线索没有真实标签无法约束的问题，从而让攻击线索图充分对攻击数据进行了表达，提升了活体检测的准
确度。
[0244]
图8为本技术实施例中活体检测装置第三实施例的组成结构示意图，如图8所示，至少包括：划分模块、第一处理模块、第二处理模块、融合模块、扩展模块、回归处理模块；其中，
[0245]
划分模块，设置为将解码得到的图像划分为脸部区域和背景区域；
[0246]
第一处理模块，设置为对脸部区域进行卷积处理和归一化处理得到第一图像信息；
[0247]
第二处理模块，设置为对脸部区域和背景区域分别进行卷积处理后进行归一化处理得到第二图像信息；
[0248]
融合模块，设置为融合第一图像信息和第二图像信息；
[0249]
扩展模块，设置为对根据第一图像信息和第二图像信息融合后的攻击数据进行数据扩展操作；
[0250]
回归处理模块，设置为根据扩展操作后的结果和攻击线索数据进行回归损失处理，获得攻击线索图。
[0251]
在一种示例性实例中，还包括：
[0252]
级联的编码器到解码器结构，设置为对待检测图像进行编码处理和解码处理；其中，编码处理包括一级或多级，解码处理包括一级或多级；
[0253]
当解码处理包括多级时，每一级解码得到的图像采用所述活体检测装置对解码得到的图像进行处理后再输入下一级解码，直到没有解码器。
[0254]
本技术实施例提供的活体检测装置，一方面，采用双路2d自注意力架构，从网络结构本身增强了整个活体检测过程的表达能力，获得了更符合人脸篡改任务的注意力，提升了活体检测的准确度。另一方面，对线索图的回归不仅对真人数据进行了约束，还对攻击数据进行了约束解决了攻击线索没有真实标签无法约束的问题，从而让攻击线索图充分对攻击数据进行了表达。本技术实施例提供的活体检测方法，将活体攻击检测抽象为攻击线索回归任务，解决了攻击线索没有真实标签，无法约束的问题，同时为活体攻击任务设计的自注意力架构，从网络结构上增强了对活体攻击线索的表达能力，提升了活体检测的准确度。
[0255]
虽然本技术所揭露的实施方式如上，但所述的内容仅为便于理解本技术而采用的实施方式，并非用以限定本技术。任何本技术所属领域内的技术人员，在不脱离本技术所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本技术的专利保护范围，仍须以所附的权利要求书所界定的范围为准。