一种基于自注意力机制轻量级网络的指纹活体检测方法

1.本发明属于指纹识别技术领域，具体涉及一种基于自注意力机制轻量级网络的指纹活体检测方法。


背景技术：

2.指纹识别作为一种经典的身份认证技术已经在许多领域得到了广泛应用，但识别系统本身的安全性可能会受到欺骗攻击的危害，于是指纹活体检测越来越受到关注。
3.指纹活性检测可以大致分为基于硬件和软件两种方法。现有的大多数使用cnn(卷积神经网络，convolutional neural networks)的方法是利用迁移学习的思想，转移预先训练的cnn模型，而不是重新设计新的网络结构面向指纹活体检测。这些做法使用指纹图像微调在自然图像上预先训练的cnn模型，而指纹图像和自然图像之间具有较大的差异，并且在预训练的大型网络中训练指纹图像容易出现过拟合的情况，这些原因使得在自然图像上的预训练模型在指纹活体检测上没有达到预想的效果。在指纹的活体检测任务中指纹的纹理特征尤为重要。
4.然而对指纹图像随机切割(crop)，调整图像分辨率以适应网络的输入大小会导致指纹图像变形，部分指纹信息丢失，分类精度下降。


技术实现要素：

5.为了解决现有技术中存在的上述问题，本发明提供了一种基于自注意力机制轻量级网络的指纹活体检测方法。本发明要解决的技术问题通过以下技术方案实现：
6.本发明的一个实施例提供了一种基于自注意力机制轻量级网络的指纹活体检测方法，所述指纹活体检测方法包括：
7.步骤1、获取指纹原图像的指纹前景图像；
8.步骤2、分割所述指纹前景图像，以得到若干大小一致的第一指纹子图像；
9.步骤3、基于最大闭合面积和局部补丁面积的关系，从所有所述第一指纹子图像中选取第二指纹子图像，所有所述第二指纹子图像构成数据集；
10.步骤4、根据所有所述第二指纹子图像扩充所述数据集；
11.步骤5、将扩充后的所述数据集输入至二分类网络结构中，以得到训练后的所述二分类网络结构；
12.步骤6、将分块后的指纹待检测图像输入至训练后的所述二分类网络结构得到若干局部指纹的欺骗分数，将融合后的欺骗分数与第二阈值进行比较，若大于第二阈值，则为伪造指纹，若小于第二阈值，则为活性指纹。
13.在本发明的一个实施例中，所述步骤1包括：
14.步骤1.1、获取指纹原图像；
15.步骤1.2、根据所述指纹原图像中每一个像素的灰度值与当前像素的第一阈值的关系，设置每一个像素的灰度值，以得到第一指纹图像；
16.步骤1.3、对所述第一指纹图像进行膨胀处理得到第二指纹图像；
17.步骤1.4、基于八连通区域，获取所述第二指纹图像中每一个连通区域的外接矩形，以分割出所述指纹前景图像。
18.在本发明的一个实施例中，所述步骤1.2包括：
19.将所述指纹原图像中每一个像素的灰度值与当前像素的第一阈值进行比较，若该像素的灰度值小于第一阈值，则该像素的灰度值设置为0，若该像素的灰度值大于第一阈值，则该像素的灰度值设置为255，设置完成的图像即为第一指纹图像。
20.在本发明的一个实施例中，所述第一阈值为mean-delta，其中，mean为当前像素周围预设区域的像素灰度均值，delta是一个偏移值调整量，计算的均值mean再减去这个值就是最终阈值，delta设置为-2。
21.在本发明的一个实施例中，所述步骤2包括：
22.选取所述指纹前景图像的中心点以及处于以中心点为中心、以预设数量的像素点为步长的左上、左下、右上、右下位置的4个点，以该5个点为中心、以所述预设数量的像素点为步长分割所述指纹前景图像，以得到若干所述第一指纹子图像。
23.在本发明的一个实施例中，所述步骤3包括：
24.将所述第一指纹子图像中的最大闭合面积和局部补丁面积进行比较，若所述最大闭合面积大于所述局部补丁面积的60％，则将所述第一指纹子图像选取为第二指纹子图像，若所述最大闭合面积小于或者等于所述局部补丁面积的60％，则排除所述第一指纹子图像。
25.在本发明的一个实施例中，所述步骤4包括：
26.将所述第二指纹子图像按照预设角度进行旋转，并将原始的所述第二指纹子图像和旋转后的所述第二指纹子图像进行cyclegan风格迁移处理，经过cyclegan风格迁移处理后的所有图像组成最终的所述数据集。
27.在本发明的一个实施例中，所述二分类网络结构包括conv1、conv2、conv3、conv4、conv5、全局平均池化层和最终分类层，其中，所述conv5中包括若干mhsa层，所述mhsa层的步长为1。
28.在本发明的一个实施例中，所述mhsa层的数量为并列的4层。
29.在本发明的一个实施例中，所述conv2、所述conv3和所述conv4均为两层，所述conv1以及所述conv2、所述conv3、所述conv4中每一层的卷积核大小为3*3，所述conv1以及所述conv2中每一层卷积核的数量为32，所述conv3中每一层卷积核的数量为64，所述conv4中每一层卷积核的数量为128。
30.与现有技术相比，本发明的有益效果：
31.1、本发明提出了一种轻量级网络，为了适应小规模数据集上的神经网络结构，减少了每层使用的卷积核与网络的深度，避免网络过拟合的同时网络占用参数的数量大大减少，使网络变得轻量，整体网络参数仅有0.83m，运行速度快且方便部署。
32.2、本发明在网络中加入了mhsa多头自注意力机制模块，有效提高了模型对指纹活体检测的准确率。
33.3、本发明利用cyclegan对已知材料的伪造指纹进行风格迁移，以模拟未知材料的伪造指纹所占据的深度空间，提高模型在未知材料上的泛化能力。
34.4、本发明提出了一种简单有效的指纹分块策略，仅需对指纹进行前景提取后选取图像中心，不需要对指纹提取细节点，并且小面积指纹图像可以适应市场上的传统传感器和移动设备上的传感器。
附图说明
35.图1为本发明实施例提供的一种基于自注意力机制轻量级网络的指纹活体检测方法的流程示意图；
36.图2为本发明实施例提供的一种指纹原图像的示意图；
37.图3为本发明实施例提供的一种第一指纹图像的示意图；
38.图4为本发明实施例提供的一种第二指纹图像的示意图；
39.图5为本发明实施例提供的一种指纹前景图像的示意图；
40.图6为本发明实施例提供的一种指纹前景图像分割方式的示意图；
41.图7为本发明实施例提供的一种扩充后的数据集的示意图；
42.图8为本发明实施例提供的一种transformer结构示意图。
具体实施方式
43.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。实施例一
44.请参见图1，图1为本发明实施例提供的一种基于自注意力机制轻量级网络的指纹活体检测方法的流程示意图。本发明实施例提供一种基于自注意力机制轻量级网络的指纹活体检测方法，该基于自注意力机制轻量级网络的指纹活体检测方法包括：
45.步骤1、获取指纹原图像的指纹前景图像。
46.在一个具体实施例中，步骤1可以具体包括步骤1.1-步骤1.4，其中：
47.步骤1.1、请参见图2，获取指纹原图像。
48.步骤1.2、根据指纹原图像中每一个像素的像素灰度值与当前像素的第一阈值的关系，设置每一个像素的灰度值，以得到第一指纹图像。
49.具体地，步骤1.2包括：
50.将指纹原图像中每一个像素的灰度值与当前像素的第一阈值进行比较，若该像素的灰度值小于第一阈值，则该像素的灰度值设置为0，若该像素的灰度值大于第一阈值，则该像素的灰度值设置为255，设置完成的图像即为第一指纹图像，第一指纹图像如图3所示。
51.优选地，第一阈值为mean-delta，其中，mean为当前像素周围预设区域的像素灰度值的均值，delta是一个偏移值调整量，设置为-2，计算的均值mean再减去这个值就是当前像素的最终阈值(即第一阈值),其中每个预设区域的大小为3*3像素。
52.步骤1.3、对第一指纹图像进行膨胀处理得到第二指纹图像。
53.具体地，对经步骤1.2处理后得到的第二指纹图像进行膨胀操作，以提取指纹图像前景部分，膨胀操作后的图像如图4所示。
54.步骤1.4、基于八连通区域，获取第二指纹图像中每一个连通区域的外接矩形，以分割出指纹前景图像。
55.具体地，因为指纹图像外部有部分噪声，在膨胀操作后不能直接获取到边缘坐标，
通过八连通区域获取每一个连通区域的外接矩形的起始坐标(x，y)以及wide(宽度)、height(高度)，以来分割指纹图像，结果如图5所示。
56.步骤2、分割指纹前景图像，以得到若干大小一致的第一指纹子图像。
57.在一个具体实施例中，步骤2可以具体包括：
58.选取指纹前景图像的中心点以及处于以中心点为中心、以预设数量的像素点为步长的左上、左下、右上、右下位置的4个点，以该5个点为中心、以预设数量的像素点为步长分割指纹前景图像，以得到若干第一指纹子图像。
59.具体地，基于指纹中心从指纹的前景区域分割出w
×
w(w＝112像素)的局部补丁，按照预设数量的像素数为步长，在指纹前景图像的中心点的左上、左下、右上、右下分别选择了4个点，将这五个点作为中心，以预设数量的像素数为步长选取局部补丁区域，从而将指纹前景图像分割成5张第一指纹子图像，例如如图6所示。本实施例通过有效减少输入图像的大小来减少网络执行时间和模型参数。
60.优选地，预设数量为56。
61.步骤3、基于最大闭合面积和局部补丁面积的关系，从所有第一指纹子图像中选取第二指纹子图像，所有第二指纹子图像构成数据集，其中，最大闭合面积为子图像中指纹所占的面积，局部补丁面积为第一指纹子图像的面积。
62.在一个具体实施例中，步骤3可以具体包括：
63.将第一指纹子图像中的最大闭合面积和局部补丁面积进行比较，若最大闭合面积大于局部补丁面积的60％，则将第一指纹子图像选取为第二指纹子图像，若最大闭合面积小于或者等于局部补丁面积的60％，则排除第一指纹子图像。
64.具体地，从前景区域以这些点中的每一个为中心切割w
×
w的补丁块，这充分利用了指纹图像信息。值得注意的是，这些选定的补丁中的一些几乎没有指纹信息，这不利于训练网络，因此必须将它们从训练集中排除。排除的判定条件是当局部补丁的最大闭合面积大于局部补丁面积的60％时(指纹图像占60％)，将其选为一个样本，否则将被排除。
65.步骤4、根据所有第二指纹子图像扩充数据集。
66.在一个具体实施例中，步骤4可以具体包括：
67.将第二指纹子图像按照预设角度进行旋转，并将原始的第二指纹子图像和旋转后的第二指纹子图像进行cyclegan风格迁移处理，经过cyclegan风格迁移处理后的所有图像组成最终的数据集。
68.具体地，提取的第二指纹子图像通过以四个不同的预设角度进行旋转，以进行数据增强，另外通过cyclegan风格迁移的方法，融合伪造材料的指纹图像以提高指纹在未知材料上的泛化能力并扩大了数据集，扩充后的数据集如图7所示。
69.优选地，预设角度为0、90、180、270度。
70.步骤5、将扩充后的数据集输入至二分类网络结构中，以得到训练后的二分类网络结构。
71.具体地，将扩充后的数据集依次输入至二分类网络结构中，以训练二分类网络结构，当二分类网络结构收敛，则得到训练后的二分类网络结构。
72.在本实施例中，二分类网络结构由conv1、conv2、conv3、conv4和conv5组成，如果特征图的大小减半，卷积核加倍以保持每层的时间复杂度，保证可学习参数的总量不变。
73.本实施例在conv5中使用mhsa模块替换了原始的3*3的卷积核，有效降低参数量同时提高识别准确率。然后是全局平均池化(avg_pool)和最终分类层。卷积可以有效学习大尺度图像中抽象和低分辨率的特征图，全局自注意力可以处理和汇总特征图中包含的信息。为了适应小规模数据集上的神经网络结构，减少了每层使用的卷积核与网络的深度，避免网络过拟合的同时网络占用参数的数量大大减少，使网络变得轻量，便于部署使用。网络的具体结构如表1所示。
74.表1网络的具体结构
[0075][0076][0077]
也就是说，conv2、conv3和conv4均为两层，conv1以及conv2、conv3、conv4中每一层的卷积核大小为3*3，conv1以及conv2中每一层卷积核的数量为32，conv3中每一层卷积核的数量为64，conv4中每一层卷积核的数量为128。
[0078]
在指纹活体检测任务中经常处理较小的图像尺寸，如(224
×
224)，常用网络在最后一层的featuremap(特征图)仅有7*7，不利于mhsa进行全局特征信息的处理，在进入c5块时的featuremap为28*28，c5块中的mhsa层中的步长统一为1，以增加特征图分辨率，从而提高分类的准确率。其中的mhsa层，输入特征图的维度表示为h*w*d，使用了wq、wk、wv三个1*1的可训练参数与特征图卷积分别得到q查询矩阵、k键矩阵、v值矩阵三个矩阵，大小为h*w*d。不同于在nlp(自然语言处理)任务中的应用，在nlp中，位置编码是在词向量进入网络之前完成的，而在cv(计算机视觉)任务中使用的mhsa嵌入了两个可学习的向量rh和rw，得到维度分别为h*d和w*d的矩阵，分别扩展为h*1*d和1*w*d，相加得到矩阵r，看成是横纵两个维度的空间注意力完成位置编码，然后将相加融合后的r与q相乘得到内容与位置的关系(content-position)qr
t
，将q和k相乘得到内容对内容的查询(content-content)qk
t
，将content-position和content-content相加得到的相似性特征feature，经过softmax后与v相乘，让mhsa关注合适区域。整个mhsa层可以表示为：softmax(qr
t
qk
t
)v。同时使用4个mhsa，将特征投影到多个子空间中，以提升模型的表达能力，其中，transformer结构如图8所示。
[0079]
步骤6、将分块后的指纹待检测图像输入至训练后的所述二分类网络结构得到若干局部指纹的欺骗分数，将融合后的欺骗分数与第二阈值进行比较，若大于第二阈值，则为
伪造指纹，若小于第二阈值，则为活性指纹。
[0080]
其中，指纹待检测图像按照步骤2的方法分割成5张子图像后，将分块后得到的5张子图像输入至训练后的二分类网络结构，以进行指纹活体检测。
[0081]
另外，融合后的欺骗分数为所有子图像得到的欺骗分数的平均值。
[0082]
优选地，第二阈值设置为0.5。
[0083]
本发明采用基于软件的指纹静态特征，静态特征只需要一张或几张图像用于指纹活体检测而不是图像序列，不仅可以防止欺骗攻击指纹认证系统，在实际应用中也更加方便。
[0084]
本发明提出了一种新的基于transform resnet的轻量级指纹活体检测网络来区分活性指纹和伪造指纹，具体地，本技术通过减少卷积核个数和网络层数，有效避免了网络过拟合并减少了参数。同时通过利用mhsa模块替代3*3卷积也达到了降低参数的效果，从而达到了轻量级的网络结构。另外，在本发明中，使用指纹图像中心对指纹图像分块，并使用cyclegan对伪造指纹图像进行增加以增加其在未知材料上的泛化能力。网络使用改进后的残差块，并加入了功能强大的mhsa自注意力机制模块，整体参数仅有0.83m。
[0085]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0086]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征数据点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特征数据点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0087]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。