基于人工智能实现离线手写签名验证的方法

1.本发明涉及基于人工智能实现离线手写签名验证的方法，属于信息技术领域，特别是属于手写签名验证技术领域。


背景技术：

2.随着现在网络技术的发展，人们越来越关注自己的隐私安全。在很多工作领域中，身份验证都是不可或缺的环节。签名验证作为身份验证的一种，在很多时候可以辅助验证个人身份，且具有简单快捷的优势。相比于指纹等生物特征，签名更容易获取。
3.虽然目前已有很多签名验证方案，但仍存在很多问题。比如：申请号为cn201680028530.4的中国专利实现了一种签名认证方法、终端、手写笔及系统。该方法包括当用户通过手写笔在终端的触摸面板上进行签名时，终端检测第一签名数据，第一签名数据包括手写笔与触摸面板的接触点的坐标信息和接触点处手写笔对触摸面板的压力信息；以及终端接收手写笔发送的第二签名数据，第二签名数据包括手写笔检测的当用户通过手写笔在触摸面板上进行签名时手写笔的运动轨迹信息及用户对手写笔的压力信息。将第一签名数据和第二签名数据与预存的签名模板数据匹配对比，得到匹配率。当匹配率不低于预设的匹配率阈值时，签名认证通过。该发明实施例通过手写笔提取更多用户签名特征数据，增加攻击者模仿用户签名信息的难度，提高了签名认证系统的安全性。但该专利存在如下缺点：1、只能处理在线手写签名，无法处理离线手写签名；2、只是收集了触摸面板上的压力信息、坐标信息、运动轨迹等信息，没有对笔迹的形状等进行特征提取，不够精准；3、无法先进行大量采集再后处理，应用场景不够丰富。
4.再比如：申请号为cn202011436507.3的中国专利公开了一种基于图像识别的手写签名比对方法和系统，所述方法应用于一手写签名对比系统，且所述系统具有一基础数据库、图数据库、后台管理模块以及显示界面，其中，所述方法包括：首先分别收集所有客户经理和客户的手写签名数据通过后台管理系统导入图数据库，进行预处理，如果是电子签名，则直接对接后台管理系统进入图数据库；通过现有的图像识别技术提取客户签名特征，与数据库中客户经理的签名特征进行对比，得出相似度排名，对于超过阈值的结果数据进行预警提醒，转后台人工处理。但该专利有如下缺点：1、主要目的是排查出可能是领导的签名，从而进行进一步处理，应用场景局限性太大；2、精度不够高，只能在一定的误差范围内找到领导的签名，无法具体对应上某一个人；3、无法实时处理新来用户的签名数据。
5.由此可见现有的签名验证技术方案没有很好地解决离线手写签名认证的问题，而且并没有针对与书写者独立的任务进行处理与解决，无法适用于任意人的签名真实性验证工作。因此如何可靠准确地实现离线手写签名认证的问题成为目前手写签名验证技术领域急需解决的一个技术难题。


技术实现要素：

6.有鉴于此，本发明的目的是发明一种方法，实现可靠准确地离线手写签名认证。
7.为了达到上述目的，本发明提出了基于人工智能实现离线手写签名验证的方法，所述方法包括下列操作步骤：
8.(1)将待验证签名图片m1按照第一特征提取方法进行预处理，获得待验证签名图片m1的纹理特征f1；将真实签名图片m2按照第一特征提取方法进行预处理，获得真实签名图片m2的纹理特征f2；所述的第一特征提取方法的具体内容是：对签名图片依次进行灰度化、去背景、直方图位移、尺寸调整、插值和量化、计算灰度共生矩阵和计算纹理特征等操作；
9.(2)将所述的纹理特征f1和f2输入到第一判决器，获得第一判决结果d0；所述第一判决结果d0取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；所述的第一判决器是svm分类器；
10.(3)将待验证签名图片m1按照第二特征提取方法进行预处理，获得待验证签名图片m1的深度特征p1；将待验证签名图片m1的翻转图片im1按照第二特征提取方法进行预处理，获得待验证签名图片m1的翻转图片im1的深度特征ip1；
11.将真实签名图片m2按照第二特征提取方法进行预处理，获得真实签名图片m2的深度特征p2；将真实签名图片m2的翻转图片im2按照第二特征提取方法进行预处理，获得真实签名图片m2的翻转图片im2的深度特征ip2；
12.所述的第二特征提取方法是通过骨干网络和注意网络来提取图片的深度特征的方法；
13.(4)将所述的深度特征p1和p2组成融合特征fp1，输入到第二判决器，获得第二判决结果d1；所述第二判决结果d1取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
14.将所述的深度特征p1和ip2组成融合特征fp2，输入到第三判决器，获得第三判决结果d2；所述第三判决结果d2取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
15.将所述的深度特征ip1和p2组成融合特征fp3，输入到第四判决器，获得第四判决结果d3；所述第四判决结果d3取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
16.将所述的深度特征ip1和ip2组成融合特征fp4，输入到第五判决器，获得第五判决结果d4；所述第五判决结果d4取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
17.所述的第二、三、四、五判决器由结构和参数完全相同的孪生神经网络构成；
18.(5)按照下式计算最终验证结果d，
19.d＝d0 d1 d2 d3 d4
20.如果d值大于等于3，则签名为真，否则为假。
21.所述的第二特征提取方法的具体内容是包括如下操作步骤：
22.(31)先对签名图片进行尺寸调整，调整到设定的尺寸大小；
23.(32)把所述的完成尺寸调整后签名图片输入到特征金字塔网络，经过系列3*3卷积层、
24.3*3池化层、激活层处理，得到110*77、55*38、27*19大小的3种特征图，分别命名为
fe1、fe2、fe3；
25.(33)对所述的特征图fe3进行一次上采样将其尺寸调整到55*38，命名为fe4，对所述的特征图fe2与fe4进行连接操作得到cfe2，再对fe4进行一次上采样将其尺寸调整到110*77，命名为fe5，对fe1与fe5进行连接操作得到cfe1，最后将cfe1、cfe2、fe3进行连接操作得到组合特征fe；
26.(34)将所述的签名图片进行对比度增强然后进行下采样得到特征rfe；
27.(35)将前面所得到的特征fe作为注意网络的q特征，将前面所得到的特征rfe作为注意网络的k特征，将前面所得到的特征rfe作为注意网络的v特征，输入到注意网络；
28.(36)所述的注意网络输出所述签名图片的深度特征。
29.所述的孪生神经网络工作的具体过程是：使用3*3的卷积层、3*3的池化层以及relu激活函数，得到两个110*77*128的特征向量，将所述的这两个110*77*128的特征向量连接成110*77*256的特征向量，经过卷积、池化等操作后得到110*77*32的特征，使用压平flatten层将所述的110*77*32特征进行展平得到271040长度的一维特征向量，将该一维向量输入271040*1的全连接层得到判决结果。
30.所述的孪生神经网络预先要使用二元交叉熵损失函数进行训练。
31.所述的直方图位移操作的具体内容是：将签名图片像素灰度值的直方图移向零并保持签名图片背景中的白色来实现，具体是从签名图片像素中减去签名图片中的最小灰度值来实现。
32.本发明的有益效果在于：针对离线场景下的手写签名验证问题，本发明使用svm以及孪生神经网络等框架进行特征提取与结果分类，同时使用逆鉴别网络思想，对输入图片进行像素反转，得到多组数据同时进行验证；本发明不仅使用了深度学习的方法，而且同时结合了机器学习的方法，使得本发明的方法可靠性和准确率更高。
附图说明
33.图1是本发明提出的基于人工智能实现离线手写签名验证的方法的流程图。
具体实施方式
34.为使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步的详细描述。
35.参见图1，介绍本发明提出的基于人工智能实现离线手写签名验证的方法，所述方法包括下列操作步骤：
36.(1)将待验证签名图片m1按照第一特征提取方法进行预处理，获得待验证签名图片m1的纹理特征f1；将真实签名图片m2按照第一特征提取方法进行预处理，获得真实签名图片m2的纹理特征f2；所述的第一特征提取方法的具体内容是：对签名图片依次进行灰度化、去背景、直方图位移、尺寸调整、插值和量化、计算灰度共生矩阵和计算纹理特征等操作；
37.在实施例中，签名图片尺寸调整为标准大小220*155；所述的插值和量化操作的具体内容是尺寸调整之后，需要使用预先设定的一些灰度值对签名图片进行量化，即保证签名图片中的灰度像素值转换到一些特定值上。
38.在实施例中，设定固定间隔的灰度值为0、10、20、......、150、......、250，对于签名图片每个像素点的灰度值，将其转化为距离最近的规定灰度值，例如7.3需转换到10,147需转换到150。
39.灰度共生矩阵是图像中各种像素灰度混合出现的频率的列表。灰度共生矩阵一次分析两个像素之间的关系，称为参考像素和相邻像素，然后将每个像素组合的出现情况记录在矩阵中。共生矩阵用两个位置的像素的联合概率密度来定义，它不仅反映亮度的分布特性，也反映具有同样亮度或接近亮度的像素之间的位置分布特性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础。一幅图像的灰度共生矩阵能反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它是分析图像的局部模式和它们排列规则的基础。
40.计算纹理特征操作的具体内容是：使用灰度共生矩阵(glcm)计算签名图片的同质性、对比度、相关性等细节纹理特征，然后计算这些细节纹理特征的平均值，所得到的平均值即为签名图片的纹理特征。
41.(2)将所述的纹理特征f1和f2输入到第一判决器，获得第一判决结果d0；所述第一判决结果d0取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；所述的第一判决器是svm分类器；
42.(3)将待验证签名图片m1按照第二特征提取方法进行预处理，获得待验证签名图片m1的深度特征p1；将待验证签名图片m1的翻转图片im1按照第二特征提取方法进行预处理，获得待验证签名图片m1的翻转图片im1的深度特征ip1；
43.根据逆鉴别网络的思想，图片颜色变化并不会影响签名的归属，因此对于输入的两张图片m1(待验证签名图片)、m2(真实签名图片)，分别进行像素反转得到图片im1(像素反转后的待验证签名图片)、im2(像素反转后的真实签名图片)，原则上m1与m2的比对结果，应该与m1与im2、im1与m2、im1与im2三对数据的比对结果一致。
44.图片反转是指将图像中每个像素点的值进行反转，实施例中像素点的值域为0～255.0，假设某个像素点的值是a，像素反转即是将值a转化成255.0-a。将整张图像的所有像素点的值转化后即完成了像素反转。
45.将真实签名图片m2按照第二特征提取方法进行预处理，获得真实签名图片m2的深度特征p2；将真实签名图片m2的翻转图片im2按照第二特征提取方法进行预处理，获得真实签名图片m2的翻转图片im2的深度特征ip2；
46.所述的第二特征提取方法是通过骨干网络backbone和注意(attention)网络来提取图片的深度特征的方法；在实施例中，骨干网络backbone部分每个卷积层后面会使用一个relu层作为激活函数，并在每一个卷积层后面接一个batchnormlization层进行归一化操作；
47.骨干网络backbone采用fpn(特征金字塔网络)，fpn网络是一种经典的利用图像多尺度特征的网络，经过若干下采样操作，可分别得到多种尺寸的特征图，然后进行上采样和拼接可将多种尺度的特征图调整到相同尺寸并进行融合。
48.注意力(attention)网络的详细信息参见文献：vaswani a,shazeer n,parmar n,et al.attention is all you need[j].arxiv,2017。
[0049]
(4)将所述的深度特征p1和p2组成融合特征fp1，输入到第二判决器，获得第二判
决结果d1；所述第二判决结果d1取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
[0050]
将所述的深度特征p1和ip2组成融合特征fp2，输入到第三判决器，获得第三判决结果d2；所述第三判决结果d2取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
[0051]
将所述的深度特征ip1和p2组成融合特征fp3，输入到第四判决器，获得第四判决结果d3；所述第四判决结果d3取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
[0052]
将所述的深度特征ip1和ip2组成融合特征fp4，输入到第五判决器，获得第五判决结果d4；所述第五判决结果d4取值只能是0或1，0表示不是同一个人的签名，1表示是同一个人的签名；
[0053]
所述的第二、三、四、五判决器由结构和参数完全相同的孪生神经网络构成；
[0054]
(6)按照下式计算最终验证结果d，
[0055]
d＝d0 d1 d2 d3 d4
[0056]
如果d值大于等于3，则签名为真，否则为假。
[0057]
所述的第二特征提取方法的具体内容是包括如下操作步骤：
[0058]
(31)先对签名图片进行尺寸调整，调整到设定的尺寸大小，在实施例中，尺寸调整到220*155；
[0059]
(32)把所述的完成尺寸调整后签名图片输入到特征金字塔网络，经过系列3*3卷积层、3*3池化层、激活层处理，得到110*77、55*38、27*19大小的3种特征图，分别命名为fe1、fe2、fe3；
[0060]
(33)对所述的特征图fe3进行一次上采样将其尺寸调整到55*38，命名为fe4，对所述的特征图fe2与fe4进行连接操作得到cfe2，再对fe4进行一次上采样将其尺寸调整到110*77，命名为fe5，对fe1与fe5进行连接操作得到cfe1，最后将cfe1、cfe2、fe3进行连接操作得到组合特征fe，在实施例中组合特征fe的尺寸是110*77*128(宽*高*通道数)；
[0061]
(34)一张签名图片中最重要的部分是有笔划的部分，而背景部分并不重要，故将所述的签名图片进行对比度增强然后进行下采样得到特征rfe；在实施例中，对比度增强后的签名图片下采样到110*77*3，然后输入卷积层将通道数调整到128，即组合特征rfe的尺寸是110*77*128(宽*高*通道数)；
[0062]
(35)注意网络使用自注意力的方式，需要定义q、k、v三组特征；将前面所得到的特征fe作为注意网络的q特征，将前面所得到的特征rfe作为注意网络的k特征，将前面所得到的特征rfe作为注意网络的v特征，输入到注意网络；使得注意网络更多的关注笔划信息，从而尽量忽略掉背景信息(背景大部分都是白色/黑色，占比较大)，得到更具有区分度的特征。
[0063]
(36)所述的注意网络输出所述签名图片的深度特征。
[0064]
所述的孪生神经网络工作的具体过程是：使用3*3的卷积层、3*3的池化层以及relu激活函数，得到两个110*77*128的特征向量，将所述的这两个110*77*128的特征向量连接成110*77*256的特征向量，经过卷积、池化等操作后得到110*77*32的特征，使用压平flatten层将所述的110*77*32特征进行展平得到271040长度的一维特征向量，将该一维向
量输入271040*1的全连接层得到判决结果。
[0065]
所述的孪生神经网络预先要使用二元交叉熵损失函数进行训练。在实施例中，将四路孪生神经网络的损失函数相加，作为总的损失函数进行网络训练。
[0066]
所述的直方图位移操作的具体内容是：将签名图片像素灰度值的直方图移向零并保持签名图片背景中的白色(在实施例中白色值为255)来实现，具体是从签名图片像素中减去签名图片中的最小灰度值来实现。
[0067]
发明人对本发明的方法进行了大量实验，获得了良好的实验结果，这表明本发明的方法是有效可行的。