一种基于神经网络的在线签名鉴定方法与流程

1.本发明涉及一种基于神经网络的在线签名鉴定方法，属于在线签名鉴定领域。


背景技术：

2.目前签名鉴定系统主要有两类，一类是在线签名鉴定系统，在线签名是利用特定的手写工具(手写板、手写笔、智能手机等)采集人在签名时的动态笔迹信息，包括抬笔落笔、位置坐标、压力、速度等。另一类是离线签名系统，离线签名并不采集书写者书写时的动态信息，只是将在不同载体上书写的签名笔迹以图片等形式保存下来。
3.在线签名鉴定系统有函数方法和参数方法两大类:
4.1、函数方法中通过比较相同时间点待测签名和正确签名间的特征向量即计算签名特征序列的相似度，比较相似度和相似度阈值来辨别签名的真伪。对函数方法，最重要的就是按时间点对齐序列，若在用户签名漏笔划的情况下进行对齐，容易造成整体偏移，鲁棒性较差。如专利cn107657241b《一种面向签字笔的签名真伪性鉴别系统》中等时间间隔进行多次采样签名特征，并根据签名特征计算综合相似度，比较所述综合相似度与相似度阈值之间的大小关系，对待测签名者的真伪性进行鉴别。
5.2、参数方法主要是通过计算整个签名过程中一些数据(签名时间、直线长度、倾斜角度、长宽比、平均速度和平均加速度等)，将计算出来的数据组合成相应的特征向量，然后通过比对待测签名和正确签名参数特征向量的欧式距离大小是否超过相应的阈值来辨别真伪。该方法需要人工设置特征向量欧式距离的阈值，对不同特征向量组合需要实验不同的阈值，泛化能力较差。
6.综上，需要一种高鲁棒性的在线签名鉴定方法。
7.《基于lstm神经网络的手写签名鉴定研究》公开了提取签名的位置特征、速度特征，使用lstm 分类函数(softmax，分为k类)进行鉴定。但该方法中直接将待鉴定签名的特征特征输入神经网络，输出结果为签名是某个人的概率；则该方法泛化能力差，且仅适用于少规模用户的应用场景。


技术实现要素：

8.为了克服现有技术中存在的问题，本发明设计了一种基于神经网络的在线签名鉴定方法，将正确签名与待鉴定签名的相似度向量作为输入，利用鉴定模型学习相似度向量的分布式特征表示并根据分布式特征表示进行真伪分类，从而得到鉴定结果，具有较强的鲁棒性和泛化能力。
9.为了实现上述目的，本发明采用如下技术方案：
10.一种基于神经网络的在线签名鉴定方法，包括以下步骤：
11.获取第一签名信息和第二签名信息，所述第一签名信息和第二签名信息包括若干个笔迹点的特征值；
12.根据笔迹点的特征值，计算第一签名信息和第二签名信息的相似度向量；
13.将所述相似度向量输入至鉴定模型，得到鉴定结果；所述鉴定模型包括特征提取网络。
14.进一步地，所述鉴定模型包括特征提取网络和激活层；
15.鉴定模型输出所述相似度向量的置信度，比较置信度和置信度阈值，得到鉴定结果。
16.进一步地，所述特征值包括位置值、压力值、速度值中的至少一项。
17.进一步地，所述根据笔迹点的特征值，计算第一签名信息和第二签名信息的相似度向量，具体为：
18.分别将第一签名信息、第二签名信息拆分为若干个第一笔迹序列、若干个第二笔迹序列；
19.根据笔迹点的特征值，对各第一笔迹序列，计算其与对应第二笔迹序列的相似度，得到包含若干个相似度的相似度向量。
20.进一步地，所述分别将第一签名信息、第二签名信息拆分为若干个第一笔迹序列、若干个第二笔迹序列，具体为：
21.提取第一签名信息和第二签名信息中的波峰、波谷，得到第一波峰波谷序列和第二波峰波谷序列；根据第一波峰波谷序列和第二波峰波谷序列，通过dtw算法确定若干个分割点；按若干个所述分割点，分别将第一签名信息和第二签名信息分割为若干个第一笔迹序列、若干个第二笔迹序列。
22.进一步地，计算第一笔迹序列与对应第二笔迹序列的相似度，具体包括：
23.对第一笔迹序列中各笔迹点，分别计算其与第二笔迹序列中至少一个笔迹点的特征值的欧式距离；对若干个所述欧式距离进行求和，得到该第一笔迹序列与对应第二笔迹序列的相似度。
24.进一步地，所述对第一笔迹序列中各笔迹点，分别计算其与第二笔迹序列中至少一个笔迹点的特征值的欧式距离，具体为：
25.对第一笔迹序列中第i个笔迹点，分别计算其与第二笔迹序列中第i个笔迹点到第i r个笔迹点的特征值的欧式距离,r的取值范围为0至第一笔迹序列与第二笔迹序列长度的比值。
26.进一步地，还包括对若干个所述欧式距离赋不同的权值；
27.将若干个欧式距离的加权求和值作为第一笔迹序列与对应第二笔迹序列的相似度；其中，对第一笔迹序列中第i个笔迹与第二笔迹序列中第i个笔迹点特征值的欧式距离赋第一权值，对第一笔迹序列中第i个笔迹与第二笔迹序列中第i r(r≠0)个笔迹点特征值的欧式距离赋第二权值，第一取值大于第二权值。
28.进一步地，计算第一笔迹序列与对应第二笔迹序列的相似度，以公式表达为：
[0029][0030]
其中，la表示笔迹序列a长度；floor表示向下取整函数；r表示笔迹序列a与笔迹序列b长度的比值，r≥1；d()表示欧式距离；a(i)表示笔迹序列a中第i个笔迹点；b(i r)表示
笔迹序列b中第i r个笔迹点；w表示权重,
[0031]
技术方案二
[0032]
一种基于神经网络的在线签名鉴定系统，包括：
[0033]
签名获取单元，所述签名获取单元用于获取第一签名信息和第二签名信息，所述第一签名信息和第二签名信息包括若干个笔迹点的特征值；
[0034]
签名预处理单元，所述签名预处理单元用于根据笔迹点的特征值，计算第一签名信息和第二签名信息的相似度向量；
[0035]
签名鉴定单元，所述签名鉴定单元设有鉴定模型，鉴定模型用于根据相似度向量，输出鉴定结果。
[0036]
与现有技术相比本发明有以下特点和有益效果：
[0037]
1、本发明将正确签名与待鉴定签名的相似度向量作为输入，利用鉴定模型学习相似度向量的分布式特征表示并根据分布式特征表示进行真伪分类，从而得到鉴定结果，具有较强的鲁棒性和泛化能力。
[0038]
2、现有技术中通过在笔迹序列前后补0值，使序列长度保持一致。而本发明在计算笔迹序列相似度的过程中，动态分配笔迹点特征值欧式距离的权重，使较短笔迹序列中的笔迹点i对应计算较长笔迹序列中的多个周边笔迹点(i
…
i r)的特征值欧式距离，且距离越远笔迹点的权值越小(w＝1、w＝r-r)，从而减少笔画长度不一致对相似度的影响。
[0039]
3、本发明采用了签名的空间分布特征、笔划压力特征、笔划书写速度特征，不仅考虑了笔画相似度信息，还考虑到笔画对应的压力值信息；有效提升了对临摹笔迹相似度高的攻击项识别效果，从而提升最终识别率。
[0040]
4、本发明使用长短期记忆网络提取特征，相对于传统的特征工程进行特征提取，长短期记忆网络不需要人工进行繁琐的特征设计过程，并且长短期记忆网络具有更好的泛化能力，适合用于笔迹这类序列数据的识别，识别准确率高。
附图说明
[0041]
图1是本发明流程图；
[0042]
图2是待鉴定签名示意图；
[0043]
图3是正确签名示意图。
具体实施方式
[0044]
下面结合实施例对本发明进行更详细的描述。
[0045]
实施例一
[0046]
如图1所示，一种基于神经网络的在线签名鉴定方法，包括以下步骤：
[0047]
s1、获取第一签名信息和第二签名信息：
[0048]
用户在签名设备上进行签名动作，签名设备按时间序列采集用户笔迹，在每一取样时间点采集笔迹点的特征值(本实施例中特征值包括位置值、压力值、速度值)，得到第一签名信息。
[0049]
查找用户在同型号签名设备上的历史签名信息作为第二签名信息。
[0050]
本实施例中，第一签名为待鉴定签名，如图2所示，第二签名为正确签名，如图3所示。
[0051]
s2、分别对第一签名信息和第二签名信息作下述预处理：
[0052]
s21、缩放：读取签名信息中笔迹点的纵向坐标最小值(y_min)和纵向坐标最大值(y_max)；按下式对签名信息中各笔迹点的坐标值(x，y)进行缩放操作，使签名信息x、y轴等比例缩放：
[0053]
x_new＝x/(y_max-y_min)*1000
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0054]
y_new＝y/(y_max-y_min)*1000
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0055]
式中，x_new表示缩放操作后的x值；y_new表示表示缩放操作后的y值。
[0056]
s22、插值：遍历签名信息中各笔迹点，在欧式距离大于等于10的相邻笔迹点之间以10为间隔均匀插入新的笔迹点。
[0057]
s3、分别将第一签名信息、第二签名信息按下述步骤拆分为若干个第一笔迹序列、若干个第二笔迹序列：
[0058]
s31、分别按下述步骤提取第一签名信息和第二签名信息中的波峰、波谷，得到第一波峰波谷序列和第二波峰波谷序列：
[0059]
在签名信息中，查找笔迹点y轴局部极大值和局部极小值。标记y轴局部极大值为波峰、y轴局部极小值为波谷，得到波峰波谷序列。
[0060]
计算各相邻波峰、各相邻波谷之间的距离，过滤距离小于10的笔迹点；计算波峰的高度、波谷的深度，过滤波峰高度和波谷深度小于100的笔迹点；得到过滤后的波峰波谷序列。
[0061]
s32、根据第一波峰波谷序列和第二波峰波谷序列，通过dtw算法确定若干个分割点。
[0062]
假设由第一签名信息得到的第一波峰波谷序列长度为m，由第二签名信息得到的第二波峰波谷序列长度为n。
[0063]
计算距离矩阵：计算第一波峰波谷序列中各笔迹点到第二波峰波谷序列中各笔迹点的欧式距离，得到一个m*n的矩阵。
[0064]
计算路径矩阵：遍历距离矩阵，计算距离矩阵中各矩阵元素从矩阵元素(1,1)到矩阵元素(m,n)方向上累积的最小路径值，得到一个m*n的矩阵，以公式表达为：
[0065]
r(i,j)＝d(qi,cj) min{r(i-1,j-1),r(i-1,j),r(i,j-1)}
ꢀꢀꢀꢀꢀꢀ
(3)
[0066]
式中，qi为笔迹序列q上第i个点，cj为笔迹序列c上第j个点，d为qi，cj之间的欧式距离，r为路径矩阵中矩阵元素(i，j)的累积路径值。
[0067]
计算最优路径：从路径矩阵中矩阵元素(m,n)出发，取其左、左上、上三个方向中最小的数字直至矩阵元素(1,1)，得到最优路径。最优路径即为分割点序列。
[0068]
s33、按分割点序列，分别将第一签名信息和第二签名信息分割为若干个第一笔迹序列、若干个第二笔迹序列。
[0069]
本实施例中根据y轴变化值计算笔迹点的波峰和波谷，然后使用dtw计算两个笔迹间对应的波峰和波谷进行对齐；最后将波峰与波谷之间的笔迹进行划分，得到若干个笔迹序列，使一个笔迹序列对应一个笔画。
[0070]
s4、对各第一笔迹序列，计算其与对应第二笔迹序列的相似度，得到包含若干个相似度的相似度向量：
[0071]
对第一笔迹序列中各笔迹点，分别计算其与第二笔迹序列中多个笔迹点的特征值的欧式距离，并累加得到的若干个欧式距离为该第一笔迹序列与对应第二笔迹序列的相似度，以公式表达为：
[0072][0073]
式中，la表示笔迹序列a长度；floor表示向下取整函数；r表示笔迹序列a与笔迹序列b长度的比值，d()表示欧式距离；a(i)表示笔迹序列a中第i个笔迹点；b(i r)表示笔迹序列b中第i r个笔迹点；w表示权重,该公式中，对输入的第一笔迹序列和第二笔迹序列，将长度较短的笔迹序列作为式中的笔迹序列a，较长的笔迹序列作为式中的笔迹序列b，以保证r≥1。笔迹序列长度具体为笔迹序列中笔迹点数量。
[0074][0075]
式中，xi、yi表示笔迹序列a中第i个笔迹点的x轴坐标值、y轴坐标值；x
i r
、y
i r
表示笔迹序列b中第i r个笔迹点的x轴坐标值、y轴坐标值。
[0076]
d2＝p
i-p
i r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0077]
式中，pi表示笔迹序列a中第i个笔迹点的压力值；p
i r
表示笔迹序列b中第i r个笔迹点的压力值。
[0078]
d3＝v
i-v
i r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(7)
[0079]
式中，vi表示笔迹序列a中第i个笔迹点的速度值；v
i r
表示笔迹序列b中第i r个笔迹点的速度值。
[0080]
分别将式子(5)、(6)、(7)代入式子(4)，得到第一笔迹序列与其对应第二笔迹序列在三个维度(即位置值、压力值、速度值)上的相似度x＝(dist1,dist2,dist3)。
[0081]
按上述方法依次计算各第一笔迹序列与其对应第二笔迹序列的相似度x，得到相似度向量(x1,x2,
…
,xi,
…
,xn)
t
，其中,i表示第i个第一笔迹序列与其对应第二笔迹序列的相似度。
[0082]
s5、将相似度向量(x1,x2,
…
,xi,
…
,xn)
t
输入至鉴定模型，鉴定模型中的特征提取网络(本实施例中采用长短期记忆网络)输出1*1*1的向量，经过激活层的sigmoid函数处理输出数值在0到1之间的置信度，比较置信度与置信度阈值，得到真伪类别即鉴定结果。
[0083]
实施例二
[0084]
构建并训练鉴定模型：
[0085]
构建样本数据集：遍历电子签名字迹数据集，计算两两签名信息之间的相似度向量；以同一个人签名信息的相似度向量为正样本数据并标注为1，不同人签名信息的相似度向量为负样本数据并标注为0。
[0086]
样本数据增广：为提升样本数据的多样性，使鉴定模型达到更好的收敛效果，对样本数据进行增广，增广的方式包括，添加噪声、小角度旋转。
[0087]
样本数据集划分：按比例9：0.5：0.5将样本数据集分为训练集、验证集和测试集。
[0088]
搭建鉴定模型，鉴定模型包括长短期记忆网络和激活层。所述长短期记忆网络包括输入层、隐藏节点层、输出层；激活层采用sigmoid函数。
[0089]
利用训练集训练鉴定模型，迭代更新鉴定模型超参数。训练过程中，以二分类交叉熵损失(binary_crossentropy loss)为损失函数计算损失值，并反向传播损失值以更新网络层中的权重参数。
[0090]
实施例三
[0091]
与上述一种基于神经网络的在线签名鉴定方法相对应，一种基于神经网络的在线签名鉴定系统，包括签名获取单元、签名预处理单元和签名鉴定单元；
[0092]
签名获取单元，所述签名获取单元用于获取第一签名信息和第二签名信息，所述第一签名信息和第二签名信息包括若干个笔迹点的特征值；
[0093]
签名预处理单元，所述签名预处理单元用于根据笔迹点的特征值，计算第一签名信息和第二签名信息的相似度向量；
[0094]
签名鉴定单元，所述签名鉴定单元设有鉴定模型，鉴定模型用于根据相似度向量，输出鉴定结果。
[0095]
需要说明的是，上述提出的一种基于神经网络的在线签名鉴定系统，还用于实现如上述各实施例对应的方法步骤，本技术在此不重复叙述。
[0096]
需要说明的是，在本发明各个实施例中的各功能单元/模块可以集成在一个处理单元/模块中，也可以是各个单元/模块单独物理存在，也可以是两个或两个以上单元/模块集成在一个单元/模块中。上述集成的单元/模块既可以采用硬件的形式实现，也可以采用软件功能单元/模块的形式实现。
[0097]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。
[0098]
最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。