基于双流网络的多模态签名笔迹鉴别系统及方法与流程

1.本发明涉及计算机信息处理技术领域，具体地，涉及一种多模态签名笔迹鉴别方法，对一组纸质签名和电子签名进行鉴别判断是否为同一人签署。


背景技术：

2.签名笔迹鉴别是对两份签名文件进行多方面的相似度度量，判断是否为同一人签署，以验证签名的真实性。其在金融、银行、司法等多个领域有广泛应用。签名笔迹鉴别是一项具有挑战性的任务，需要经验丰富的专家鉴定人员对签名笔迹进行真伪判断。现实生活中，签署人的签名风格会随着时间、年龄及其它因素而变化，而仿写者也会实现经过大量练习后进行模仿签名，这十分考验鉴定人员的专业能力。近年来，随着深度学习的快速发展，广大研究人员也将深度学习应用于签名笔迹鉴别中，基于深度学习的签名笔迹鉴别方法因其能自动提取有效特征的能力能够取得不错的效果。
3.公开号cn113326809a，发明名称“基于三通道神经网络的离线签名鉴定方法及系统”的中国发明专利申请，将签名图像、对比图像和插值图像进行叠加得到一个三通道的图像作为网络的输入，网络使用inception v3与senet的组合，最后输出真伪的概率值。该方法的网络收敛速度快，精度高。公开号cn106803082a，发明名称“一种基于条件式生成对抗网络的在线笔迹识别方法”的中国发明专利申请，使用生成器生成签名笔迹，将实际签名和生成签名进行相似度比对，判断是否为该用户笔迹，该方法不需要采集大量的负样本即可对签名笔迹进行鉴定。
4.上述技术主要针对离线签名笔迹或者在线签名笔迹进行真伪判断。但是，上述现有技术没有实施对多模态签名笔迹的比对任务，没有针对离线纸质签名笔迹和在线电子签名笔迹之间进行真伪鉴别，不能有效消除因语义鸿沟及书写风格变化等因素对签名真伪鉴定准确性带来的影响。


技术实现要素：

5.本发明所要解决的技术问题是，因不同次签名书写的介质差异导致离线签名笔迹和在线签名笔迹之间存在语义鸿沟，一定程度会出现签名书写风格变化以及书写不稳定等现象，使得多模态签名笔迹比对成为一个亟待解决的难题。
6.本发明解决上述技术问题的技术方案是，鉴于现有技术没有能够解决多模态签名笔迹比对任务的方法，针对多模态签名笔迹比对任务中书写风格差异、存在语义鸿沟等问题，提出一种基于双流网络的多模态签名笔迹比对方法，能够有效地鉴别离线签名和在线签名的真伪。
7.本发明提出一种基于双流网络的多模态签名笔迹鉴别系统，包括，数据采集模块、数据预处理模块、模态迁移模块、模型训练模块，其中，数据采集模块，用于采集不同签署人的纸质签名和电子签名数据，得到离线纸质签名图像和在线签名图像数据，构建对应纸质签名和电子签名序列的正写及仿写样本；数据预处理模块，用于对离线图像去噪、灰度及二
值化处理得到二值化签名图像，对二值化签名图像进行随机数据增强，并与在线电子签名图像数据样本构建图像对，将配对的离线签名图像与在线电子签名图像组合的跨介质图像对进行对齐；模态迁移模块，用于将签名图像从一个域迁移到另一个域，进行同模态数据组合拼接；模型训练模块，用于将经过拼接的两类同模态签名图像数据分别输入双流网络基于特征提取网络获得的签名特征向量及损失函数进行签名真伪二分类训练，输出签名图像对相似度的概率得分，通过跨模态正写及仿写样本签名笔迹对及损失函数训练优化双流网络得到多模态签名笔迹鉴别模型。
8.进一步优选，数据采集模块采集同一签署人不同次数和/或在不同介质签署和/或不同书写方式的电子签名作为正写签名，其他人在任意触控设备上签署的与正写签名文字相同的签名作为仿写签名；通过文本检测及抠图处理将纸质签名转换为离线签名图像，将电子签名笔划序列数据结合轨迹点坐标、压力和时间信息转换成在线电子签名图像。
9.进一步优选，模态迁移模块中生成对抗网络图像处理cyclegan单元利用循环的对抗生成网络，将在线电子签名图像转换为类离线纸质签名图像模态，将离线纸质签名图像转换为类在线电子签名图像模态；cyclegan单元输出的同模态数据组合拼接，转并换为相同尺度的图像。
10.进一步优选，模型训练模块包括特征提取网络和分类网络，特征提取网络包括两个稀疏卷积层和一个池化层顺序级联构成特征提取单元，多个特征提取单元网状连接，输出分别连接不同维度的池化层，将签名数据特征转换为与池化层维度对应的固定大小的矩阵，多个池化层的输出叠加转化为一维特征向量，得到签名数据特征矩阵。
11.进一步优选，经过拼接的两类同模态签名图像数据分别经过两个特征提取通道进行特征提取，池化层将大小为21*512的特征矩阵转换为10752的一维向量，完成特征对齐分别输入两个分类器，分类器使用两层全连接层对两个分类器输出的签名图像的分类置信度求和取平均作为对原始跨介质图像对真伪鉴别的相似度概率得分。
12.第二方面，本发明还提出一种基于双流网络的多模态签名笔迹鉴别模型构建方法，采集不同签署人的纸质签名和电子签名数据，得到离线纸质签名图像和在线签名图像数据，构建对应纸质签名和电子签名序列的正写及仿写样本；利用循环的对抗生成网络将签字图像从一个域迁移到另一个域，，将同模态数据组合拼接转换为相同尺度的图像；经过拼接的两类同模态签名图像数据分别输入双流网络基于特征提取网络获得的签名特征向量及损失函数进行签名真伪二分类训练，输出签名图像对相似度的概率得分，通过跨模态正写及仿写样本签名笔迹对及损失函数训练优化双流网络得到多模态签名笔迹鉴别模型。
13.进一步优选，所述构建正写及仿写样本进一步包括，采集同一签署人不同次数和/或在不同介质签署和/或不同书写方式的电子签名作为正写签名，其他人在任意触控设备上签署的与正写签名文字相同的签名作为仿写签名；通过文本检测及抠图处理将纸质签名转换为离线签名图像，将电子签名笔划序列数据结合轨迹点坐标、压力和时间信息转换成在线电子签名图像。
14.进一步优选，所述将签字图像从一个域迁移到另一个域包括，将在线电子签名图像转换为类离线纸质签名图像模态，将离线纸质签名图像转换为类在线电子签名图像模态。
15.进一步优选，所述进行签名真伪二分类训练包括：经过拼接的两类同模态签名图
像数据分别经过两个特征提取通道进行特征提取，将签名数据特征转换为固定大小的矩阵，多个矩阵叠加转化为一维特征向量，得到签名数据特征矩阵，完成特征对齐分别输入两个分类器，分类器使用两层全连接层对两个分类器输出的签名图像的分类置信度求和取平均作为对原始跨介质图像对真伪鉴别的相似度概率得分。
16.第三方面，本发明还提出一种实现多模态签名笔迹比对在线测评方法，多模态签名笔迹鉴别模型获取，在线签署人的电子签名数据序列和/或纸质签名图像，通过对签名数字序列和图像进行数据预处理，模态迁移同模态数据组合拼接，加载多模态签名笔迹模型训练权重，进行在线评估，输出对纸质签名图像或电子签名是否属于同一人的相似性预测得分。
17.本发明旨在解决多模态签名比对任务中的难题。通过处理配对将一组不同模态的签名交叉转换为相同模态，将转换后的两组相同模态的签名图像分别输入到双流网络中的不同子网络进行联合训练，并在特征空间中进行模态对齐约束，进行在线评估，输出对纸质签名图像或电子签名相似性预测得分，能够有效改善不同模态之间的语义鸿沟以及签名风格差异，一定程度上消除因语义鸿沟及书写风格变化等因素对签名真伪鉴定准确性带来的影响，且模型精度高，收敛速度快，具有高度的产业利用价值。
附图说明
18.图1基于双流网络的多模态签名笔迹比对流程示意图；图2基于双流网络的多模态签名笔迹比对模型示意图；图3特征提取网络模型示意图。
具体实施方式
19.为了便于清楚地理解本发明，使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。在下面的描述中，提供诸如具体的配置和组件的特定细节仅仅是为了帮助全面理解本发明的实施例。因此，本领域技术人员应该清楚，可以对这里描述的实施例进行各种改变和修改而不脱离本发明的范围和精神。另外，为了清楚和简洁，省略了对已知功能和构造的描述，应当理解，实施例仅为了说明本发明，而不是为了限制本发明的保护范围。
20.如图1所示为基于双流网络的多模态签名笔迹比对流程示意图，包括，数据采集模块、数据预处理模块、模态迁移模块、模型训练模块、在线评测模块。
21.数据采集模块，为签名笔迹比对系统构建充足的数据集，通过数据采集设备采集签署人的正写签名和仿写签名，获取正写签名和仿写签名数据序列，构建正写样本和仿写样本签名数据库。正写签名为同一人的纸质签名及对应其在不同介质、不同次数、不同书写方式的电子签名序列数据，仿写签名则是其他第三人在各种触控设备上（如手机、平板及签字板）对正写签名进行仿写，进而得到对应的电子签名，序列数据。签名图像提取，对纸质签名可通过高拍仪扫描得到图像，再利用签名检测和抠图算法等预处理方法提取纸质签名笔迹得到离线纸质签名图像。对采集得到的电子签名序列数据中的笔划点坐标、压力和时间以及起笔抬笔状态信息进行图像回显绘制，得到在线签名图像数据。数据预处理模块，对采集的纸质签名及电子签名序列数据进行预处理，目的是为了加快训练速度，提高模型精度，
包括签名图像提取、离线纸质图像处理、随机数据增强。对离线图像通过图像去噪、灰度及二值化处理得到二值化签名图像；对二值化签名图像进行随机数据增强；经过数据增强的离线签名图像样本与在线电子签名图像数据样本构建图像对，将配对的离线签名图像与在线电子签名图像组合的跨介质图像对进行对齐。
22.离线纸质图像处理，由于离线纸质签名图像是通过文本检测及抠图算法进行提取，图像可能存在较多噪点像素干扰，像素值分布不均匀等情况，可通过以下手段进行处理：1）图像去噪，首先采用高斯滤波方法对提取后的离线纸质图像数据进行去噪，降低噪点像素对签名主体部分的干扰；2）灰度化处理，可利用图像识别opencv模块将去噪后的三通道彩色图像转换为单通道灰度图像表示；3）二值化处理，灰度图像中像素值分布区间为0~255，而实际视觉感官下的图像像素只有黑白两色，利用opencv模块将图像中像素处理为0和255表示的二值化签名图像。
23.随机数据增强，通过在线数据预处理阶段增加数据集的丰富性，按照设定概率对二值化签名图像进行随机水平方向或竖直方向翻转，旋转以及噪声处理，进行随机数据增强。
24.在线动态数据采样及配对。为了增加训练过程中的数据多样性，采用在线动态数据采样和配对，将离线签名图像样本与在线电子签名图像数据样本构建图像对。随机选择通过预处理后的任意一个签署人的正写离线纸质签名图像样本，根据设定的概率值随机组合该签署人的正写或仿写在线电子签名图像数据样本构建图像对。
25.空间尺度对齐。由于离线纸质签名图像与在线电子签名图像在空间位置及尺度大小上存在较大差异，如若不进行处理直接进行拼接，会增加后续比对模型学习难度，可通过如下手段进行对齐：1）签名轮廓提取，根据像素值分布位置判定前景及背景区域，截取裁剪得到签名轮廓矩形框；2）签名方向矫正，通过霍夫变换方法，先寻找轮廓的包围矩阵，同步获取相应旋转角度，根据角度进行旋转矫正；3）参考在线电子签名图像尺度大小，对矫正后的离线纸质签名图像进行中心对称填充（边缘区域0值padding）或缩放。通过上述方式可将离线纸质签名图像与在线电子签名图像组合的跨介质图像对进行对齐。
26.模态迁移模块，将离线纸质图像数据转换为类在线签名图像模态，将在线电子签名图像转换为类离线纸质签名图像模态，并基于此进行同模态数据组合拼接。多模态的难点在于不同模态之间的存在较大的差异，而转换为同一模态可以在一定程度上减少这种差异。本实施例的模态转移以使用生成对抗网络图像处理cyclegan为例进一步具体说明。cyclegan利用循环的对抗生成网络将签名图像从一个域风格转化到另一个域风格，即将在线电子签名图像转化为离线签名图像。具体包括：采用样本签名数据库中经过预处理的离线纸质签名图像和在线电子签名图像数据集分别训练生成器 g 和生成器f，生成器 g 和生成器f分别输出类电子签名图像和类离线签名图像。即输入一张在线电子签名图像，输出一张类离线电子签名图像数据，即：如 g(x)=y
′
，x∈x ；输入一张离线纸质签名图像，输出一张类在线电子签名图像数据，即 g(y)=x
′
，y∈y。
27.进一步分别评价生成器g与f各自生成的图像是否满足要求，还需要同步训练两个判别器 dx和dy ，根据相似度进行评分，如果生成器产生的图片 y
′
与数据集 y 里的图片 y 相似度低于阈值，此时判别器dy应给予低分（如规定最低分为0），反之如果图片 y
′
极度
近似数据集 y 里的图片 y，则判别器dy应给予高分（规定最高分为1）。判别器dy永远给真实图片 y 高分，对于判别器dx也是同理。通过上述训练方式可以获得相应的两个图像生成器g与f，训练后的图像生成器g与f构成模态迁移器。
28.可将签名笔迹预处理模块输出的跨介质图像对数据分别进行模态转换及数据扩增，并基于此对同模态数据进行拼接组合，即在线电子签名图像数据与类在线电子签名图像数据拼接组合，离线电子签名图像数据与类离线电子签名图像数据拼接组合，一对跨介质图像对即可衍生出两个同模态图像对。
29.如图2所示为基于双流网络的多模态签名笔迹比对方法流程示意图。网络模型搭建训练系统主要进行模型的训练及优化，双流网络模型训练部分主要包括特征提取网络及分类网络两个模块。经过拼接的两类同模态签名图像数据分别经过两个通道进行特征提取，完成特征对齐分别送入分类网络的两个分类器，进行判别计算概率。
30.分类网络的作用是基于特征提取网络获得的签名特征向量利用两层全连接层线性映射后采用交叉熵损失函数进行签名真伪二分类训练，输出签名图像对相似度的概率得分。由于输入是两种同模态签名图像对，经过双流特征提取网络提取也会得到对应的特征向量，双流分类网络分别对这两个特征向量进行相似性判别，分别输出各自的预测概率得分，可将两个分支的输出结果进行加权平均作为模型最终对于原始跨介质图像对真伪鉴别的相似度概率得分。
31.如图3所示为特征提取网络结构示意图。特征提取网络包括两个稀疏卷积层和一个池化层顺序级联构成特征提取单元，多个特征提取单元网状连接，输出分别连接不同维度的池化层，将签名数据特征转换为与池化层维度对应的固定大小的矩阵，多个池化层的输出叠加得到签名数据特征矩阵，转化为一维特征向量。通过数据采集模块、数据预处理模块、模态迁移模块，可以得到一系列同模态的签名图像对，将这些图像对分别输入到对应分支的特征提取网络，特征提取网络针对笔迹设计。因为笔迹图像数据是稀疏的，即像素大部分为0，只有少数部分的有效像素，为了避免背景像素对模型的干扰以及充分利用有效像素，在特征提取网络中使用稀疏卷积替代传统卷积，在稀疏卷积之间使用密集连接来融合多尺度特征，最后使用不同的池化层将特征转换为固定大小为21*512的矩阵，以解决输入图像大小不一致问题和下采样导致的细节损失。本示意图中以3个特征提取单元连接3个池化层为例，将3个池化层的输出进行叠加，最后将大小为21*512的特征矩阵转换为10752的一维向量输入到分类器。具体的，特征提取网络设计为：两个稀疏卷积层和一个池化层顺序级联构成特征提取单元，多个特征提取单元网状连接，输出到3个不同维度的池化层将签名数据特征转换为与池化层维度对应的固定大小的矩阵，3个池化层的输出叠加输出签名数据特征矩阵，转化为一维特征向量，维度为1*10752。
32.为了让两个特征提取网络都学习签名笔迹风格特征，同时忽略掉不同格式图像的特点，本方案对两个特征网络作模态特征对齐，可选用欧式距离，希望模态特征差异越小越好。
33.对双流网络模型训练中，损失函数可为模态特征对齐损失和两个分类损失的线性和，通过大量的跨模态正负样本签名笔迹对及损失函数优化网络。
34.在线评测，通过前置的数据预处理，模态迁移，加载双流网络多模态签名笔迹比对预训练模型权重，可对任意一组纸质签名和电子签名序列进行真伪鉴定，最终输出的是对
于此图像对是否属于同一人的相似性预测得分。
35.该系统提供一个供用户训练测试的平台，主要包括数据采集，数据预处理，模态迁移，模型训练以及在线评估模块。用户不仅通过大量在线采集或上传纸质签名与电子签名序列数据，调用系列数据预处理及模态迁移转换模块，利用模型训练模块进行模型在线训练或微调训练，同时也可以通过在线采集或上传纸质签名与电子签名序列对进行在线签名数据的在线评估，该系统可以实时返回笔迹真伪鉴定结果。
36.本发明采集不同签署人在纸质及电子设备上签署的纸质签名和电子签名数据，获得对应纸质签名和电子签名序列正写及仿写样本；将纸质签名经过文本检测及抠图等预处理操作转化为离线纸质签名图像，将电子签名序列数据经过回显绘制为在线电子签名图像；随机选择签署人的单个离线纸质签名图像作为参考正写样本，另选择相同签署人在任一电子设备上签署的正写或不同签署人参考仿写的在线电子签名图像，构建得到对应跨介质正写或仿写签名图像对；将签名图像对中在线电子签名图像转换至类离线纸质签名图像模态，将离线纸质签名图像转换至类在线电子签名图像模态，完成不同介质签名数据模态的转换及数据增强；选择签名中模态一致的两张图像进行拼接组合，以此图像对作为双流网络的输入，分别进行特征提取，模态特征对齐及联合分类训练；基于最优模型部署在线评测系统，进行多模态签名笔迹的真伪鉴别。经大规模测试证明，能有效消除因语义鸿沟及书写风格变化等因素对签名真伪鉴定准确性带来的影响。