基于孪生视觉Transformer网络的签名鉴定方法和系统

技术特征：
1.基于孪生视觉transformer网络的签名鉴定方法，其特征在于，所述方法包括：s1、签名图片预处理，将签名图片等比缩放，采用基于统计的阈值对签名图片进行二值化；s2、对每个签名的真实签名照片、伪造签名照片进行配对，得到每个签名的正样本和负样本，构建样本数据集；s3、构建孪生视觉transformer网络模型，孪生视觉transformer网络模型为基于孪生网络架构，使用改进多尺度视觉transformer作为骨干网络，使用多层感知机进行距离计算的神经网络模型；s4、采用样本数据集对孪生视觉transformer网络模型进行训练，使用梯度下降的逼近方法使得孪生视觉transformer网络模型收敛；s5、使用训练后的孪生视觉transformer网络模型对待鉴定签名图片进行鉴定，输出鉴定结果。2.根据权利要求1所述的签名鉴定方法，其特征在于，所述将签名图片等比缩放包括：将签名图片等比缩放为固定大小，使每一张签名图片居中嵌入在固定大小的白色背景图片中，当签名图片周围有空白就填充显示背景的白色；所述阈值通过在原始签名图片中进行抽样获取，对于每张原始签名图片的所有像素点，每间隔若干个像素点进行采样，取所有采样点的灰度值的平均数作为阈值t。3.根据权利要求2所述的签名鉴定方法，其特征在于，所述采用基于统计的阈值对签名图片进行二值化包括：对于签名图片中的每个像素点进行二值化，当像素点灰度值小于0.8
×
t，则令像素点为黑色0，当大于0.8
×
t则令像素点为白色255。4.根据权利要求1所述的签名鉴定方法，其特征在于，所述步骤s2包括：将每个签名的若干张真实签名照片两两配对得到正样本，正样本的标签为0；将每个签名的若干张真实签名和若干张伪造签名进行两两配对得到负样本，负样本标签为1；将正样本和负样本构建为样本数据集。5.根据权利要求1所述的签名鉴定方法，其特征在于，所述孪生视觉transformer网络模型使用端到端的孪生网络架构，将参考签名图片和待鉴定签名图片分别输入改进的多尺度视觉transformer得到两个特征向量，将两个特征向量做差后取绝对值并输入多层感知机，输出两张签名图片的距离。6.根据权利要求5所述的签名鉴定方法，其特征在于，所述改进的多尺度视觉transformer有3个不同尺度，采用无重叠的切割方法对图片分块；将原始视觉transformer的最后分类层移除，直接输出特征向量作为签名图片的特征，将3个不同尺度的视觉transformer输出的特征向量进行融合。7.根据权利要求6所述的签名鉴定方法，其特征在于，所述改进的多尺度视觉transformer的3个不同尺度分别是8
×
16、16
×
32、28
×
40，3个不同尺度的transformer的堆叠的编码器层数分别为2、4和6；所述将3个不同尺度的transformer输出的特征向量进行融合方法为将3个不同尺度的transformer输出的特征向量相加后除以3。8.根据权利要求1所述的签名鉴定方法，其特征在于，所述对孪生视觉transformer网络模型进行训练包括：采用样本数据集的训练集对孪生视觉transformer网络模型进行训练；损失函数使用二分类交叉熵函数，在损失函数中添加l2正则项；完整的损失函数的公式
为：其中，n为训练时候的样本数量，i代表每个样本下标，yi是样本的标签，oi代表模型的预测输出；公式的第二项为l2正则项，用于防止过拟合，其中λ是超参数，w是模型的可学习参数。9.根据权利要求1所述的签名鉴定方法，其特征在于，所述步骤s5包括：将参考签名图片和待鉴定签名图片输入使用训练后的孪生视觉transformer网络模型对待鉴定签名图片进行鉴定，输出参考签名图片和待鉴定签名图片的距离值；当距离值小于预设阀值则认为待鉴定签名图片是真实的，当距离值大于预设阀值则认为是待鉴定图片是伪造的或者待鉴定图片与参考签名图片是不同。10.基于孪生视觉transformer网络的签名鉴定系统，其特征在于，所述系统包括：签名图片预处理模块，用于签名图片预处理，将签名图片等比缩放，采用基于统计的阈值对签名图片进行二值化；签名图片配对模块，用于对每个签名的真实签名照片、伪造签名照片进行配对，得到每个签名的正样本和负样本，构建样本数据集；模型构建模块，用于构建孪生视觉transformer网络模型，孪生视觉transformer网络模型为基于孪生网络架构，使用改进多尺度视觉transformer作为骨干网络，使用多层感知机进行距离计算的神经网络模型；模型训练模块，用于采用样本数据集对孪生视觉transformer网络模型进行训练，使用梯度下降的逼近方法使得孪生视觉transformer网络模型收敛；签名鉴定模块，用于使用训练后的孪生视觉transformer网络模型对待鉴定签名图片进行鉴定，输出鉴定结果；所述孪生视觉transformer网络模型使用端到端的孪生网络架构，将参考签名图片和待鉴定签名图片分别输入改进的多尺度视觉transformer得到两个特征向量，将两个特征向量做差后取绝对值并输入多层感知机，输出两张签名图片的距离；所述改进的多尺度视觉transformer有3个不同尺度，采用无重叠的切割方法对图片分块；将原始视觉transformer的最后分类层移除，直接输出特征向量作为签名图片的特征，将3个不同尺度的视觉transformer输出的特征向量进行融合。

技术总结
本发明人工智能、计算机模式识别领域，具体涉及基于孪生视觉Transformer网络的签名鉴定方法和系统，该方法包括步骤：签名图片预处理；对签名进行真真、真伪配对，构建数据集；构建孪生多尺度视觉Transformer神经网络模型；对模型进行训练；使用模型进行签名鉴定。本方法与传统的方法相比，采用了深度学习领域的视觉Transformer模型作为骨干网络，并改进提出了多尺度分块方法，可以更好的提取签名的特征，提高了鉴定的精度；同时采用端到端的方式，输入两张对比的图片，即可输出距离用于真伪判定，不需要额外训练分类器或者使用其他度量算法，使得模型易于训练和使用。使得模型易于训练和使用。使得模型易于训练和使用。


技术研发人员：权利要求书2页说明书8页附图3页
受保护的技术使用者：华南理工大学
技术研发日：2022.04.26
技术公布日：2022/8/12