一种证件真假识别方法、装置、电子设备及存储介质与流程

1.本技术涉及计算机技术领域，具体而言，涉及一种证件真假识别方法、装置、电子设备及存储介质。


背景技术：

2.随着计算机和人工智能技术的发展，越来越多的业务实现了在线化和数字化，证件识别的应用场景也日益丰富，人们在办理各项业务时均需要对证件的真实性进行识别，不能是拍摄的屏幕或者打印的纸张。
3.目前针对证件的真假识别主要是通过提取图像特征利用机器学习模型来判断真假，或者利用深度学习模型基于大量数据训练获得证件真假的识别结果，这些方案均依赖于图像采集样本的全面性，但伴随着手机摄像头拍照能力的提升，手机拍摄的图片越来越高清，与真实身份证的差别很小，给证件的造假识别增添了难度，因此现有方案很难对图像的真假做出精确的判断。


技术实现要素：

4.本技术实施例的目的在于提供一种证件真假识别方法、装置、电子设备及存储介质，用以提高证件真假的识别准确性。
5.第一方面，本技术实施例提供一种证件真假识别方法，所述方法包括：获取视频流中的多帧原始图像，对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像；基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征；对每一帧目标图像对应的多个特征进行特征融合，获得每一帧目标图像对应的融合特征；将每一帧目标图像对应的融合特征输入到训练好的多帧识别模型中，获得每一帧目标图像对应的目标特征，并对所有目标图像分别对应的目标特征分类，获得分类结果，所述分类结果为待检测证件真假的识别结果。
6.本技术实施例中，通过获取视频流的多帧原始图像，对多帧原始图像进行变换后获得每一帧原始图像对应的目标图像，然后基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征，再将多个特征进行特征融合获得融合特征，最后输入到多帧识别模型获得目标特征，针对所有目标特征进行分类得到分类结果来表征待检测证件的识别结果。利用多帧识别模型在神经网络模型分别提取每一帧图像的特征进行融合的基础上，结合视频流的时序性得到了基于视频流的证件真假识别结果，提高了证件真假识别的准确性。
7.进一步地，所述神经网络模型包括第一神经网络，所述目标图像包括反光图像，所述对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像，包括：将用于拍摄证件的设备的屏幕亮度调整为预设屏幕亮度，获得每一帧目标图像对应的反光图像；相应地，所述基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征，包括：将每一帧原始图像和对应的反光图像输入至所
述第一神经网络；利用所述第一神经网络对每一帧原始图像和对应的反光图像进行特征提取，获得每一帧目标图像对应的第一特征。
8.本技术实施例中，神经网络模型中可以包括第一神经网络，第一神经网络可以用于针对每一帧原始图像中变形、光影以及反光等特征的识别，目标图像中包括经过原始图像变换后得到的反光图像，该反光图像首先通过由用于拍摄证件的设备的屏幕亮度调整为预设屏幕亮度，以获得每一帧原始图像对应的反光图像，然后将每一帧原始图像和对应的反光图像输入至第一神经网络中，利用该第一神经网络对每一帧目标图像和对应的反光图像进行特征提取，最后获得每一帧目标图像对应的第一特征，该第一特征可以用于表征目标图像在变形、光影以及反光方面的特征。通过第一神经网络完成了目标图像中第一特征的提取，提升了证件真假识别的准确性。
9.进一步地，所述神经网络模型包括第二神经网络，所述第二神经网络中带有注意力机制，所述原始图像包括用于检测所述待检测证件的参考框，所述目标图像包括宽度延伸图像和高度延伸图像，所述对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像，包括：保持每一帧原始图像中所述参考框的高度不变，将所述参考框沿宽度方向延伸预设第一长度的边框图像，获得每一帧原始图像对应的宽度延伸图像；保持每一帧原始图像中所述参考框的宽度不变，将所述参考框沿高度方向延伸预设第二长度的边框图像，获得每一帧原始图像对应的高度延伸图像；相应地，所述基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征，包括：将每一帧原始图像对应的高度延伸图像和宽度延伸图像输入至所述第二神经网络；利用所述第二神经网络对每一帧对应的高度延伸图像和宽度延伸图像进行特征提取，获得每一帧目标图像对应的第二特征。
10.本技术实施例中，神经网络模型中包括第二神经网络，该第二神经网络可以用于针对每一帧原始图像在边框和摩尔纹的特征识别，第二神经网络中带有注意力机制，该注意力机制用于使得该第二神经网络更加专注于边框和摩尔纹特征，每一原始图像中包括检测待检测证件的参考框，目标图像中包括宽度延伸图像和高度延伸图像，首先通过保持每一帧原始图像中参考框的高度不变，沿参考框的宽度方向延伸预设第一长度的边框图像，获得每一原始图像对应的宽度延伸图像，然后再相应地沿高度方向延伸预设第二长度的边框图像，获得高度延伸图像，相应地再将获得的高度延伸图像和宽度延伸图像输入至第二神经网络中，进行特征提取，获得每一帧目标图像对应的第二特征，该第二特征用于表征每一帧目标图像在边框和摩尔纹方面的特征。通过第二神经网络完成第二特征的提取，提升了证件真假识别的准确性。
11.进一步地，所述神经网络模型包括第三神经网络，所述第三神经网络中带有注意力机制，所述目标图像包括频谱图像，所述对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像，包括：利用傅里叶变换对每一帧原始图像进行频域变换，获得每一帧原始图像对应的频域图像；相应地，所述基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征，包括：将每一帧原始图像对应的频域图像输入至所述第三神经网络；利用第三神经网络对每一帧原始图像对应的频域图像进行特征提取，获得每一帧目标图像对应的第三特征。
12.本技术实施例中，神经网络模型中包括第三神经网络，该第三神经网络可以用于
针对每一帧原始图像在翻拍和彩色打印方面的区别，该第三神经网络中带有注意力机制，该注意力机制用于使该第三神经网络模型更加专注翻拍和彩色打印特征。目标图像中包括频域图像，首先通过对每一帧原始图像进行频域变换，获得每一帧原始图像对应的频域图像，然后将该频域图像输入至第三神经网络中，进行特征提取，获得每一帧目标图像对应的第三特征，该第三特征用于表征目标图像中翻拍和彩色打印方面的特征识别结果。利用第三神经网络完成了第三特征的提取，提升了证件真假识别的准确性。
13.进一步地，所述神经网络模型包括多个神经网络，所述神经网络模型在训练过程中根据每一神经网络对应的损失函数值和加权参数确定最终损失函数值。
14.本技术实施例中，神经网络模型可以由多个神经网络组成，也可以理解为包括多个神经网络组成的分支，该神经网络模型在训练过程中根据每一神经网络对应的损失函数值以及加权参数确定最终损失函数值，从而实现了神经网络模型的训练，提升了神经网络模型的精度。
15.进一步地，在对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像之前，所述方法还包括：获取当前帧对应的原始图像中包括的参考框；利用证件有无检测算法检测所述参考框中是否存在所述待检测证件；若存在，则对当前帧对应的原始图像进行变换，获得对应的目标图像；若不存在，则利用所述证件有无检测算法检测下一帧对应的原始图像中所述参考框是否存在待检测证件。
16.本技术实施例中，在对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像之前，还可以获取当前帧对应的原始图像中的参考框，然后利用证件有无检测算法检测该参考框内是否存在待检测证件，若存在则对当前帧对应的原始图像进行变换，获得对应的目标图像，若不存在，则利用该证件有无检测算法检测下一帧对应的原始图像中参考框是否存在待检测证件。利用证件检测算法预先筛选出多帧原始图像中不合格的图像，直接进入下一帧原始图像的识别，从而加快了证件真假识别的速度。
17.进一步地，在对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像之前，所述方法还包括：获取每一帧原始图像的角度信息；利用证件方向检测算法判断每一帧原始图像的角度信息是否符合预设的基准角度值；若符合，则对当前帧对应的原始图像进行变换，获得对应的目标图像；若不符合，则对所述原始图像进行旋转，以使所述原始图像的角度符合所述基准角度值。
18.本技术实施例中，在对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像之前，还可以获取每一帧原始图像的角度信息，通过判断每一帧原始图像的角度信息是否符合预设的基准角度值，若符合，则将该原始图像输入至该神经网络模型中，若不符合，则对该原始图像进行旋转，直至该原始图像的角度符合该基准角度值。利用证件方向检测算法实现了原始图像方向的检测，对不符合要求的图像进行旋转，避免证件角度问题影响证件真假识别的正确性。
19.进一步地，所述方法还包括：获取待训练样本集；确定所述待训练样本集中每一样本中包括的待检测证件图像符合的参考框比例；根据所述待检测证件图像符合的参考框比例，确定每个所述参考框比例对应的样本在所述待训练样本集中的占比大小；根据每个所述参考框比例对应的样本在所述待训练样本集中的占比大小，确定预设个数的标准参考框比例。
20.本技术实施例中，在对待训练样本集进行训练之前，首先获取待训练样本集，通过待训练样本集确定待检测证件图像的参考框比例，根据确定的参考框比例确定每个参考框比例对应的样本的占比大小，最后利用占比大小来确定预设个数的标准参考框比例。通过对待训练样本集进行分析得到多个参考框比例，根据每个参考框比例对应的样本占比大小确定预设个数的标准参考框比例，实现了训练前的参考框比例的确认，提升了神经网络模型的识别速度。
21.进一步地，在对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像之前，所述方法还包括：对每一帧原始图像进行数据标注，并在每一帧原始图像中加入噪声分量，以实现对所述原始图像的数据增强，所述噪声分量包括高斯噪声和椒盐噪声的至少一种。
22.本技术实施例中，在利用神经网络模型对每一帧原始图像进行特征提取之前，还可以对每一帧原始图像进行数据标注，并在每一帧原始图像中加入噪声分量，来实现对原始图像的数据增强，该噪声分量包括高斯噪声和椒盐噪声的至少一种。通过对原始图像进行数据标注和加入噪声分量，实现了对原始图像的数据增强，从而提升了原始图像的清晰度，有利于证件真假的识别。
23.第二方面，本技术实施例提供一种证件真假识别装置，所述装置包括：获取模块，用于获取视频流中的多帧原始图像，对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像；提取模块，用于基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征；融合模块，用于对每一帧目标图像对应的多个特征进行特征融合，获得每一帧目标图像对应的融合特征；识别模块，用于将每一帧目标图像对应的融合特征输入到训练好的多帧识别模型中，获得每一帧目标图像对应的目标特征，并对所有目标图像分别对应的目标特征分类，获得分类结果，所述分类结果为待检测证件真假的识别结果。
24.第三方面，本技术实施例提供一种电子设备，包括：处理器、存储器和总线，其中，所述处理器和所述存储器通过所述总线完成相互间的交互；
25.所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行第一方面的方法。
26.第四方面，本技术实施例提供一种计算机可读存储介质，包括：
27.所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行第一方面的方法。
28.本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
29.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
30.图1为本技术实施例提供的一种证件真假识别方法流程示意图；
31.图2为本技术实施例提供的一种多帧识别模型的图像识别流程示意图；
32.图3为本技术实施例提供的一种不同类型身份证的图像经过傅里叶变换后的目标图像示意图；
33.图4为本技术实施例提供的一种身份证真假识别方法流程示意图；
34.图5为本技术实施例提供的一种神经网络模型的图像识别流程示意图；
35.图6为本技术实施例提供的一种证件真假识别装置结构示意图；
36.图7为本技术实施例提供的电子设备的结构示意图。
具体实施方式
37.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
38.图1为本技术实施例提供的一种证件真假识别方法流程示意图，如图1所示，该方法可以应用于服务；其中服务器具体可以为应用服务器，也可以为web服务器。该方法包括：
39.步骤101：获取视频流中的多帧原始图像，对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像。
40.其中，视频流可以由终端设备进行采集后发送至服务器，该终端设备具体可以为智能手机、平板电脑、计算机、个人数字助理(personal digital assitant，pda)等。视频流的采集可以通过流媒体技术实现自动采集，实现对证件的实时自动扫描，实现全面完整地手机证件信息，保证证件视频流的真实性。
41.服务器对视频流进行解析的方式可以为使用opencv中的videocaptrue读取视频类实现解析，得到多帧原始图像。原始图像可以为包含待检测证件的图像，需要识别出证件的真实性，待检测证件可以为身份证、驾驶证或者社保卡等有效证件，本技术不对待检测证件的类型进行限定。这些原始图像可以按照视频流的顺序生成图像列表，原始图像经过对应的变换后得到目标图像，然后将目标图像输入至神经网络模型中进行特征提取，例如变换可以为亮度变换、边框变换或者频域变换，服务器通过对每一帧原始图像进行针对性的处理，例如通过傅里叶变换进行频域转换可以使得原始图像中的翻拍、彩色打印特征更为明显，甚至肉眼可见，从而可以使得能够通过神经网络模型从处理后的图像中提取更为准确的特征，有利于提高真假识别的准确性。
42.步骤102：基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征。
43.证件检测作为一种目标检测类别，神经网络模型具体可以在ssd检测框架或yolo检测框架的基础上进行搭建，例如可以为yolov5基础框架，神经网络模型可以包括多个神经网络分别提取出不同的特征，也可以是一个神经网络，包含不同的神经网络分支，每次将一帧目标图像输入至不同的分支中得到对应的特征，是一种单帧图像识别模型，本技术不对神经网络模型的具体结构进行限定。服务器从目标图像中提取的多个特征可以为图像中包含的多个方面的有效信息。
44.步骤103：对每一帧目标图像对应的多个特征进行特征融合，获得每一帧目标图像对应的融合特征。
45.其中，服务器对于从每一帧目标图像中提取到的多个特征，考虑到使用单方面的
特征的模型识别能力不够，需要将每一帧目标图像对应的多个特征进行特征融合，得到每一帧目标图像对应的融合特征，该融合特征中包含了目标图像在多个方面的有效信息，能够进一步提升模型识别的精度，融合特征的融合方式可以为连接方式，将上述获得的多个特征连接转换成一个一维向量，例如上述神经网络模型提取到的多个特征包含三个特征向量：反光特征向量、边框特征向量和翻拍特征向量，反光特征向量的大小为5*5*512，边框特征向量的大小为10*10*256，翻拍特征向量的大小为10*10*256，通过将上述三个特征向量展开后进行连接，可以得到一个一维向量，该一维向量的大小为1*64000，从而实现了多个特征向量的融合。
46.步骤104：将每一帧目标图像对应的融合特征输入到训练好的多帧识别模型中，获得每一帧目标图像对应的目标特征，并对所有目标图像分别对应的目标特征分类，获得分类结果，所述分类结果为待检测证件真假的识别结果。
47.其中，图2为本技术实施例提供的一种多帧识别模型的图像识别流程示意图，如图2所示，以身份证的证件真假识别为例，对于上述得到的每一帧目标图像对应的融合特征按照帧流的顺序进行排序，从第一帧身份证特征、第二身份证特征直至最后一帧身份证特征，多帧识别模型可以是一种长短期记忆(long short-term memory,lstm)深度学习模型，可以为2层的lstm模型，服务器在上述得到融合特征的基础上，进行二次特征提取，获得每一帧目标图像对应的目标特征，该目标特征可以是按照原始图像的帧流顺序排列的一组特征向量，具体的实施方式可以为：服务器将融合得到的融合特征输入到2层的lstm模型进行特征提取，并将获取的特征记作fi，i为每一帧原始图像的时序编号。
48.多帧识别模型中还包括分类器，该分类器可以为一个softmax分类器，softmax分类器能够扩大分数的差距，将上述得到的融合特征fi通过softmax分类器能够使得分数的差距进一步拉大，提升证件真假分类的识别效果。服务器利用各帧目标图像之间的时序关系，得到一个分类结果，该分类结果可以用于表征待检测证件真假的识别结果，实现了基于视频流的多帧图像证件真假分析，在单帧图像识别精度不够的基础上，进一步提升了证件真假的识别准确性。
49.神经网络模型中可以包括多个神经网络，也可以包括多个分支模型，用于针对不同特征的提取，例如可以包括第一神经网络，具体例如可以为resnet34残差网络模型，该第一神经网络可以用于针对真假证件在变形、光影以及反光之间的差异，以身份证识别为例，原始图像记做id_orign，在利用神经网络模型进行特征提取的过程中，首先将用于拍摄证件的设备的屏幕亮度调整为预设屏幕亮度，预设屏幕亮度可以为设备的最大亮度，也可以为最大亮度的90％，得到亮度变换后的反光图像作为目标图像输入至第一神经网络模型中进行特征提取。
50.由于身份证的材质本身就存在一定的反光，同时如果拍摄的是电子屏幕，屏幕也会有反光，这2种反光如果和真实的自然光加强，会导致真实的身份证照片和翻拍的身份证照片信息差异很大，为了加强这种真假识别的差异，我们在身份证扫描时可以自动改变屏幕亮度，将屏幕亮度调整到预设亮度去实时扫描，这样得到的身份证真实拍摄和翻拍会存在很大差异，可以将得到的反光图像记作id_light。然后将每一帧原始图像id_orign和对应的反光图像id_light输入至第一神经网络中，获得的第一特征大小为5*5*512，记作feature_all，解决图像识别层面存在的有变形，光影，反光的识别问题。
51.在一些实现方式中，上述神经网络模型中还可以包括第二神经网络，该第二神经网络也可以作为神经网络模型的一个分支存在，具体例如可以为resnet50 se残差网络模型，该第二神经网络可以用于针对真假证件图像在边框和摩尔纹之间的差异，se可以为注意力机制，用于使该第二神经网络更加专注边框和摩尔纹的识别，目标图像中包括经过边框变换得到的高度延伸图像和高度延伸图像。
52.在对证件扫描时，对于边框方面的区别，则一般在图像的宽度上容易发现，为了对边框信息进行识别，对图像做宽度层面的变换，首先保持每一帧原始图像中的参考框的高度不变，参考框为身份证图像在原始图像中的大小，将参考框沿宽度方向延伸预设第一长度的边框图像，获得宽度延伸图像，预设第一长度可以为参考框外宽度方向上的边框长度，例如获取每一帧原始图像的图像宽和图像高分别为image_width和image_height，选择证件的参考框的四个角点坐标分别为：(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，在扫描时，如果存在边框，则一般在图像的宽度上容易发现，为了对边框信息进行识别，对图像做宽度层面的变换，保持身份证检测框的高度坐标不变，让x1＝0，x2＝image_width，x3＝image_width，x4＝0，然后利用该坐标点在原始图像上进行身份证抠图，记作id_width，根据变换后的四个角点坐标获取宽度延伸图像。
53.然后，对于光影以及光点方面的区别，则一般在图像的高度信息上容易发现，为了对光影或者光点进行有效识别，对图像做高度层面的变换，服务器可以保持证件图像的宽度不变，将参考框沿高度方向延伸预设第二长度的边框图像，获得高度延伸图像，预设第二长度可以为参考框外高度方向的边框长度，例如可以让y1＝0，y2＝0，y3＝image_height，y4＝image_height，然后利用该坐标点在原始图像上进行裁剪操作，记作id_height，得到高度延伸图像。
54.在获得每一帧原始图像对应的高度延伸图像和宽度延伸图像之后，服务器可以利用图像的宽度图像id_width和高度图像id_height，使用resnet50 se进行特征抽取，抽取后的特征为10*10*256，记作feature_wh，解决图像存在的边框和摩尔纹明显的真假识别。
55.在一些实现方式中，上述神经网络模型还可以包括第三神经网络，该第三神经网络也可以作为上述神经网络模型的分支结构，具体例如可以为resnet50 se残差网络模型，该第三神经网络可以用于针对真假证件图像在翻拍和彩色打印之间的差异，se可以为注意力机制，用于使该第三神经网络更加专注翻拍和彩色打印的识别。
56.以身份证证件识别为例，以身份证的证件真假识别为例，图3为本技术实施例提供的一种不同类型身份证的图像经过傅里叶变换后的目标图像示意图，包括三种类型的变换身份证，依次为真实身份证变换图像、彩色打印变换身份证图像以及翻拍身份证变换图像，不同类型的身份证的图像经过傅里叶变换后存在许多肉眼可见的信息差距，例如可以为变形、光影、反光、边框和摩尔纹等各个方面的信息，真实身份证与造假身份证在图像频域层面表现是不同的，因为在频域上频率高低表示了图像灰度的变化程度，对于反光，一般都会有光点，光点比正常身份证图像要多，对于彩色打印，纸张比较白，也会导致图像频率分布不均衡，真实身份证在频域部分，其分布呈现中心向四周均衡发散，翻拍类和打印类呈现水平和垂直方向发展，并且线条存在弯曲，服务器可以使用傅里叶变换对图像做频谱图转换，转换成频域图像，利用频域图像进行身份证的真假识别，标记为id_mfcc，作为获得的频域图像，利用频谱图转换得到的频域图像能够更为明显地察觉到真假证件在翻拍和彩色打印
中的区别，以至于肉眼能够识别，从而提高证件真假识别的准确性。
57.然后针对翻拍和彩色打印的识别，使用傅里叶变换把原始图像变换到频域图像，对身份证频域图像id_mfcc，使用resnet50 se网络模型进行特征抽取，抽取后的特征为10*10*256，记作feature_light，作为第三特征，解决图像在翻拍和彩色打印方面的真假识别。
58.由上述神经网络模型中可以包括多个神经网络或者网络分支可知，在该神经网络模型的训练过程中，该神经网络模型根据每一神经网络根据对应的损失函数值和加权函数确定最终损失函数值，图4为本技术实施例提供的一种身份证真假识别方法流程示意图，如图4所示，例如：上述神经网络模型可以包括三个神经网络，第一神经网络resnet34可以使用交叉熵进行损失函数设计，记作loss_all，第二神经网络resnet50 se使用softmax作为损失函数，记作loss_sm，第三神经网络resnet50 se使用l2 loss作为损失函数，记作loss_l2，上述每个神经网络所使用的模型以及损失函数还可以根据识别场景进行调整，对于神经网络模型的训练，其总体的损失函数为上述3个损失函数的加权，即：loss＝w1
×
loss_all w2
×
loss_sm w3
×
loss_l2，损失函数前面的加权参数，也可通过模型训练获得。
59.其中，在对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像之前，包括两种预先筛选的方式，一种是使用证件有无检测算法检测原始图像中是否存在待检测证件，另一种是利用证件方向检测算法检测待检测证件的角度是否符合要求。第一种预先筛选的方式可以为：先将不存在证件的图像先进行筛选，筛选的方式为首先获取当前帧对应的原始图像中包括的参考框，只有待检测证件在该参考框内，才可以继续对证件的真假进行识别。服务器可以利用部署的证件有无检测算法去检测该参考框内是否存在该待检测证件，若存在，则对当前帧对应的原始图像进行变换得到目标图像，若不存在，则可以对该帧原始图像丢弃，利用该证件有无检测算法继续检测下一帧原始图像。通过预先筛选掉不存在待检测证件的原始图像，从而加快了证件真假识别的速度。
60.对于另一种对原始图像进行预先筛选的方式中，首先获取每一帧原始图像的角度信息，然后利用证件方向检测算法判断每一帧原始图像的角度信息是否符合预设的基准角度值，若符合，则对当前帧对应的原始图像进行变换得到目标图像，若不符合，则对该原始图像进行旋转，以使该原始图像的角度符合该预设基准角度值，例如在身份证方向检测中，预设的基准角度值可以设置为每帧图像的人像面和国徽面都朝下，记为0
°
，如果方向存在一定角度的旋转，则可以把身份证旋转到0
°
，从而对身份证原始图像进行摆正，保证视频流特征提取的有效性。
61.图5为本技术实施例提供的一种神经网络模型的图像识别流程示意图，如图5所示，具体以一种身份证真假识别的流程为例，具体实施方式可以为：
62.步骤501：服务器接收来自用户设备的视频流进行解析，获得多帧原始图像；其中，视频流中包含了用户拍摄的待检测证件图像。
63.步骤502：服务器利用证件有无算法检测每一帧原始图像中是否存在身份证。其中，具体使用证件有无算法检测身份证的实施方式可以参考与图1对应实施例中的证件有无检测方法。
64.步骤503：服务器利用证件方向检测算法检测每一帧原始图像中待检测图像的角度是否符合预设的角度。其中，上述服务器检测原始图像中待检测图像的角度可以参考与图1对应实施例提供的证件方向检测方法。
65.步骤504：服务器利用神经网络模型进行单帧身份证的特征提取。其中，先对每一帧身份证图像变换后得到目标图像，利用该神经网络模型对目标图像进行特征提取可以得到单帧身份证的多个特征，具体的神经网络模型提取特征可以参考与图1对应实施例提供的神经网络模型提取特征的方法。
66.步骤505：服务器利用多帧识别模型在单帧身份证特征提取的基础上，将特征融合后输入多帧识别模型中进行分类，得到真假识别结果。其中，服务器利用多帧识别模型分类获得真假识别结果的方式可以参考与图1对应实施例提供的特征融合方法以及分类方法。
67.在对证件进行真假识别之前，还需要先对anchor ratio参考框的比例进行先验性的设计，anchor ratio参考框的设计对于身份证的检测精度和性能影响较大，参考框的个数越少检测速度越快，首先获取待训练样本集，标注出每一样本对应的证件参考框比例；其次：基于参考框的四个点计算证件的宽高比；再次，对宽高比画出分布图，观察每个占比的样本量；最后，把占比较多的宽高比作为标准参考框的比例设计，主要的参考框比例有1:1.2，1:1.4，1:1.6。
68.其中，服务器在利用神经网络进行特征提取之前，还可以对每一帧原始图像进行数据标注，并在每一帧原始图像中加入噪声分量，以实现对原始图像的数据增强，噪声分量中可以包括高斯噪声或者椒盐噪声的至少一种，从而在网络条件不好的情况下，能够提升原始图像的清晰度，提升证件真假的识别准确性。
69.图6为本技术实施例提供的一种证件真假识别装置的结构示意图，该装置可以是电子设备上的模块、程序段或代码。应理解，该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该装置具体的功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。本技术实施例提供了一种证件真假识别装置，该装置包括：
70.获取模块601，用于获取视频流中的多帧原始图像，对多帧原始图像分别进行变换，获得每一帧原始图像对应的目标图像；
71.提取模块602，用于基于每一帧原始图像和对应的目标图像利用神经网络模型分别进行特征提取，获得每一帧目标图像对应的多个特征；
72.融合模块603，用于对每一帧目标图像对应的多个特征进行特征融合，获得每一帧目标图像对应的融合特征；
73.识别模块604，用于将每一帧目标图像对应的融合特征输入到训练好的多帧识别模型中，获得每一帧目标图像对应的目标特征，并对所有目标图像分别对应的目标特征分类，获得分类结果，所述分类结果为待检测证件真假的识别结果。
74.在上述实施例的基础上，所述神经网络模型包括第一神经网络，所述目标图像包括反光图像。
75.在上述实施例的基础上，获取模块601具体用于：
76.将用于拍摄证件的设备的屏幕亮度调整为预设屏幕亮度，获得每一帧目标图像对应的反光图像；
77.相应地，所述提取模块602，具体用于：
78.将每一帧原始图像和对应的反光图像输入至所述第一神经网络；
79.利用所述第一神经网络对每一帧原始图像和对应的反光图像进行特征提取，获得每一帧原始图像对应的第一特征。
80.在上述实施例的基础上，所述神经网络模型包括第二神经网络，所述第二神经网络中带有注意力机制，所述原始图像包括用于检测所述待检测证件的参考框，所述目标图像包括宽度延伸图像和高度延伸图像。
81.在上述实施例的基础上，获取模块601具体用于：
82.保持每一帧原始图像中所述参考框的高度不变，将所述参考框沿宽度方向延伸预设第一长度的边框图像，获得每一帧原始图像对应的宽度延伸图像；
83.保持每一帧原始图像中所述参考框的宽度不变，将所述参考框沿高度方向延伸预设第二长度的边框图像，获得每一帧原始图像对应的高度延伸图像；
84.相应地，相应地，所述提取模块602，具体用于：
85.将每一帧原始图像对应的高度延伸图像和宽度延伸图像输入至所述第二神经网络；
86.利用所述第二神经网络对每一帧对应的高度延伸图像和宽度延伸图像进行特征提取，获得每一帧目标图像对应的第二特征。
87.在上述实施例的基础上，所述神经网络模型包括第三神经网络，所述第三神经网络中带有注意力机制，所述目标图像包括频谱图像。
88.在上述实施例的基础上，获取模块601具体用于：
89.利用傅里叶变换对每一帧原始图像进行频域变换，获得每一帧原始图像对应的频域图像；
90.相应地，相应地，所述提取模块602，具体用于：
91.将每一帧目标图像对应的频域图像输入至所述第三神经网络；
92.利用第三神经网络对每一帧目标图像对应的频域图像进行特征提取，获得每一帧目标图像对应的第三特征。
93.在上述实施例的基础上，所述神经网络模型包括多个神经网络，所述神经网络模型在训练过程中根据每一神经网络对应的损失函数值和加权参数确定最终损失函数值。
94.在上述实施例的基础上，所述装置还包括证件检测模块，用于：
95.获取当前帧对应的原始图像中包括的参考框；
96.利用证件有无检测算法检测所述参考框中是否存在所述待检测证件；
97.若存在，则对当前帧对应的原始图像进行变换，获得对应的目标图像；
98.若不存在，则利用所述证件有无检测算法检测下一帧对应的原始图像中所述参考框是否存在待检测证件。
99.在上述实施例的基础上，所述装置还包括方向检测模块，用于：
100.获取每一帧原始图像的角度信息；
101.利用证件方向检测算法判断每一帧原始图像的角度信息是否符合预设的基准角度值；
102.若符合，则对当前帧对应的原始图像进行变换，获得对应的目标图像；
103.若不符合，则对所述原始图像进行旋转，以使所述原始图像的角度符合所述基准角度值。
104.在上述实施例的基础上，所述装置还包括训练模块，用于：
105.获取待训练样本集；
106.确定所述待训练样本集中每一样本中包括的待检测证件图像符合的参考框比例；
107.根据所述待检测证件图像符合的参考框比例，确定每个所述参考框比例对应的样本在所述待训练样本集中的占比大小；
108.根据每个所述参考框比例对应的样本在所述待训练样本集中的占比大小，确定预设个数的标准参考框比例。
109.在上述实施例的基础上，所述装置还包括数据增强模块，用于：
110.对每一帧原始图像进行数据标注，并在每一帧原始图像中加入噪声分量，以实现对所述原始图像的数据增强，所述噪声分量包括高斯噪声和椒盐噪声的至少一种。
111.图7为本技术实施例提供的电子设备的结构示意图，如图7所示，所述电子设备，包括：处理器(processor)701、存储器(memory)702和总线803；其中，
112.所述处理器701和存储器702通过所述总线703完成相互间的交互；
113.所述处理器701用于调用所述存储器702中的程序指令，以执行上述各方法实施例所提供的方法。
114.处理器701可以是一种集成电路芯片，具有信号处理能力。上述处理器701可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。其可以实现或者执行本技术实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
115.存储器702可以包括但不限于随机存取存储器(random acc
·
ess memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electrically erasable programmable read-only memory，eeprom)等。
116.本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的证件真假识别方法。
117.本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的证件真假识别方法。
118.在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或交互连接可以是通过一些交互接口，装置或单元的间接耦合或交互连接，可以是电性，机械或其它的形式。
119.另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
120.再者，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
121.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
122.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。