一种基于人工智能的证件质检系统及方法与流程

1.本发明属于证件质检领域，更具体地，涉及一种基于人工智能的证件质检系统及方法。


背景技术：

2.现有的证件质检主要包括信息比对和打印覆膜质量检测两个环节。对于信息比对环节，需要人工将护照放到护照阅读机以及将证卡放到读写器上，这种方式每次只能获取一张证件的相关信息，最关键的信息比对工作需要通过人工来实现，且在完成信息比对后需要人工换卡，效率较低。对于打印覆膜质量检测环节，依然采用的是人工质检的方式，易受到人为疲劳的影响，易出错。总地来说，现有证件质检所涉及的信息比对和打印覆膜质量检测均基于人工的方式完成，不仅效率低，而且可靠度低。


技术实现要素：

3.本发明的目的在于解决现有基于人工的证件质检方式效率低、准确率低的问题。
4.为了实现上述目的，本发明提供一种基于人工智能的证件质检系统及方法。
5.根据本发明的第一方面，提供了一种基于人工智能的证件质检系统，该系统包括以下功能模块：
6.发证及翻页模块，用于将待质检的卡式证件输送至信息采集区，以及对待质检的本式证件进行翻页并输送至所述信息采集区；
7.拍照模块，用于获取所述信息采集区内的证件的图像；
8.芯片读取模块，用于获取所述信息采集区内的证件的芯片信息；
9.打印信息识别模块，用于基于获取的证件图像获取所述证件的打印信息，所述打印信息包括文字信息和生物特征信息；
10.条码识别模块，用于基于获取的证件图像获取所述证件的条码信息；
11.信息比对模块，用于对所述芯片信息、所述打印信息和所述条码信息进行三者一致性检测；
12.打印质量检测模块，用于基于获取的证件图像对通过所述三者一致性检测的证件进行打印质量检测；
13.覆膜质量检测模块，用于基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测；
14.收证模块，用于将未通过所述三者一致性检测、所述打印质量检测或者所述覆膜质量检测的证件输送至质检不合格区，以及将通过所述覆膜质量检测并无需进行下一步信息比对的证件输送至质检合格区。
15.作为优选的是，所述拍照模块包括：
16.光源子模块，用于提供白光光源、紫外光源和红外光源；
17.证件旋转子模块，用于旋转所述证件；
18.第一相机模块，用于分别在所述白光光源、所述紫外光源和所述红外光源下从下方对处于预定的旋转角度的证件进行拍照；
19.第二相机模块，用于分别在所述白光光源、所述紫外光源和所述红外光源下从上方对处于预定的旋转角度的证件进行拍照。
20.作为优选的是，在通过所述覆膜质量检测后，需要进行下一步信息比对的证件为本式护照；
21.所述证件质检系统还包括：
22.证件回退模块，用于将通过所述覆膜质量检测的本式护照回退至所述发证及翻页模块；
23.所述发证及翻页模块还用于将回退的本式护照从个人资料页翻至签证页，并将所述本式护照重新输送至所述信息采集区；
24.所述拍照模块还用于获取所述信息采集区内的本式护照的签证页图像；
25.所述打印信息识别模块还用于基于获取的签证页图像获取签证页打印信息；
26.所述信息比对模块还用于对所述签证页打印信息以及在先获取的所述本式护照的芯片信息、个人资料页打印信息、条码信息进行四者一致性检测；
27.所述收证模块还用于将未通过所述四者一致性检测的本式护照输送至所述质检不合格区，以及将通过所述四者一致性检测的本式护照输送至所述质检合格区。
28.作为优选的是，所述打印信息识别模块、所述条码识别模块、所述信息比对模块、所述打印质量检测模块和所述覆膜质量检测模块共同基于边缘计算设备实现。
29.作为优选的是，所述边缘计算设备基于预定的第一证件质量检测方法实现所述打印质量检测和所述覆膜质量检测；
30.所述第一证件质量检测方法包括：
31.基于预构建的图像方向检测模型检测输入的目标证件图像的方向是否为正，若否，将所述目标证件图像的方向调正；
32.对方向为正的目标证件图像进行ocr识别，以获取目标文字的实际位置信息；
33.根据所述目标文字的实际位置信息与预获取的所述目标文字的标准位置信息获取所述目标文字的打印偏移量；
34.若所述目标文字的打印偏移量超出预定的打印偏移量阈值，则判断目标证件未通过打印位置偏移检测；
35.基于预构建的图像语义分割模型检测输入的通过所述打印位置偏移检测的目标证件图像是否包含黑边或杂质，若是，则判断所述目标证件未通过黑边及杂质检测；
36.基于预构建的迁移分类模型检测输入的通过所述黑边及杂质检测的目标证件图像是否存在文字和人像转印不全、覆膜不全或打印重影的问题，若是，则判断所述目标证件未通过文字和人像转印不全、覆膜不全及打印重影检测；
37.基于预构建的目标检测网络模型检测输入的通过所述文字和人像转印不全、覆膜不全及打印重影检测的目标证件图像是否存在红条、色斑或色点，若是，则判断所述目标证件未通过红条、色斑及色点检测；
38.将未通过所述红条、色斑及色点检测的目标证件标记为质检不合格，将通过所述红条、色斑及色点检测的目标证件标记为质检合格。
39.作为优选的是，所述边缘计算设备基于预定的第二证件质量检测方法实现所述打印质量检测，所述第二证件质量检测方法包括：
40.获取目标证件图像对应的标准打印图像；
41.对所述标准打印图像和所述目标证件图像进行预处理及特征点提取；
42.根据提取到的所述标准打印图像的特征点和所述目标证件图像的特征点进行特征匹配，得到所述标准打印图像与所述目标证件图像的形态学相减结果；
43.对所述形态学相减结果进行相似度检测和缺陷面积计算；
44.若检测到的相似度高于预定相似度阈值且计算出的缺陷面积小于预定的缺陷面积阈值，则判断目标证件通过所述打印质量检测。
45.作为优选的是，所述边缘计算设备基于预定的第三证件质量检测方法实现所述打印质量检测；
46.所述第三证件质量检测方法基于预构建的生成对抗网络模型实现；
47.所述生成对抗网络模型包括：
48.编码器ge(x)，用于基于输入的目标证件图像获取特征向量z；
49.解码器gd(z)，用于基于输入的所述特征向量z和目标证件的芯片信息获取重构证件图像；
50.编码器ge(x')，用于基于输入的重构证件图像获取特征向量z'；
51.若所述特征向量z与所述特征向量z'的向量差超出预定的向量差阈值，则判断所述目标证件未通过所述打印质量检测。
52.作为优选的是，所述边缘计算设备基于预定的第四证件质量检测方法实现所述打印质量检测；
53.所述第四证件质量检测方法基于预构建的改进生成对抗网络模型实现；
54.所述改进生成对抗网络模型基于数据增强的方式进行训练，所述改进生成对抗网络模型包括：
55.重构子网络，用于将输入的目标证件图像重构为无异常证件图像；
56.判别子网络，用于获取所述目标证件图像与所述无异常证件图像的差异，并基于该差异判断所述目标证件图像是否通过所述打印质量检测。
57.根据本发明的第二方面，提供了一种基于人工智能的证件质检方法，该方法基于上述基于人工智能的证件质检系统实现，该方法包括以下步骤：
58.将待质检的卡式证件输送至信息采集区，或者对待质检的本式证件进行翻页并输送至所述信息采集区；
59.获取所述信息采集区内的证件的图像；
60.获取所述信息采集区内的证件的芯片信息；
61.基于获取的证件图像获取所述证件的打印信息和条码信息，所述打印信息包括文字信息和生物特征信息；
62.对所述芯片信息、所述打印信息和所述条码信息进行三者一致性检测；
63.基于获取的证件图像对通过所述三者一致性检测的证件进行打印质量检测；
64.基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测；
65.将未通过所述三者一致性检测、所述打印质量检测或者所述覆膜质量检测的证件
输送至质检不合格区，以及将通过所述覆膜质量检测并无需进行下一步信息比对的证件输送至质检合格区。
66.作为优选的是，当所述本式证件为本式护照时，在所述基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测之后，还包括：
67.将通过所述覆膜质量检测的本式护照回退；
68.将回退的本式护照从个人资料页翻至签证页，并将所述本式护照重新输送至所述信息采集区；
69.获取所述信息采集区内的本式护照的签证页图像；
70.基于获取的签证页图像获取签证页打印信息；
71.对所述签证页打印信息以及在先获取的所述本式护照的芯片信息、个人资料页打印信息、条码信息进行四者一致性检测；
72.将未通过所述四者一致性检测的本式护照输送至所述质检不合格区，以及将通过所述四者一致性检测的本式护照输送至所述质检合格区。
73.本发明的有益效果在于：
74.本发明的基于人工智能的证件质检系统，通过发证及翻页模块将待质检的卡式证件输送至信息采集区，以及对待质检的本式证件进行翻页并输送至所述信息采集区；通过拍照模块获取所述信息采集区内的证件的图像；通过芯片读取模块获取所述信息采集区内的证件的芯片信息；通过打印信息识别模块基于获取的证件图像获取所述证件的打印信息；通过条码识别模块基于获取的证件图像获取所述证件的条码信息；通过信息比对模块对所述芯片信息、所述打印信息和所述条码信息进行三者一致性检测；通过打印质量检测模块基于获取的证件图像对通过所述三者一致性检测的证件进行打印质量检测；通过覆膜质量检测模块基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测；通过收证模块将未通过所述三者一致性检测、所述打印质量检测或者所述覆膜质量检测的证件输送至质检不合格区，以及将通过所述覆膜质量检测并无需进行下一步信息比对的证件输送至质检合格区。其中，打印信息识别模块、打印质量检测模块和覆膜质量检测模块均基于人工智能技术实现。
75.根据以上内容可知，采用本发明的基于人工智能的证件质检系统，能够实现信息比对环节和打印覆膜质量检测环节的完全自动化，解放了人力，不仅具有更高的效率，而且可靠度更高、准确率更高。
76.本发明的基于人工智能的证件质检方法与上述基于人工智能的证件质检系统属于一个总的发明构思，故与上述基于人工智能的证件质检系统具有相同的有益效果，在此不再一一赘述。
77.本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。
附图说明
78.通过结合附图对本发明示例性实施方式进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显，其中，在本发明示例性实施方式中，相同的参考标号通常代表相同部件。
79.图1示出了根据本发明的实施例的一种基于人工智能的证件质检系统的结构框
图；
80.图2示出了根据本发明的实施例的基于人工智能的证件质检方法的实现流程图；
81.图3示出了根据本发明的实施例的另一种基于人工智能的证件质检系统的系统构成图。
具体实施方式
82.下面将更详细地描述本发明的优选实施方式。虽然以下描述了本发明的优选实施方式，然而应该理解，可以以各种形式实现本发明而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本发明更加透彻和完整，并且能够将本发明的范围完整地传达给本领域的技术人员。
83.实施例：图1示出了本发明实施例的基于人工智能的证件质检系统的结构框图。参照图1，本发明实施例的基于人工智能的证件质检系统包括以下功能模块：
84.发证及翻页模块，用于将待质检的卡式证件输送至信息采集区，以及对待质检的本式证件进行翻页并输送至所述信息采集区；
85.拍照模块，用于获取所述信息采集区内的证件的图像；
86.芯片读取模块，用于获取所述信息采集区内的证件的芯片信息；
87.打印信息识别模块，用于基于获取的证件图像获取所述证件的打印信息，所述打印信息包括文字信息和生物特征信息，生物特征信息包括人像信息和指纹信息；
88.条码识别模块，用于基于获取的证件图像获取所述证件的条码信息；
89.信息比对模块，用于对所述芯片信息、所述打印信息和所述条码信息进行三者一致性检测；
90.打印质量检测模块，用于基于获取的证件图像对通过所述三者一致性检测的证件进行打印质量检测；
91.覆膜质量检测模块，用于基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测；
92.收证模块，用于将未通过所述三者一致性检测、所述打印质量检测或者所述覆膜质量检测的证件输送至质检不合格区，以及将通过所述覆膜质量检测并无需进行下一步信息比对的证件输送至质检合格区。
93.进一步地，本发明实施例中，所述拍照模块包括：
94.光源子模块，用于提供白光光源、紫外光源和红外光源；
95.证件旋转子模块，用于旋转所述证件；
96.第一相机模块，用于分别在所述白光光源、所述紫外光源和所述红外光源下从下方对处于预定的旋转角度的证件进行拍照；
97.第二相机模块，用于分别在所述白光光源、所述紫外光源和所述红外光源下从上方对处于预定的旋转角度的证件进行拍照。
98.再进一步地，本发明实施例中，在通过所述覆膜质量检测后，需要进行下一步信息比对的证件为本式护照；
99.所述证件质检系统还包括：
100.证件回退模块，用于将通过所述覆膜质量检测的本式护照回退至所述发证及翻页
模块；
101.所述发证及翻页模块还用于将回退的本式护照从个人资料页翻至签证页，并将所述本式护照重新输送至所述信息采集区；
102.所述拍照模块还用于获取所述信息采集区内的本式护照的签证页图像；
103.所述打印信息识别模块还用于基于获取的签证页图像获取签证页打印信息，所述签证页打印信息包括签证信息；
104.所述信息比对模块还用于对所述签证页打印信息以及在先获取的所述本式护照的芯片信息、个人资料页打印信息、条码信息进行四者一致性检测；
105.所述收证模块还用于将未通过所述四者一致性检测的本式护照输送至所述质检不合格区，以及将通过所述四者一致性检测的本式护照输送至所述质检合格区。
106.再进一步地，本发明实施例中，所述打印信息识别模块、所述条码识别模块、所述信息比对模块、所述打印质量检测模块和所述覆膜质量检测模块共同基于边缘计算设备实现。
107.具体地，本发明实施例中，发证及翻页模块用于批量地向信息采集区输送卡式证件或者本式证件。对于本式证件，需要先将本式证件翻至指定的页面，再将翻页后的本式证件输送至信息采集区。例如，当本式证件为本式护照时，需要先将本式护照翻至个人资料页，再将本式护照输送至信息采集区，以进行后续的个人信息比对和质量检测。当本式护照通过覆膜质量检测后被回退至发证及翻页模块时，发证及翻页模块还用于将本式护照从个人资料页翻至签证页，并将本式护照重新输送至信息采集区，以进行后续的签证信息比对。
108.具体地，本发明实施例中，光源子模块包括白光光源模组、紫外光源模组和红外光源模组，证件旋转子模块采用持证机构实现，第一相机模块和第二相机模块均采用工业摄像机实现。本发明实施例中，白光光源模组、紫外光源模组和红外光源模组分别提供白光光源、紫外光源和红外光源，持证机构能够将证件多角度旋转。基于光源子模块、证件旋转子模块、第一相机模块和第二相机模块的配合工作，能够在白光光源、紫外光源和红外光源下对证件的正面和反面进行多角度拍照，以获取目标证件图像。本发明实施例中，每种光源下的拍照都留存供后续识别检测使用。持证机构可以多个角度旋转，因为证件个人信息页上覆有激光防伪膜有反光，使用角度旋转配合光源，方便检查出证件打印不完整、防伪膜覆膜不全或有拉痕的缺陷。
109.具体地，本发明实施例中，打印信息识别模块采用ocr文字识别技术获取证件文字信息，条码识别模块采用条码识别技术获取证件条码信息，芯片读取模块支持bac方式读取和连接加密机的方式读取。打印质量检测模块根据预定的不同光源下以及不同角度的证件图像检测证件表面的打印质量，覆膜质量检测模块根据预定的不同光源下以及不同角度的证件图像检测证件表面的覆膜质量。对于信息比对模块，在其进行三者一致性检测和四者一致性检测的过程中，还可以将预获取的后台数据库中申请人的制证数据加入其中，相应地，之前的三者一致性检测变为四者一致性检测，之前的四者一致性检测变为五者一致性检测。
110.具体地，本发明实施例中，边缘计算设备的型号为jetson xavier nx，在实际实施时，根据功能需求的不同，可以采用jetson nano、jetson tx2系列或者jetson agx xavier系列的边缘计算设备进行替换。本发明实施例中，发证及翻页模块包括发证子模块和翻页
子模块。边缘计算设备通过网络交换机连接到翻页子模块、光源子模块、证件旋转子模块、第一相机模块、第二相机模块和证件回退模块，通过usb接口连接到发证子模块、芯片读取模块和收证模块。所述证件质检系统还包括显示模块，显示模块与边缘计算设备通过hdmi数据线相连。
111.具体地，本发明实施例中，边缘计算设备的操作系统选用ubuntu系统，具备gpu，可针对深度学习检测进行加速。因软件运行涉及多种硬件设备驱动，在运行时，将部署好的一套系统打包封装为docker镜像，将各个质检设备(如读写器、相机)的ip地址及标识id写入配置文件，在需要修改的时候方便修改。在部署到其他设备时，使用生成好的docker镜像在容器中部署，方便将驱动程序版本保持一致。训练的模型使用onnx模型进行部署，模型支持pytorch、tensorflow、paddle、mindspore、mxnet等框架进行开发，可以支持跨平台部署，支持windows、linux、mac操作系统，支持python、c 、java语言开发，开发和部署灵活方便。模型文件使用tar命令进行加密和压缩。密钥加密写入配置文件，使用模型时先从配置文件读取加密的密钥，对密钥进行解密，使用密钥解压tar文件，获取模型文件供程序使用。
112.进一步地，本发明实施例中，所述边缘计算设备基于预定的第一证件质量检测方法实现所述打印质量检测和所述覆膜质量检测；
113.所述第一证件质量检测方法包括：
114.基于预构建的图像方向检测模型检测输入的目标证件图像的方向是否为正，若否，将所述目标证件图像的方向调正；
115.对方向为正的目标证件图像进行ocr识别，以获取目标文字的实际位置信息；
116.根据所述目标文字的实际位置信息与预获取的所述目标文字的标准位置信息获取所述目标文字的打印偏移量；
117.若所述目标文字的打印偏移量超出预定的打印偏移量阈值，则判断目标证件未通过打印位置偏移检测；
118.基于预构建的图像语义分割模型检测输入的通过所述打印位置偏移检测的目标证件图像是否包含黑边或杂质，若是，则判断所述目标证件未通过黑边及杂质检测；
119.基于预构建的迁移分类模型检测输入的通过所述黑边及杂质检测的目标证件图像是否存在文字和人像转印不全、覆膜不全或打印重影的问题，若是，则判断所述目标证件未通过文字和人像转印不全、覆膜不全及打印重影检测；
120.基于预构建的目标检测网络模型检测输入的通过所述文字和人像转印不全、覆膜不全及打印重影检测的目标证件图像是否存在红条、色斑或色点，若是，则判断所述目标证件未通过红条、色斑及色点检测；
121.将未通过所述红条、色斑及色点检测的目标证件标记为质检不合格，将通过所述红条、色斑及色点检测的目标证件标记为质检合格。
122.以下对第一证件质量检测方法进行更为详细的说明：
123.第一证件质量检测方法为基于分割、分类和目标检测网络的质检方法：
124.1)对于证件方向判断，使用resnet或shufflenet对图像进行分类，每个数字代表一种证件类型一个方向，例如：1代表港澳证正面，2代表港澳证正面180度旋转，3代表港澳证背面，4代表港澳证背面180度旋转，5代表护照正面，6代表护照正面180度旋转，7代表护照反面，8代表护照反面180度旋转。在训练阶段标记证件照片和方向，并对网络进行训练。
前期使用样图对模型进行训练，后续部署模型进行识别判断。
125.2)对于ocr使用east模型进行文字检测，使用crnn网络进行文字识别。检测指定文字的位置后，与该项文字标准的位置进行对比，计算文字打印的偏移量，如果大于阈值或者与其他预打印信息重合，则认为该项文字有打印偏差。
126.3)对于证件质量检测：对于黑边和杂质类型的图片使用图像语义分割网络advent。在训练阶段，人工标记好人像、底纹、个人信息、防伪膜、以及杂质和黑边类别信息用于训练分割网络。语义分割模型可以识别人像、底纹、个人信息、防伪膜以及杂质和黑边类别信息，对于分割出杂质和黑边，则判断证件不合格。对于紫外光下的覆膜图片也是用分类网络，区分覆膜完整及覆膜不完整的图片。
127.4)对于文字和人像转印不全、覆膜不全及重影的图片，使用迁移分类网络cdan，该图像分类网络基于迁移学习，可以提高分类的准确率。在训练阶段，人工标记好正常图片和文字和人像打印不全、覆膜不全、打印重影的图片信息用于训练分类网络。该网络用于区分正常图片和文字和人像打印不全、覆膜不全及打印重影的图片，对于人像和文字打印不完整、打印重影的图片判断证件不合格。在前期训练模型时将正常和质量异常的图片进行分类和标注，提供网络进行模型训练。
128.5)对于打印出现红条、色斑及色点的证件，使用目标检测网络标注出缺陷的情况，使用fcos目标检测网络对缺陷进行检测并显示。在前期训练模型将有杂质等异常情况的图片进行标注，提供网络进行模型训练。
129.在训练模型时，因部分缺陷证件样本比较少，使用数据增强集合自动标注的方式增加样本数量，数据增强的方式包括，自动在证件随机位置生成杂质、色斑及色点、增加反光、亮度变换、图像尺寸变化、颜色饱和度变换、照片遮挡、照片拉伸、照片扭曲、照片裁剪、照片变形、照片方向随机旋转、颜色扰动和加入噪声等方式。
130.作为一种可选的方式，本发明实施例中，所述边缘计算设备基于预定的第二证件质量检测方法实现所述打印质量检测，所述第二证件质量检测方法包括：
131.获取目标证件图像对应的标准打印图像；
132.对所述标准打印图像和所述目标证件图像进行预处理及特征点提取；
133.根据提取到的所述标准打印图像的特征点和所述目标证件图像的特征点进行特征匹配，得到所述标准打印图像与所述目标证件图像的形态学相减结果；
134.对所述形态学相减结果进行相似度检测和缺陷面积计算；
135.若检测到的相似度高于预定相似度阈值且计算出的缺陷面积小于预定的缺陷面积阈值，则判断目标证件通过所述打印质量检测。
136.以下对第二证件质量检测方法进行更为详细的说明：
137.第二证件质量检测方法为基于特征点提取的证件质检方法：
138.获取证件的个人信息，包括照片、姓名、性别、生日、有效期等全部打印信息，根据个人信息生成样图即完整的打印文件，并将空白证件的底纹结合个人信息样图，生成待比较的打印标准图，用来与实际证件进行比对。第一步进行图像特征检测，使用surf算法提取证件图像的特征点，形成特征描述。第二步进行特征匹配，粗筛选通过欧氏距离作为度量，精筛选使用随机抽样一致性(ransac)算法剔除匹配点中的外点，即错误匹配点。第三步使用仿射变换将标准图与制作的证件图像配准。最后做图像差分，打印不完整的部分会在图
像差分结果中出现，将结果进行相似度检测以及轮廓检测并计算缺陷面积。如果比对相似度高于预设的阈值，且形态学相减的结果小于预定的阈值面积的差异，则判断为正常证件，否则判断为缺陷证件。这样可以将人像、文字打印错误和打印内容缺失的情况检测出来。
139.作为一种可选的方式，本发明实施例中，所述边缘计算设备基于预定的第三证件质量检测方法实现所述打印质量检测；
140.所述第三证件质量检测方法基于预构建的生成对抗网络模型实现；
141.所述生成对抗网络模型包括：
142.编码器ge(x)，用于基于输入的目标证件图像获取特征向量z；
143.解码器gd(z)，用于基于输入的所述特征向量z和目标证件的芯片信息获取重构证件图像；
144.编码器ge(x')，用于基于输入的重构证件图像获取特征向量z'；
145.若所述特征向量z与所述特征向量z'的向量差超出预定的向量差阈值，则判断所述目标证件未通过所述打印质量检测。
146.以下对第三证件质量检测方法进行更为详细的说明：
147.第三证件质量检测方法为基于生成对抗网络的证件质检方法：
148.针对缺陷样本少，正常样本多的情况，考虑使用生成对抗网络来对证件进行质检，生成对抗网络包括：
149.1)生成网络：由编码器ge(x)和解码器gd(z)构成，对于送入图像x经过编码器ge(x)得到向量z，向量z结合读取证件芯片获取的个人基本信息、人像和指纹等信息经过解码器gd(z)得到x的重构数据x'。
150.2)判别器d：对于原始图像x判为真，重构图像x'判为假，从而不断优化重构图像与原始图像的差距，理想地，重构图像与原始图像无异。
151.3)编码器ge(x')：对重构图像x'再做编码，得到重构图像x'的向量z'。
152.在训练阶段，整个模型均是通过正常证件样本做训练，使用证件芯片中的个人信息与证件扫描照片作为输入，在个人信息的基础上增加证件底纹和防伪膜图像，使用解码器gd(z)生成重构照片。不断训练，以减小重构图像与原始图像的差距。
153.在质检时，使用x与x'两张图像的图像形态学差异计算出缺陷的位置和大小，当z与z'差距超过阈值，则判定证件质量不合格，若小于阈值则合格。
154.作为一种可选的方式，本发明实施例中，所述边缘计算设备基于预定的第四证件质量检测方法实现所述打印质量检测；
155.所述第四证件质量检测方法基于预构建的改进生成对抗网络模型实现；
156.所述改进生成对抗网络模型基于数据增强的方式进行训练，所述改进生成对抗网络模型包括：
157.重构子网络，用于将输入的目标证件图像重构为无异常证件图像；
158.判别子网络，用于获取所述目标证件图像与所述无异常证件图像的差异，并基于该差异判断所述目标证件图像是否通过所述打印质量检测。
159.以下对第四证件质量检测方法进行更为详细的说明：
160.第四证件质量检测方法为基于改进生成对抗网络的证件质检方法：
161.针对缺陷样本不易获取，正常样本较多的情况，需要使用正常样本来生成异常样
本供模型训练使用，考虑使用改进的生成对抗网络来对证件进行质检，其中，改进的生成对抗网络包括重构子网络、判别器子网络和数据增强模块。以下分别对重构子网络、判别子网络和数据增强模块进行说明：
162.数据增强模块：主要用于从正常图像生成缺陷图像供模型训练使用。数据增强模块用于在正常样本i图像上生成缺陷，并将生成的缺陷图片ia给重构子网络作为输入，来训练重构子网络。生成缺陷图像的步骤如下：
163.1)首先使用柏林噪声生成一张噪音图p。
164.2)根据一个随机生成的阈值对噪音图p做二值化操作，得到映射图ma。
165.3)从一个与证件不相关的数据集获取一张异常纹理图像a。
166.4)从数据增强操作集里面选取2种数据增强操作对异常纹理图像a进行数据增强。数据增强操作集包括：锐利化、模糊化、亮度变化、颜色变化、调整对比度。
167.5)训练数据包括正常图像i，生成的异常图像ia以及异常掩码图像ma。
168.6)最终的数据增强图像包含三部分：对映射图ma取反，得到并与原图i点乘；映射图ma与原图i点乘再乘以混合系数1-β；经过数据增强的图像a与映射图ma做矩阵点乘再乘以混合系数β。β是一个学习得到的超参数，取值范围从0.01到1之间。
169.公式如下：
[0170][0171]
最终得到经过数据增强的异常图像ia。
[0172]
重构子网络：由编码器和解码器组成。重构子网络用于检测缺陷图片中的异常，其输入是缺陷图片i，网络并将其重建为正常图片ir，使重建图片ir尽量与正常图片i一致，减少图像损失。重构子网络的损失l
rec
由两部分构成，一部分是smooth l1 loss(l
1 smooth
)，另一部分是ssimloss(l
ssim
)计算公式如下：
[0173][0174]
l
rec
(i，ir)＝λl
ssim
(i，h) l
1smooth
(i，ir)
[0175]
h和w是图像i的高度和宽度，n
p
是图像i的像素数，ir是网络的输出，ssim(i,ir)
(i,j)
是图像i和ir的ssim(结构相似度)值，λ是计算损失的超参数，网络学习得到。
[0176]
判别子网络：通过检测重建图像与输入图像的区别来定位缺陷。判别子网络使用u-net架构。判别子网络的输入ic是重建子网络的输出ir和输入图像i。判别子网络检查图像ir与i的差异。如果输入图像为异常图像，则ir与i在异常区域的差别较大，可以根据差异来对缺陷进行定位和分割。判别子网络自动学习ir与i的距离度量。判别子网络输出异常分数映射mo与图像i大小一致。判别子网络的损失l
seg
主要使用平衡交叉熵函数(balanced cross entropy)来增强异常分割的准确性和健壮性。
[0177]
本方法的总损失由两部分构成：重建损失和缺陷分割损失：
[0178]
l(i,ir,m
a，
m)＝l
rec
(i
，
ir) l
seg
(ma,m)
[0179]
ma,m分别是判别子网络输出的异常分割图和数据集里面正确打标记(ground truth)的异常分割图。
[0180]
判别子网络的输出mo是异常检测的掩码图，为了更好的确定检测结果，将mo经过中值滤波进行平滑，再经过最大池化层，最后通过全连接层确定检测结果。
[0181]
具体地，本发明实施例中，可以对第一证件质量检测方法、第二证件质量检测方法、第三证件质量检测方法与第四证件质量检测方法进行有选择地组合使用，只要能够实现打印质量检测和覆膜质量检测即可。
[0182]
本发明实施例的基于人工智能的证件质检系统具有以下有益效果：
[0183]
1)使用一台质检设备集成证件及护照的个人信息页、签证页的检测，对卡式证件的个人信息和签注的检测。可以对证件的打印信息，包括个人信、签证或签注信息、二维码信息、芯片信息、证件打印和覆膜质量进行一站式检测，整合多种质检功能，提高了质检的完整性，丰富了质检功能。
[0184]
2)在对证件质量进行检测时使用了多种光源，结合持证机构旋转多角度，方便对证件打印、覆膜质量的检测。
[0185]
3)质检和识别模型使用docker进行部署，可以适配硬件设备的多种驱动，以及保持软件开发库的版本一致，同时方便部署环境的复制和扩展。
[0186]
4)模型使用onnx格式模型，支持多个操作系统的部署，同时对模型进行加密，提高了程序和模型的安全行。
[0187]
5)使用业界领先的自主研发的深度学习的方法，根据不同的检测功能使用不同类型的网络模型进行识别和检测。证件打印覆膜质量的质检功能的网络模型包括目标检测，图像分类，图像分割方法对证件打印质量和覆膜质量进行检测，替代了人工操作，提高了质检效率。使用自研的ocr和打印位置检测方法提高证件打印信息的核验能力。使用shufflenet对证件方向进行识别，方便质检判断和文字识别。
[0188]
6)使用jetson xavier nx边缘计算设备替代工控机，同时jetson具备显卡加速能力，可以提高基于深度学习质检功能的运行速度，降低设备成本，减小设备体积，减少对服务器的依赖。
[0189]
7)使用基于改进的生成对抗网络的证件质检方法检测证件质量缺陷，针对证件缺陷样本较少的问题，训练检测网络，同时提高检测识别率。
[0190]
8)可以对证件的打印信息，包括个人信息，签证或签注信息，二维码信息，芯片信息，证件打印和覆膜质量进行一站式检测，整合多种质检功能，提高了质检的完整性，丰富了质检功能。
[0191]
9)使用深度学习的方法对证件打印、覆膜质量和打印信息进行检测，替代了人工操作，提高了质检效率和识别准确率。
[0192]
10)使用jetson xavier nx边缘计算设备替代工控机，降低设备成本，减小设备体积，使得设备便与携带。
[0193]
11)解决证件缺陷样本不易获取的问题，使用正常证件样本图像结合异常图像生成器来生成缺陷图像，最后训练识别网络。
[0194]
相应地，在上述基于人工智能的证件质检系统的基础上，本发明实施例还提出了一种基于人工智能的证件质检方法。图2示出了本发明实施例的基于人工智能的证件质检方法的实现流程图。参照图2，本发明实施例的基于人工智能的证件质检方法包括以下步骤：
[0195]
s100、将待质检的卡式证件输送至信息采集区，或者对待质检的本式证件进行翻页并输送至所述信息采集区；
[0196]
s200、获取所述信息采集区内的证件的图像；
[0197]
s300、获取所述信息采集区内的证件的芯片信息；
[0198]
s400、基于获取的证件图像获取所述证件的打印信息和条码信息，所述打印信息包括文字信息和生物特征信息；
[0199]
s500、对所述芯片信息、所述打印信息和所述条码信息进行三者一致性检测；
[0200]
s600、基于获取的证件图像对通过所述三者一致性检测的证件进行打印质量检测；
[0201]
s700、基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测；
[0202]
s800、将未通过所述三者一致性检测、所述打印质量检测或者所述覆膜质量检测的证件输送至质检不合格区，以及将通过所述覆膜质量检测并无需进行下一步信息比对的证件输送至质检合格区。
[0203]
进一步地，本发明实施例中，当所述本式证件为本式护照时，在步骤s700所述的基于获取的证件图像对通过所述打印质量检测的证件进行覆膜质量检测之后，还包括：
[0204]
将通过所述覆膜质量检测的本式护照回退；
[0205]
将回退的本式护照从个人资料页翻至签证页，并将所述本式护照重新输送至所述信息采集区；
[0206]
获取所述信息采集区内的本式护照的签证页图像；
[0207]
基于获取的签证页图像获取签证页打印信息；
[0208]
对所述签证页打印信息以及在先获取的所述本式护照的芯片信息、个人资料页打印信息、条码信息进行四者一致性检测；
[0209]
将未通过所述四者一致性检测的本式护照输送至所述质检不合格区，以及将通过所述四者一致性检测的本式护照输送至所述质检合格区。
[0210]
相应地，本发明实施例还提出了另一种基于人工智能的证件质检系统。图3示出了该证件质检系统的系统构成图。参照图3，该证件质检系统包括硬件设备层、关键技术层、功能模块层和应用接口层。其中，硬件设备包括工业摄像头、cis扫描仪、多角度持卡机构和多种光源照明。关键技术包括opencv、特征提取、目标检测技术和图像配准技术。功能模块包括内容缺失缺陷检测模块、重影缺陷检测模块、覆膜缺陷检测模块、黑边缺陷检测模块、样本采集模块、模型训练模块和深度学习检测模块。其中，内容缺失缺陷检测模块用于检测证件图像(包括人像和文字)打印内容缺失缺陷；重影缺陷检测模块用于检测证件图像的重影缺陷；覆膜缺陷检测模块用于测证件图像防伪膜的uv防伪缺陷。黑边缺陷检测模块可以检测待检测的证件图像的黑边缺陷；样本采集模块用于在普通led和uv光源下采集证件图像；模型训练模块用于使用样本图片训练缺陷检测网络模型；深度学习检测模块用于用深度学习算法训练的缺陷检测网络检测待检测证件图像的缺陷类型。应用接口包括：api接口、动态库(包括windows下的dll动态库以及linux下的.so库)和qt界面程序。
[0211]
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。