基于端到端的证件数据集构建方法、设备及存储介质与流程

摘要: 本发明涉及证件的数据处理,尤其涉及一种基于端到端的证件数据集构建方法、设备及存储介质。背景技术:1、随着全球化的深入发展和出入境管理的电子化、智能化转型,基于计...
基于端到端的证件数据集构建方法、设备及存储介质与流程

本发明涉及证件的数据处理,尤其涉及一种基于端到端的证件数据集构建方法、设备及存储介质。

背景技术:

1、随着全球化的深入发展和出入境管理的电子化、智能化转型,基于计算机视觉的护照自动识别技术已成为关键支撑技术,该技术依赖于深度学习模型,而深度学习模型性能的优劣直接取决于其训练所使用的数据集的规模和质量。一个“高纯度”的数据集,即其中图像样本标注准确、格式规范、内容清晰且与目标应用场景高度一致的数据集,是训练出高性能、高鲁棒性护照识别模型的前提。

2、然而,在构建护照识别专用数据集的实际过程中,数据集的“纯度”面临严峻挑战,现有技术中,提高数据集质量主要依赖以下两类方法,但均存在明显局限性:

3、人工复查与清洗:组织专业人员对海量数据逐张审查、筛选和修正标注。该方法虽能保证质量,但耗时耗力、成本极其高昂,且效率低下,难以应对快速迭代和数据集持续扩展的需求,同时存在因主观判断导致的标准不一致问题。

4、基于规则的初步过滤:利用简单的图像质量评估指标或固定模板匹配进行粗筛。这类方法自动化程度虽高,但规则往往过于僵化,无法有效处理护照图像的复杂多样性,误删率高(可能剔除部分有效但质量稍差的样本),且完全无法处理语义层面的错误(如标注内容错误)。

5、因此,现有技术缺乏一种能够智能化、高效地综合评估护照图像内容合规性、视觉质量和标注语义一致性的方法。这导致护照识别领域的数据集构建存在纯度瓶颈,进而制约了后续深度学习模型性能上限的提升。

技术实现思路

1、本发明的主要目的在于提供一种基于端到端的证件数据集构建方法、设备及存储介质,可以解决现有技术中的在构建证件数据集时,存在纯度瓶颈的问题。

2、为实现上述目的,本发明第一方面提供一种基于端到端的证件数据集构建方法,所述方法包括:

3、获取待识别的证件图像,从所述证件图像中提取图像特征、文字特征及机器可读区mrz码特征;

4、基于所述图像特征、所述文字特征及所述mrz码特征进行多特征融合,对所述证件图像的版本进行判断,得到所述证件图像的版本信息;

5、根据所述版本信息对所述证件图像进行结构化识别处理,得到所述证件图像的第一识别结果;

6、对所述第一识别结果、所述第二识别结果及所述第三识别结果进行智能裁判判定,确定目标识别结果,其中,所述第二识别结果为将所述证件图像输入至预设的视觉语言模型中进行结构化信息提取得到,所述第三识别结果为将所述证件图像对应的xml文件输入至预设的xml解析模型中进行解析得到;

7、将所述证件图像及所述目标识别结果保存至所述证件数据集中。

8、可选的,所述基于所述图像特征、所述文字特征及所述mrz码特征进行多特征融合,对所述证件图像的版本进行判断,得到所述证件图像的版本信息的步骤包括:

9、确定所述图像特征、所述文字特征及所述mrz码特征分别对应的权重;

10、基于所述图像特征、所述文字特征及所述mrz码特征对应的权重,对所述图像特征、所述文字特征及所述mrz码特征进行多特征融合,对所述证件图像的版本进行判断,得到所述证件图像的版本信息。

11、可选的,所述确定所述图像特征、所述文字特征及所述mrz码特征分别对应的权重的步骤包括:

12、利用所述mrz码特征及所述文字特征查询预设的证件版本特征库,确定所述证件图像的初步证件版本,所述证件版本特征库包含mrz码特征、文字特征及证件版本的对应关系;

13、利用所述初步证件版本查询所述版本权重映射表,确定所述证件图像的图像特征、文字特征及mrz码特征分别对应的权重,所述版本权重映射表包含各证件版本的图像特征、文字特征及mrz码特征分别对应的权重。

14、可选的,所述版本权重映射表按照如下方式构建:

15、获取多个版本样本,每个所述版本样本包含所述图像特征、所述文字特征及所述mrz码特征以及对应的版本标签;

16、分别计算每个所述版本样本中,所述图像特征、所述文字特征及所述mrz码特征与所述版本标签之间的多元回归系数,并对所述多元回归系数取绝对值,得到各版本样本的各特征的关联强度值;

17、将同一所述版本样本下的所述版本标签与所述图像特征、所述文字特征及所述mrz码特征之间的所述关联强度值进行归一化处理,得到归一化处理结果;

18、将归一化处理结果作为所述图像特征、所述文字特征及所述mrz码特征的初始权重,将所述版本标签与所述图像特征、所述文字特征及所述mrz码特征的初始权重对应,作为所述版本权重映射表。

19、可选的,所述将所述版本标签与所述图像特征、所述文字特征及所述mrz码特征的初始权重对应,作为所述版本权重映射表的步骤,包括:

20、以版本判断准确率为目标函数,采用随机梯度下降算法对所述各版本样本的初始权重进行迭代优化,直至所述目标函数收敛或者达到预设迭代次数,得到各版本样本的所述图像特征、所述文字特征及所述mrz码特征的最优权重;

21、将各版本样本的版本标签与所述图像特征、所述文字特征及所述mrz码特征的最优权重对应,作为所述版本权重映射表。

22、可选的,所述版本权重映射表按照如下方式构建:

23、获取各个版本样本的图像信息、文字信息及mrz码信息以及对应的版本标签;

24、对于各版本样本,利用图像信息计算图像面积,利用文字信息计算文字面积,以及利用mrz码信息计算mrz码面积;

25、将各版本样本的所述图像面积、所述文字面积及所述mrz码面积归一化后的数值,作为所述各版本样本的图像特征、文字特征及mrz码特征分别对应的权重,将所述各版本样本的版本标签与所述图像特征、所述文字特征及所述mrz码特征的权重对应,得到所述版本权重映射表。

26、可选的,所述确定所述图像特征、所述文字特征及所述mrz码特征分别对应的权重的步骤包括:

27、获取预设的权重分配规则,按照所述权重分配规则确定所述图像特征、所述文字特征及所述mrz码特征分别对应的权重,所述权重分配规则为基于专家经验值设置。

28、可选的,所述基于所述图像特征、所述文字特征及所述mrz码特征对应的权重,对所述图像特征、所述文字特征及所述mrz码特征进行多特征融合,对所述证件图像的版本进行判断,得到所述证件图像的版本信息的步骤包括:

29、采用z-score标准化方法对所述图像特征、所述文字特征及所述mrz码特征进行量纲消除处理,得到所述图像特征、所述文字特征及所述mrz码特征分别对应的特征值;

30、利用所述图像特征、所述文字特征及所述mrz码特征分别对应的权重及特征值进行加权融合,得到融合特征向量;

31、将所述融合特征向量输入预设的版本分类模型中进行版本判断,得到所述证件图像的版本信息。

32、可选的,所述对所述第一识别结果、所述第二识别结果及所述第三识别结果进行智能裁判判定,确定目标识别结果的步骤包括:

33、根据所述证件图像及预设的权重预测模型进行权重预测,确定所述第一识别结果、所述第二识别结果及所述第三识别结果分别对应的权重;

34、根据所述第一识别结果、所述第二识别结果及所述第三识别结果分别对应的权重进行判定,确定所述目标识别结果。

35、可选的,所述根据所述证件图像及预设的权重预测模型进行权重预测,确定所述第一识别结果、所述第二识别结果及所述第三识别结果分别对应的权重的步骤,包括:

36、从所述证件图像中提取多个元特征,以及分别计算第一识别结果、第二识别结果及第三识别结果的第一特征值和第二特征值,所述第一特征值表示识别结果的字段格式与预设的格式规则的匹配度,所述第二特征值表示与其他两个识别结果的相似度的平均值;

37、利用所述元特征、所述第一特征值及第二特征值分别构成所述第一识别结果的第一特征向量,所述第二识别结果的第二特征向量,以及所述第三识别结果的第三特征向量;

38、将所述第一特征向量、第二特征向量以及第三特征向量依次输入至预设的权重预测模型中进行权重预测,得到所述第一识别结果、所述第二识别结果及所述第三识别结果分别对应的权重。

39、可选的,所述根据所述第一识别结果、所述第二识别结果及所述第三识别结果分别对应的权重进行判定,确定所述目标识别结果的步骤,包括:

40、将所述第一识别结果、所述第二识别结果及所述第三识别结果按照预设划分规则进行划分,得到至少一个结果集,所述预设划分规则为相同识别结果在同一结果集,不同识别结果在不同结果集;

41、从所述至少一个结果集中,确定目标结果集,所述目标结果集包含的各识别结果的权重之和最大;

42、在所述目标结果集包含的各识别结果的权重之和大于或等于预设置信阈值时,将所述目标结果集中任意一个识别结果作为所述目标识别结果。

43、可选的,所述根据所述版本信息对所述证件图像进行结构化识别处理,得到所述证件图像的第一识别结果的步骤,包括:

44、在所述版本信息中的版本合规性评价为合规时,利用所述版本信息中的版本类型,从预设的所述证件版本对应各标准版式中筛选版本类型相同的标准版式,作为候选版式;

45、将所述证件图像与各候选版式进行匹配,确定所述各候选版式的匹配度,将匹配度最大的候选版式作为目标版式;

46、根据所述目标版式的匹配度及所述版本信息中的特征区域标准布局匹配度,对所述证件图像进行结构化识别处理,得到所述证件图像的第一识别结果。

47、可选的,所述根据目标版式的匹配度及所述版本信息中的特征区域标准布局匹配度,对所述证件图像进行结构化识别处理,得到所述证件图像的第一识别结果的步骤包括:

48、若所述目标版式的匹配度大于或等于所述特征区域标准布局匹配度,和/或所述特征区域标准布局匹配度大于或等于预设匹配阈值,则利用所述目标版式对所述证件图像进行结构化识别处理,得到所述证件图像的第一识别结果。

49、为实现上述目的,本发明第二方面提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行第一方面所提到的基于端到端的证件数据集构建方法中的各个步骤。

50、为实现上述目的,本发明第三方面提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下第一方面所提到的基于端到端的证件数据集构建方法中的各个步骤。

51、采用本发明实施例,具有如下有益效果:

52、本发明提供一种基于端到端的证件数据集构建方法,该方法包括:获取待识别的证件图像,从该证件图像中提取图像特征、文字特征及mrz码特征,基于图像特征、文字特征及mrz码特征及文字特征进行多特征融合,对证件图像的版本进行判断,得到证件图像的版本信息,根据该版本信息对证件图像进行结构化识别处理,得到证件图像的第一识别结果,对第一识别结果、第二识别结果及第三识别结果进行智能裁判判定,确定目标识别结果,其中,第二识别结果为将证件图像输入至预设的视觉语言模型中进行结构化信息提取得到,第三识别结果为将证件图像对应的xml文件输入至预设的xml解析模型中进行解析得到,将证件图像及目标识别结果保存至证件数据集中。在该方法中,通过提取图像特征、文字特征及mrz码特征,使得能够通过多特征融合的方式提高版本判断的精准度与通用性,避免单一特征带来的适应性、准确性不足的问题,此外,通过三种不同的方式分别得到第一识别结果、第二识别结果及第三识别结果,能够有效降低单一方式存在的误差和局限性,显著提高目标识别结果的准确性,且通过对第一识别结果、第二识别结果及第三识别结果进行智能裁判判定,也能够进一步提升目标识别结果的准确性,最终达到提高证件数据集的纯度的效果,为训练业界领先的证件识别模型奠定高质量的数据基础。