一种基于模型融合的资质证照识别方法与流程
本发明涉及文档智能识别,尤其涉及一种基于模型融合的资质证照识别方法。
背景技术:
1、在文档智能识别技术领域,随着企业招采、供应商准入和资质核验业务逐步线上化,资质证照材料通常以图片、扫描件和pdf形式提交。现有处理方式一般先对文件进行图像预处理,再通过ocr识别提取文字内容,随后按照字段名称、证照版式和业务规则整理主体名称、证照编号、资质类别、有效期限、等级信息和业绩内容,最后由规则判断材料是否符合审查要求。
2、现有ocr识别方法能够完成基础文字录入,但对资质证照这类版式差异较大的文件适应性不足。当证照存在扫描倾斜、印章覆盖、字段换行、表格混排、多页材料混合提交等情况时,文字识别结果容易出现字段截断、字段归属错误和页面位置对应错误,导致后续结构化整理结果不稳定。
3、现有技术中也有方案引入智能识别模型辅助判断证照内容,但通常仍以单次识别结果作为依据。对于同一份证照材料,不同识别方式可能得到不一致的字段内容或判断结果,现有方法缺少稳定的校验和取舍依据,容易造成最终结构化识别结果不准确,证照有效性判断可靠性不足。
4、因此,如何提供一种基于模型融合的资质证照识别方法是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种基于模型融合的资质证照识别方法,本发明结合ocr识别、端到端识别和证照要件约束bros结构,对资质证照执行字段提取、冲突比对和识别链路选择,具备识别准确性高、合规判断稳定和有效性结论可靠的优点。
2、根据本发明实施例的一种基于模型融合的资质证照识别方法,包括如下步骤:
3、接收待识别资质证照输入文件,执行预处理,生成待识别证照内容;
4、对待识别证照内容分别执行ocr识别、端到端识别,将识别得到的文本框、字段候选值、文本框位置、合格性结论按证照审查要件类型映射为证照要件节点;
5、将证照要件节点输入证照要件约束bros结构,根据证照要件节点的文本框位置、字段候选值和证照审查要件类型,计算约束注意力输入量;
6、将约束注意力输入量写入证照要件约束bros结构的自注意力层,对证照要件节点执行权重调节,得到合规约束节点表示和合规约束满足状态;
7、对ocr识别对应的合规约束节点表示与端到端识别对应的合规约束节点表示执行要件节点对齐,定位字段值冲突、位置冲突和合格性结论冲突对应的目标要件节点;
8、对目标要件节点对应的图像区域与文本字段执行遮蔽处理,将遮蔽后的待识别证照内容分别输入ocr识别和端到端识别,比较遮蔽前后合格性结论,得到结论变化量,依据结论变化量确定结论依赖强度;
9、根据结论依赖强度和合规约束满足状态执行识别链路选择,输出资质证照最终结构化识别结果及证照有效性结论。
10、可选的,所述预处理包括如下步骤;
11、读取待识别资质证照输入文件,将待识别资质证照输入文件转换为页面图像;
12、检测页面图像中的文本行方向和证照边界区域,依据文本行方向对页面图像和证照边界区域执行方向校正,形成校正页面图像和校正证照边界区域;
13、对校正页面图像执行灰度归一、噪声点去除、文字边缘增强,形成增强页面图像;
14、依据校正证照边界区域从增强页面图像中裁切证照页面,提取证照页面中的文本候选框,将证照页面和文本候选框作为待识别证照内容。
15、可选的,所述映射为证照要件节点包括如下步骤;
16、对ocr识别输出和端到端识别输出分别提取文本框、字段候选值、文本框位置、合格性结论,形成带识别链路来源的要件记录;
17、依据证照审查要件类型对要件记录执行类型匹配,确定要件记录对应的证照要件节点;
18、按照文本框对应文本区域项、字段候选值对应字段值项、文本框位置对应位置项、合格性结论对应结论项、识别链路来源对应来源项的映射关系,将要件记录组合为证照要件节点。
19、可选的,所述证照要件节点输入证照要件约束bros结构包括如下步骤;
20、从证照要件节点提取文本框位置、字段候选值和证照审查要件类型;
21、将文本框位置编码为位置表示,将字段候选值编码为字段表示,将证照审查要件类型编码为类型表示;
22、按照同一证照要件节点,将位置表示、字段表示和类型表示组合为证照要件节点输入表示;
23、按照证照要件节点在待识别证照内容中的文本框位置顺序,将证照要件节点输入表示排列为证照要件输入序列,输入证照要件约束bros结构。
24、可选的,所述计算约束注意力输入量包括如下步骤;
25、在证照要件约束bros结构中,按照证照要件输入序列构建证照要件节点对;
26、根据证照要件节点对中的位置表示计算文本框中心距离和文本框边界重叠面积,形成版面邻接量;
27、计算证照要件节点对中的字段表示之间的语义相似度,形成字段语义相似量;
28、根据证照要件节点对中的类型表示确定节点对要件类型,对节点对要件类型执行校验组合判定,将判定结果转换为要件类型约束量;
29、将同一证照要件节点对对应的版面邻接量、字段语义相似量和要件类型约束量组合为约束注意力输入量。
30、可选的,所述对证照要件节点执行权重调节包括如下步骤;
31、在证照要件约束bros结构的自注意力层中,基于证照要件节点对对应的证照要件节点输入表示计算原始注意力权重;
32、依据约束注意力输入量调节原始注意力权重,形成合规约束注意力权重;
33、按照合规约束注意力权重对证照要件节点输入表示执行加权汇聚,形成合规约束节点表示,根据合规约束注意力权重和要件类型约束量形成合规约束满足状态。
34、可选的,所述执行要件节点对齐包含如下步骤;
35、按照识别链路来源区分ocr识别对应的合规约束节点表示与端到端识别对应的合规约束节点表示;
36、对证照审查要件类型相同的合规约束节点表示执行候选匹配,形成候选对齐节点对;
37、计算候选对齐节点对的字段候选值相似量与文本框位置重叠量,根据字段候选值相似量与文本框位置重叠量确定对齐节点对;
38、比较对齐节点对中的字段候选值、文本框位置与合格性结论,将存在字段值冲突、位置冲突、合格性结论冲突的对齐节点对对应的证照要件节点定位为目标要件节点。
39、可选的,所述遮蔽处理包含如下步骤;
40、根据目标要件节点中的文本框位置与字段候选值,确定目标图像区域与目标文本字段;
41、将目标图像区域内的像素值替换为目标图像区域周围背景像素均值,将目标文本字段替换为遮蔽字段标记;
42、将完成像素替换与字段标记替换后的待识别证照内容作为遮蔽证照内容。
43、可选的,所述结论依赖强度的确定包含如下步骤;
44、将待识别证照内容分别输入ocr识别链路与端到端识别链路,记录遮蔽前合格性结论;
45、将遮蔽证照内容分别输入ocr识别链路与端到端识别链路,记录遮蔽后合格性结论;
46、比较同一识别链路的遮蔽前合格性结论与遮蔽后合格性结论,根据合格性结论是否发生变化生成结论变化量;
47、将ocr识别链路对应的结论变化量作为ocr识别链路对应的结论依赖强度,将端到端识别链路对应的结论变化量作为端到端识别链路对应的结论依赖强度。
48、可选的,所述识别链路选择包含如下步骤;
49、确定ocr识别链路与端到端识别链路各自对应的结论依赖强度与合规约束满足状态;
50、ocr识别链路与端到端识别链路中仅一条识别链路的合规约束满足状态处于满足状态时,选取处于满足状态的识别链路;
51、ocr识别链路与端到端识别链路的合规约束满足状态均处于满足状态时,比较两条识别链路对应的结论依赖强度,选取结论依赖强度大于另一条识别链路的识别链路;
52、依据选取的识别链路对应的字段候选值、文本框位置和合格性结论,生成资质证照最终结构化识别结果及证照有效性结论。
53、本发明的有益效果是:
54、(1)本发明通过ocr识别链路与端到端识别链路共同处理资质证照内容,证照文字字段、文本框位置和合格性结论能够从不同识别路径获得,提高了资质证照在版式变化、扫描质量不稳定情况下的识别准确性。
55、(2)本发明通过证照要件约束bros结构,将文本框位置、字段候选值和证照审查要件类型共同用于权重调节,字段识别结果能够结合证照审查要件进行判断,降低字段归属错误和合规判断偏差。
56、(3)本发明通过要件节点对齐、冲突定位、遮蔽处理和结论依赖强度确定,对ocr识别链路与端到端识别链路的差异进行比对,再执行识别链路选择,提高最终结构化识别结果和证照有效性结论的稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com