一种水利工程文本文件智能识别与关键信息自动抽取方法及系统与流程

摘要: 本技术涉及水利工程信息化和计算机信息处理,特别是涉及一种水利工程文本文件智能识别与关键信息自动抽取方法及系统。背景技术:1、随着水利工程建设规模不断扩大以及工程...
一种水利工程文本文件智能识别与关键信息自动抽取方法及系统与流程

本技术涉及水利工程信息化和计算机信息处理,特别是涉及一种水利工程文本文件智能识别与关键信息自动抽取方法及系统。

背景技术:

1、随着水利工程建设规模不断扩大以及工程建设管理信息化程度不断提高,在水利工程规划设计、招标投标、施工管理、质量监督、安全监督和竣工验收等过程中,会形成大量项目可行性研究报告、初步设计批复文件、招标文件、合同文本、质量评定表和验收报告等工程文本文件。由于部分工程文件以纸质文档、扫描图像或不可编辑的便携式文档格式保存,文件中的项目名称、参建单位、合同金额、签订日期和验收结论等信息难以直接被计算机系统读取和利用,通常需要对相应文本文件进行识别和信息整理,以满足工程档案数字化、项目数据查询以及业务管理系统数据录入等需求。

2、目前,通常采用光学字符识别技术将扫描图像中的字符转换为可编辑文本,并在获得识别文本后,通过关键词匹配、固定模板匹配、规则解析或语义识别等方式提取所需信息。然而,水利工程文本文件来源多样,不同文件的扫描质量、页面方向和图像清晰度存在差异,且文件中包含较多水利工程专业术语,容易出现字符识别错误。同时,水利工程文本文件通常包括多级标题、表格、印章、手写签字及正文内容等多种版面元素,不同项目、不同建设阶段所采用的文件模板和字段位置也不统一,现有方法在识别过程中容易丢失标题、段落、表格单元格及字段内容之间的关联关系,难以准确确定关键字段及其对应的字段值,导致识别和抽取结果仍需人工逐项核对、修改和重新录入,影响水利工程文本文件的处理效率及数据利用效果。

3、因此,在水利工程文本文件的信息化处理中,文件图像质量差异较大、水利专业术语识别准确性不足、复杂版面结构及字段关联关系难以保留以及不同文档模板下关键信息抽取适应性较差,成为亟需解决的问题。

技术实现思路

1、本技术提供一种水利工程文本文件智能识别与关键信息自动抽取方法及系统,旨在解决现有技术在水利工程文本文件的信息化处理中,文件图像质量差异较大、水利专业术语识别准确性不足、复杂版面结构及字段关联关系难以保留以及不同文档模板下关键信息抽取适应性较差的问题。

2、第一方面,一种水利工程文本文件智能识别与关键信息自动抽取方法,所述方法包括:

3、获取待处理的水利工程文本文件,对所述水利工程文本文件进行格式转换和图像预处理,得到对应的文档页面图像;

4、对所述文档页面图像进行文字识别,得到包含识别文本、文本位置信息和识别置信度的初始识别结果,并根据水利工程专业术语词库,对所述初始识别结果中识别置信度低于预设识别阈值的识别文本进行匹配校正,得到校正识别结果;

5、根据所述校正识别结果中的文本内容和文本位置信息,对所述水利工程文本文件中的版面元素及各所述版面元素之间的关联关系进行解析,构建包含标题层级关系、段落归属关系和表格单元格关联关系的文档逻辑结构;

6、对所述校正识别结果进行语义解析,得到语义解析结果,并结合所述文档逻辑结构和所述语义解析结果,确定预定义关键字段对应的候选文本区域,从所述候选文本区域中提取所述预定义关键字段的字段值;

7、根据所述字段值对应的识别置信度、所述字段值所在候选文本区域与用于表征对应预定义关键字段的版面元素之间的结构关联结果,以及所述字段值与对应预定义关键字段之间的语义匹配结果,确定所述字段值的字段置信度;

8、将所述字段置信度与预设字段置信度阈值进行比较,在所述字段置信度不低于所述预设字段置信度阈值时,对所述字段值进行结构化输出,在所述字段置信度低于所述预设字段置信度阈值时,将所述字段值标记为待复核字段。

9、上述方案中,可选地,所述对所述水利工程文本文件进行格式转换和图像预处理,得到对应的文档页面图像,包括:

10、识别所述水利工程文本文件的文件格式,得到文件格式识别结果;

11、根据所述文件格式识别结果,对所述水利工程文本文件进行页面拆分和格式转换,得到多个初始页面图像;

12、分别对各所述初始页面图像进行图像质量检测,得到包括图像倾斜程度、图像噪声程度和字符清晰程度的图像质量特征;

13、根据所述图像质量特征,从预设的图像处理流程中确定各所述初始页面图像对应的目标图像处理流程,所述图像处理流程包括二值化处理、倾斜校正处理、去噪处理和超分辨率重建处理中的至少一种;

14、按照所述目标图像处理流程对对应的初始页面图像进行处理,得到所述文档页面图像。

15、上述方案中,可选地,所述根据水利工程专业术语词库,对所述初始识别结果中识别置信度低于预设识别阈值的识别文本进行匹配校正,得到校正识别结果,包括:

16、将所述初始识别结果划分为多个识别文本单元,并获取各所述识别文本单元对应的识别置信度;

17、将所述识别置信度低于所述预设识别阈值的识别文本单元确定为待校正文本单元,得到待校正文本单元集合;

18、分别确定各所述待校正文本单元与所述水利工程专业术语词库中各专业术语之间的字符相似度,并根据所述字符相似度,从所述水利工程专业术语词库中筛选各所述待校正文本单元对应的候选专业术语,得到候选专业术语集合;

19、根据所述待校正文本单元的上下文文本以及所述候选专业术语集合中各候选专业术语与所述上下文文本之间的语义匹配结果,从所述候选专业术语集合中确定目标专业术语;

20、采用所述目标专业术语替换对应的待校正文本单元,并将替换后的识别文本单元与未被替换的识别文本单元进行合并,得到所述校正识别结果。

21、上述方案中,可选地,所述对所述水利工程文本文件中的版面元素及各所述版面元素之间的关联关系进行解析,构建包含标题层级关系、段落归属关系和表格单元格关联关系的文档逻辑结构,包括:

22、根据所述校正识别结果中的文本位置信息,对所述文档页面图像进行版面区域划分,得到多个候选版面区域;

23、根据各所述候选版面区域中的文本排列特征和区域形态特征,对各所述候选版面区域进行版面元素分类,得到标题元素、段落元素和表格元素;

24、根据各所述标题元素的文本内容、文本尺寸特征和页面位置,确定各所述标题元素对应的标题层级,得到所述标题层级关系;

25、根据各所述段落元素与各所述标题元素之间的位置顺序和包含关系,确定各所述段落元素对应的标题元素,得到所述段落归属关系;

26、对所述表格元素进行单元格划分,并根据划分得到的各单元格的行列位置和相邻关系,得到所述表格单元格关联关系;

27、根据所述标题层级关系、所述段落归属关系和所述表格单元格关联关系,构建所述文档逻辑结构。

28、上述方案中,可选地,所述对所述校正识别结果进行语义解析,得到语义解析结果,并结合所述文档逻辑结构和所述语义解析结果,确定预定义关键字段对应的候选文本区域,包括:

29、按照所述文档逻辑结构中的标题层级关系、段落归属关系和表格单元格关联关系,对所述校正识别结果进行语义单元划分,得到多个候选语义单元;

30、分别对各所述候选语义单元进行语义编码,得到各所述候选语义单元对应的文本语义特征,并将各所述文本语义特征确定为所述语义解析结果;

31、获取各所述预定义关键字段对应的字段描述信息,并对所述字段描述信息进行语义编码,得到各所述预定义关键字段对应的字段语义特征,所述字段描述信息包括字段名称、字段类型、字段别名和字段语义说明中的至少一种;

32、将各所述字段语义特征分别与各所述文本语义特征进行匹配,得到各所述预定义关键字段与各所述候选语义单元之间的语义匹配结果;

33、根据所述语义匹配结果以及各所述候选语义单元在所述文档逻辑结构中的位置,从各所述候选语义单元中确定各所述预定义关键字段对应的候选文本区域。

34、上述方案中,可选地,所述从所述候选文本区域中提取所述预定义关键字段的字段值,包括:

35、对所述候选文本区域进行命名实体识别,得到与所述预定义关键字段的字段类型相匹配的实体候选结果;

36、根据所述预定义关键字段生成对应的字段查询信息,并基于所述字段查询信息对所述候选文本区域进行答案文本定位,得到答案候选结果;

37、将所述实体候选结果与所述答案候选结果进行位置对应和文本内容比对,得到字段候选值集合;

38、根据所述字段候选值集合中各字段候选值与所述预定义关键字段之间的字段类型匹配关系、结构位置关联关系和上下文语义关联关系,确定各所述字段候选值对应的候选值匹配结果;

39、根据所述候选值匹配结果,从所述字段候选值集合中确定所述预定义关键字段的字段值。

40、上述方案中,可选地,所述对所述表格元素进行单元格划分,并根据划分得到的各单元格的行列位置和相邻关系,得到所述表格单元格关联关系,包括:

41、对所述表格元素中的表格边界和单元格边界进行检测,得到多个单元格区域;

42、根据各所述单元格区域在所述表格元素中的空间位置,确定各所述单元格区域对应的行位置、列位置和单元格合并关系,得到单元格结构信息;

43、根据所述文本位置信息,将所述校正识别结果中的识别文本映射至对应的单元格区域,得到各所述单元格区域对应的单元格文本;

44、根据各所述单元格文本的文本内容以及所述单元格结构信息,确定用于表征字段名称的字段标识单元格和用于表征字段内容的字段内容单元格;

45、根据所述字段标识单元格与所述字段内容单元格之间的同行关系、同列关系或相邻关系,建立所述字段标识单元格与所述字段内容单元格之间的字段关联,得到所述表格单元格关联关系。

46、上述方案中,可选地,所述根据所述字段值对应的识别置信度、所述字段值所在候选文本区域与用于表征对应预定义关键字段的版面元素之间的结构关联结果,以及所述字段值与对应预定义关键字段之间的语义匹配结果,确定所述字段值的字段置信度,包括:

47、获取组成所述字段值的各识别文本单元对应的识别置信度,并根据各所述识别置信度确定所述字段值对应的文本识别评价结果;

48、根据所述字段值所在候选文本区域与用于表征对应预定义关键字段的版面元素之间的位置关系和归属关系,确定所述字段值对应的结构关联评价结果;

49、根据所述字段值及其上下文文本与对应预定义关键字段之间的语义匹配关系,确定所述字段值对应的语义匹配评价结果;

50、对所述文本识别评价结果、所述结构关联评价结果和所述语义匹配评价结果进行融合,得到所述字段值的字段置信度;

51、将所述字段置信度与所述预设字段置信度阈值进行比较,得到字段可信度判断结果;

52、根据所述字段可信度判断结果,确定对所述字段值进行结构化输出或者将所述字段值标记为待复核字段。

53、上述方案中,可选地,所述根据所述字段可信度判断结果,确定对所述字段值进行结构化输出或者将所述字段值标记为待复核字段之后,还包括:

54、按照各所述预定义关键字段对应的数据类型和数据格式,对各所述字段值进行格式规范化处理,得到标准字段记录;

55、根据所述字段可信度判断结果,将各所述标准字段记录划分为自动回填字段记录和待复核字段记录;

56、根据目标业务系统中的业务字段与所述预定义关键字段之间的映射关系,将所述自动回填字段记录转换为第一业务回填数据,并将所述第一业务回填数据发送至所述目标业务系统,得到第一回填结果;

57、根据所述待复核字段记录生成复核任务,并将所述复核任务发送至人工复核队列,得到人工复核结果;

58、根据所述人工复核结果对所述待复核字段记录进行确认或修正,得到复核字段记录;

59、根据所述映射关系将所述复核字段记录转换为第二业务回填数据,并将所述第二业务回填数据发送至所述目标业务系统,得到第二回填结果;

60、根据所述第一回填结果和所述第二回填结果,得到所述水利工程文本文件对应的最终回填结果。

61、第二方面,一种水利工程文本文件智能识别与关键信息自动抽取系统,所述系统包括:

62、文档预处理模块,用于获取待处理的水利工程文本文件,对所述水利工程文本文件进行格式转换和图像预处理,得到对应的文档页面图像;

63、识别校正模块,用于对所述文档页面图像进行文字识别,得到包含识别文本、文本位置信息和识别置信度的初始识别结果,并根据水利工程专业术语词库,对所述初始识别结果中识别置信度低于预设识别阈值的识别文本进行匹配校正,得到校正识别结果;

64、结构解析模块,用于根据所述校正识别结果中的文本内容和文本位置信息,对所述水利工程文本文件中的版面元素及各所述版面元素之间的关联关系进行解析,构建包含标题层级关系、段落归属关系和表格单元格关联关系的文档逻辑结构;

65、字段抽取模块,用于对所述校正识别结果进行语义解析,得到语义解析结果,结合所述文档逻辑结构和所述语义解析结果确定预定义关键字段对应的候选文本区域,并从所述候选文本区域中提取所述预定义关键字段的字段值;

66、置信度确定模块,用于根据所述字段值对应的识别置信度、所述字段值所在候选文本区域与用于表征对应预定义关键字段的版面元素之间的结构关联结果,以及所述字段值与对应预定义关键字段之间的语义匹配结果,确定所述字段值的字段置信度;

67、结果处理模块,用于将所述字段置信度与预设字段置信度阈值进行比较,在所述字段置信度不低于所述预设字段置信度阈值时,对所述字段值进行结构化输出,在所述字段置信度低于所述预设字段置信度阈值时,将所述字段值标记为待复核字段。

68、相比现有技术,本技术至少具有以下有益效果:

69、本技术基于对现有技术问题的进一步分析和研究,认识到现有技术在水利工程文本文件的信息化处理中,文件图像质量差异较大、水利专业术语识别准确性不足、复杂版面结构及字段关联关系难以保留以及不同文档模板下关键信息抽取适应性较差的问题,通过对待处理的水利工程文本文件进行格式转换和图像预处理,获得适于文字识别的文档页面图像,以降低文件格式差异、页面倾斜、图像噪声及字符模糊对识别结果的影响;在此基础上,对文档页面图像进行文字识别,并利用水利工程专业术语词库对识别置信度低于预设识别阈值的识别文本进行匹配校正,使通用文字识别结果受到水利工程领域知识的约束,从而减少水利专业术语的错误识别;进一步根据校正识别结果中的文本内容和文本位置信息解析版面元素及其关联关系,构建包含标题层级关系、段落归属关系和表格单元格关联关系的文档逻辑结构,由此保留复杂版面中不同文本内容之间的空间联系和逻辑联系;再结合文档逻辑结构与语义解析结果确定预定义关键字段对应的候选文本区域,并从候选文本区域中提取字段值,使关键字段的定位不再依赖固定页面坐标或单一文档模板,进而提高对不同水利工程文档格式的适应能力;最后综合字段值的识别置信度、结构关联结果和语义匹配结果确定字段置信度,并根据字段置信度对字段值进行结构化输出或标记为待复核字段,从而避免可靠性不足的抽取结果被直接使用,因此,能够提高水利工程文本文件中专业术语识别、复杂版面结构解析及关键信息抽取的准确性和可靠性,解决现有技术中水利工程文件图像质量差异较大、专业术语识别准确性不足、标题段落及表格字段关联关系容易丢失,以及不同文档模板下关键信息抽取适应性较差的问题。