基于多模态特征融合的文档处理方法、装置及电子设备与流程

本技术涉及金融文档智能处理，尤其涉及一种基于多模态特征融合的文档处理方法、装置及电子设备。

背景技术：

1、在金融业务的开户、授信及合同办理场景中，现有技术通常采用光学字符识别技术提取文档中的文本信息，并由人工审核人员对提取出的文本进行逐项比对与逻辑判断。

2、然而，现有技术多停留于字符提取与人工比对层面，难以兼顾文档图像中的版面结构信息、文本语义上下文以及多份文档之间的关联关系，导致字段错识、结构信息丢失及逻辑矛盾漏检，影响审核效率与准确性。

3、因此，如何在金融文档处理过程中提高信息提取与逻辑校验的准确性，同时增强对潜在风险的识别能力和对规则变化的适应性，成为亟待解决的技术问题。

技术实现思路

1、本技术实施例提供一种基于多模态特征融合的文档处理方法、装置及电子设备，用以解决上述技术问题。该方法面向金融业务文档处理场景，围绕文档图像信息、文本内容信息以及业务语义关系的协同利用，构建从信息提取、结果校验到异常修正的统一处理机制，在提升文档字段识别准确性的同时，增强对结构信息、语义关系及业务逻辑一致性的综合判定能力，从而提高金融文档处理的准确性、稳定性和风险识别水平。

2、第一方面，本技术实施例提供一种基于多模态特征融合的文档处理方法，包括：

3、获取待处理金融文档的文档图像，并对所述文档图像进行字符识别，得到文本数据；

4、对所述文档图像进行图像特征分析，并对所述文本数据进行语义解析；

5、根据图像特征分析结果以及语义解析结果，确定所述文本数据的置信度评分；

6、当所述置信度评分低于预设阈值时，通过自然语言处理模型对所述文本数据进行纠错；

7、将所述图像特征分析结果与对纠错后的文本数据重新进行语义解析得到的解析结果进行融合，生成结构化数据；

8、基于金融知识图谱对所述结构化数据进行语义矛盾检测，确定矛盾字段及其矛盾风险等级；

9、根据对应的矛盾风险等级，对所述矛盾字段进行修正，得到修正后的结构化数据并输出。

10、在一种可能的实施方式中，所述根据图像特征分析结果以及语义解析结果，确定所述文本数据的置信度评分，包括：

11、基于所述语义解析结果中的版式结构信息与所述图像特征分析结果中的版式结构信息，计算版式布局匹配度；

12、基于字符识别时输出的字符置信度以及所述版式布局匹配度，确定所述文本数据的置信度评分。

13、在一种可能的实施方式中，所述基于所述语义解析结果中的版式结构信息与所述图像特征分析结果中的版式结构信息，计算版式布局匹配度，包括：

14、根据所述语义解析结果，确定所述文本数据中各目标元素分别对应的字段；

15、从所述图像特征分析结果中提取各目标元素在文档图像中的图像坐标区域；

16、基于预设金融文档模板，确定所述各目标元素对应的预设坐标区域；

17、针对每个目标元素，计算目标元素的图像坐标区域与所述预设坐标区域的距离偏差值；

18、将所述距离偏差值按照预设映射规则转换为版式布局匹配度子评分；

19、根据各目标元素的版式布局匹配度子评分，计算得到所述版式布局匹配度。

20、在一种可能的实施方式中，所述基于字符识别时输出的字符置信度以及所述版式布局匹配度，确定所述文本数据的置信度评分，包括：

21、将所述文本数据按目标元素进行分割，得到至少一个待评分目标元素；

22、针对各目标元素，获取该目标元素的字符置信度、对应的版式布局匹配度子评分、以及预设的字符置信度权重和版式布局匹配度权重；

23、根据所述字符置信度权重和所述版式布局匹配度权重，对所述字符置信度和所述版式布局匹配度子评分进行加权求和计算，得到该目标元素的综合置信度子评分；

24、将各目标元素的综合置信度子评分进行加权平均，得到所述文本数据的置信度评分。

25、在一种可能的实施方式中，所述通过自然语言处理模型对所述文本数据进行纠错，包括：

26、提取所述文本数据中置信度评分低于预设阈值的目标元素；

27、定位所述目标元素在文档中的语义锚点，所述语义锚点包括所述目标元素的字段名、相邻目标元素或表头中的至少一种；

28、基于语义锚点的上下文信息，结合金融业务逻辑规则，推测所述目标元素的正确取值；

29、将推测出的正确取值替换所述目标元素中的错误值，得到纠错后的文本数据。

30、在一种可能的实施方式中，所述金融知识图谱包括金融业务实体、实体属性以及实体间的关联关系以及约束规则，所述基于金融知识图谱对所述结构化数据进行语义矛盾检测，确定矛盾字段及其矛盾风险等级，包括：

31、针对所述结构化数据中的字段，从所述金融知识图谱中查找各字段对应的目标实体及实体属性；

32、基于所述金融知识图谱中的关联关系以及约束规则，对所述目标实体以及实体属性进行一致性校验；

33、若校验结果为不一致，则根据不一致的实体属性定位所述结构化数据中对应的矛盾字段、矛盾类型，并根据预设的风险等级映射规则确定该矛盾的风险等级。

34、在一种可能的实施方式中，所述根据对应的矛盾风险等级，对所述矛盾字段进行修正，得到修正后的结构化数据并输出，包括：

35、若所述风险等级为低风险等级，则调用预设规则库，根据所述矛盾类型匹配对应的修正规则，得到修正值，并用所述修正值替换所述矛盾字段中的错误值，得到修正后的结构化数据；

36、若所述风险等级为高风险等级，则生成包含矛盾字段的原始值、建议修正值、矛盾类型描述以及修正建议的预警报告，并将所述预警报告推送至审核终端。

37、在一种可能的实施方式中，所述方法还包括：

38、当所述风险等级为高风险等级时，接收审核终端返回的经确认后的校正报告；

39、根据所述校正报告中的校正值，对所述矛盾字段进行修正，得到修正后的结构化数据并输出。

40、第二方面，本技术实施例提供一种基于多模态特征融合的文档处理装置，包括：

41、获取模块，用于获取待处理金融文档的文档图像；

42、处理模块，用于对所述文档图像进行字符识别，得到文本数据；

43、所述处理模块，还用于对所述文档图像进行图像特征分析，并对所述文本数据进行语义解析；

44、所述处理模块，还用于根据图像特征分析结果以及语义解析结果，确定所述文本数据的置信度评分；

45、所述处理模块，还用于当所述置信度评分低于预设阈值时，通过自然语言处理模型对所述文本数据进行纠错；

46、所述处理模块，还用于将所述图像特征分析结果与对纠错后的文本数据重新进行语义解析得到的解析结果进行融合，生成结构化数据；

47、所述处理模块，还用于基于金融知识图谱对所述结构化数据进行语义矛盾检测，确定矛盾字段及其矛盾风险等级；

48、所述处理模块，还用于根据对应的矛盾风险等级，对所述矛盾字段进行修正，得到修正后的结构化数据并输出。

49、在一种可能的实施方式中，所述装置还包括：计算模块、确定模块；

50、所述计算模块，用于基于所述语义解析结果中的版式结构信息与所述图像特征分析结果中的版式结构信息，计算版式布局匹配度；

51、确定模块，用于基于字符识别时输出的字符置信度以及所述版式布局匹配度，确定所述文本数据的置信度评分。

52、在一种可能的实施方式中，所述确定模块，还用于根据所述语义解析结果，确定所述文本数据中各目标元素分别对应的字段；

53、所述处理模块，还用于从所述图像特征分析结果中提取各目标元素在文档图像中的图像坐标区域；

54、所述确定模块，还用于基于预设金融文档模板，确定所述各目标元素对应的预设坐标区域；

55、所述计算模块，还用于针对每个目标元素，计算目标元素的图像坐标区域与所述预设坐标区域的距离偏差值；

56、所述处理模块，还用于将所述距离偏差值按照预设映射规则转换为版式布局匹配度子评分；

57、所述计算模块，还用于根据各目标元素的版式布局匹配度子评分，计算得到所述版式布局匹配度。

58、在一种可能的实施方式中，所述处理模块，还用于将所述文本数据按目标元素进行分割，得到至少一个待评分目标元素；

59、所述获取模块，还用于针对各目标元素，获取该目标元素的字符置信度、对应的版式布局匹配度子评分、以及预设的字符置信度权重和版式布局匹配度权重；

60、所述计算模块，还用于根据所述字符置信度权重和所述版式布局匹配度权重，对所述字符置信度和所述版式布局匹配度子评分进行加权求和计算，得到该目标元素的综合置信度子评分；

61、所述处理模块，还用于将各目标元素的综合置信度子评分进行加权平均，得到所述文本数据的置信度评分。

62、在一种可能的实施方式中，所述处理模块，还用于提取所述文本数据中置信度评分低于预设阈值的目标元素；

63、所述处理模块，还用于定位所述目标元素在文档中的语义锚点，所述语义锚点包括所述目标元素的字段名、相邻目标元素或表头中的至少一种；

64、所述处理模块，还用于基于语义锚点的上下文信息，结合金融业务逻辑规则，推测所述目标元素的正确取值；

65、所述处理模块，还用于将推测出的正确取值替换所述目标元素中的错误值，得到纠错后的文本数据。

66、在一种可能的实施方式中，所述处理模块，还用于针对所述结构化数据中的字段，从所述金融知识图谱中查找各字段对应的目标实体及实体属性；

67、所述处理模块，还用于基于所述金融知识图谱中的关联关系以及约束规则，对所述目标实体以及实体属性进行一致性校验；

68、所述确定模块，还用于若校验结果为不一致，则根据不一致的实体属性定位所述结构化数据中对应的矛盾字段、矛盾类型，并根据预设的风险等级映射规则确定该矛盾的风险等级。

69、在一种可能的实施方式中，所述处理模块，还用于若所述风险等级为低风险等级，则调用预设规则库，根据所述矛盾类型匹配对应的修正规则，得到修正值，并用所述修正值替换所述矛盾字段中的错误值，得到修正后的结构化数据；

70、所述处理模块，还用于若所述风险等级为高风险等级，则生成包含矛盾字段的原始值、建议修正值、矛盾类型描述以及修正建议的预警报告，并将所述预警报告推送至审核终端。

71、在一种可能的实施方式中，所述处理模块，还用于当所述风险等级为高风险等级时，接收审核终端返回的经确认后的校正报告；

72、所述处理模块，还用于根据所述校正报告中的校正值，对所述矛盾字段进行修正，得到修正后的结构化数据并输出。

73、第三方面，本技术实施例提供一种电子设备，包括：存储器，处理器；

74、所述存储器存储计算机执行指令；

75、所述处理器执行所述存储器存储的计算机执行指令，使得所述处理器执行如上第一方面和/或第一方面各种可能的实施方式。

76、第四方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如上第一方面和/或第一方面各种可能的实施方式。

77、第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如上第一方面和/或第一方面各种可能的实施方式。

78、本技术实施例提供的基于多模态特征融合的文档处理方法、装置及电子设备，通过获取待处理金融文档的文档图像并进行字符识别得到文本数据，对文档图像进行图像特征分析并对文本数据进行语义解析，根据图像特征分析结果以及语义解析结果确定文本数据的置信度评分，在置信度评分低于预设阈值时通过自然语言处理模型对文本数据进行纠错，将图像特征分析结果与对纠错后的文本数据重新进行语义解析得到的解析结果进行融合生成结构化数据，并基于金融知识图谱对结构化数据进行语义矛盾检测、确定矛盾字段及其矛盾风险等级且根据对应的矛盾风险等级对矛盾字段进行修正，能够综合利用图像特征、文本语义及领域知识对金融文档中的字段内容、结构关系和逻辑一致性进行校验以及修正，进而提高金融文档信息提取和逻辑校验的准确性，增强对异常、矛盾及潜在风险的识别能力，提升文档审核处理的效率。