一种电力营销业务数据结构化抽取方法、装置、终端设备及存储介质与流程

本发明涉及数据结构化提取，尤其涉及一种电力营销业务数据结构化抽取方法、装置、终端设备及存储介质。

背景技术：

1、随着电力体制改革的深入推进和电力市场的逐步放开，电力营销业务文档的数量和复杂度持续增长，对文档信息的自动化处理能力提出了更高要求。

2、传统的电力营销文档处理方式主要依赖于深度学习的方法，利用预训练语言模型自动学习文本的语义表示，但是这种方式对表格中单元格、行、列之间的逻辑关系理解薄弱，文本与表格两类模态的信息难以有效融合，导致抽取结果不准确的问题。

技术实现思路

1、本发明提供了一种电力营销业务数据结构化抽取方法、装置、终端设备及存储介质，能解决现有技术的文档处理方式对表格中单元格、行、列之间的逻辑关系理解薄弱，文本与表格两类模态的信息难以有效融合，导致抽取结果不准确的问题。

2、本发明一实施例提供一种电力营销业务数据结构化抽取方法，包括：

3、获取待处理的电力营销业务文档；

4、从所述电力营销业务文档中提取得到文本数据和表格数据；

5、基于预设大语言模型，从所述文本数据中提取得到文本结构化信息；

6、将所述表格数据映射为图结构，并将所述图结构输入至预设图神经网络，生成规范化逻辑表单；

7、根据所述规范化逻辑表单以及若干预设专家网络，生成表格结构化信息；其中，每一预设专家网络用于处理不同结构特征的规范化逻辑表单；

8、根据所述文本结构化信息和表格结构化信息，构建关联记忆矩阵；

9、基于所述关联记忆矩阵和预设解码器，通过记忆增强的注意力机制生成三元组序列；

10、根据所述三元组序列生成所述电力营销业务文档的知识图谱。

11、进一步的，所述基于预设大语言模型，从所述文本数据中提取得到文本结构化信息，包括：

12、针对所述文本数据中的每一文本片段，将当前文本片段输入至所述预设大语言模型，以使所述预设大语言模型计算得到当前文本片段的业务相关性评分；

13、将所述业务相关性评分超过预设评分阈值的文本片段作为高相关性文本数据；

14、将所述高相关性文本数据输入至预设结构化信息抽取大模型，得到实体、属性和文本知识三元组。

15、进一步的，所述业务相关性评分的计算，包括：

16、获取电力营销业务语料库；

17、根据当前文本片段生成文本向量，并确定当前文本片段在所述电力营销业务文档中的位置信息和格式信息；

18、根据所述电力营销业务语料库，生成所述电力营销业务语料库中每一语料库样本的语料库样本向量；

19、根据所述文本向量和语料库样本向量，计算得到文本向量与所述电力营销业务语料库之间的语义相似度；

20、统计当前文本片段中出现的预设电力营销专业术语的个数，根据所述个数和当前文本片段，计算得到电力营销术语密度；

21、根据所述位置信息和格式信息，计算得到当前文本片段的结构重要性得分；

22、根据所述语义相似度、电力营销术语密度和结构重要性得分，计算得到所述业务相关性评分。

23、进一步的，所述根据所述规范化逻辑表单以及若干预设专家网络，生成表格结构化信息，包括：

24、根据所述规范化逻辑表单，生成全局特征向量；

25、将所述全局特征向量输入至预设门控网络，以使预设门控网络计算得到各预设专家网络的权重；

26、将权重最高的前k个预设专家网络，作为选定专家网络；其中，k为正整数且小于预设专家网络的个数；

27、将所述规范化逻辑表单分别输入至各选定专家网络，生成对应的表格知识三元组；

28、根据所有表格知识三元组和对应选定专家网络的权重，计算得到最终的表格知识三元组，作为所述表格结构化信息。

29、进一步的，基于所述关联记忆矩阵和预设解码器，通过记忆增强的注意力机制生成三元组序列，包括：

30、根据所述关联记忆矩阵和预设解码器，重复执行三元组生成操作，得到三元组序列；

31、其中，所述三元组生成操作包括：

32、获取当前输入数据，和所述预设解码器的当前键值缓存数据；其中，初始时的输入数据为预设起始符，初始时的键值缓存数据为空；

33、将当前输入数据输入至所述预设解码器，生成当前查询向量；

34、根据所述关联记忆矩阵和当前键值缓存数据，生成当前键矩阵和当前值矩阵；

35、根据当前查询向量对当前键矩阵进行注意力计算，得到当前注意力权重分布；

36、根据当前注意力权重分布和当前值矩阵，计算得到当前上下文向量；

37、根据当前上下文向量，生成当前三元组；

38、若当前三元组生成操作达到预设操作次数阈值，则根据当前三元组以及所有历史三元组，生成所述三元组序列；

39、否则，将当前三元组作为下一输入数据，同时对当前三元组进行编码，根据编码后的三元组对当前键值缓存数据进行更新。

40、进一步的，根据所述三元组序列生成所述电力营销业务文档的知识图谱，包括：

41、获取初始知识图谱；

42、从所述三元组序列中，抽取得到若干实体提及；

43、针对每一实体提及，计算当前实体提及与所述初始知识图谱中的每一实例节点之间的第一节点语义相似度；

44、从所有的第一节点语义相似度中，提取得到最大的第一节点语义相似度；

45、若最大的第一节点语义相似度超过预设相似度阈值，则将当前实体提及链接至最大的第一节点语义相似度所对应的实例节点上，得到所述电力营销业务文档的知识图谱；

46、否则，获取当前实体提及在所述电力营销业务文档中的上下文特征向量；

47、根据所有实体提及的上下文特征向量进行聚类，得到若干实体提及簇；

48、获取各实体提及簇的聚类中心所对应的中心实体提及，并根据所述中心实体提及生成候选概念特征向量；

49、计算各候选概念特征向量与所述初始知识图谱中的每一概念节点之间的第二节点语义相似度；

50、根据所述第二节点语义相似度和各候选概念特征向量，进行知识图谱的更新，得到电力营销业务文档的知识图谱。

51、进一步的，还包括：

52、获取用户的自然语言问题文本；

53、根据所述自然语言问题文本，生成结构化的图查询语句；

54、根据所述图查询语句，采用图推理算法从所述电力营销业务文档的知识图谱中，查询推导出所述自然语言问题文本的答案。

55、在上述方法项实施例的基础上，本发明对应提供了装置项实施例；

56、本发明提供了一种电力营销业务数据结构化抽取装置，包括：

57、文档获取模块、文本和表格数据提取模块、文本结构化信息抽取模块、逻辑表单生成模块、表格结构化信息抽取模块、关联记忆矩阵构建模块、三元组序列生成模块以及知识图谱构建模块；

58、所述文档获取模块，用于获取待处理的电力营销业务文档；

59、所述文本和表格数据提取模块，用于从所述电力营销业务文档中提取得到文本数据和表格数据；

60、所述文本结构化信息抽取模块，用于基于预设大语言模型，从所述文本数据中提取得到文本结构化信息；

61、所述逻辑表单生成模块，用于将所述表格数据映射为图结构，并将所述图结构输入至预设图神经网络，生成规范化逻辑表单；

62、所述表格结构化信息抽取模块，用于根据所述规范化逻辑表单以及若干预设专家网络，生成表格结构化信息；其中，每一预设专家网络用于处理不同结构特征的规范化逻辑表单；

63、所述关联记忆矩阵构建模块，用于根据所述文本结构化信息和表格结构化信息，构建关联记忆矩阵；

64、所述三元组序列生成模块，用于基于所述关联记忆矩阵和预设解码器，通过记忆增强的注意力机制生成三元组序列；

65、所述知识图谱构建模块，用于根据所述三元组序列生成所述电力营销业务文档的知识图谱。

66、在上述方法项实施例的基础上，本发明对应提供了一终端设备项实施例；

67、本发明提供了一种终端设备，包括处理器、存储器以及存储在上述存储器中且被配置为由上述处理器执行的计算机程序，上述处理器执行上述计算机程序时实现本发明任意一实施例上述的一种电力营销业务数据结构化抽取方法。

68、在上述方法项实施例的基础上，本发明对应提供了一存储介质项实施例；

69、本发明提供了一种存储介质，包括处理器、存储器以及存储在上述存储器中且被配置为由上述处理器执行的计算机程序，上述处理器执行上述计算机程序时实现本发明任意一实施例上述的一种电力营销业务数据结构化抽取方法。

70、本发明的实施例，具有如下有益效果：

71、本发明提供了一种电力营销业务数据结构化抽取方法、装置、终端设备及存储介质，上述方法包括：获取待处理的电力营销业务文档；从所述电力营销业务文档中提取得到文本数据和表格数据；基于预设大语言模型，从所述文本数据中提取得到文本结构化信息；将所述表格数据映射为图结构，并将所述图结构输入至预设图神经网络，生成规范化逻辑表单；根据所述规范化逻辑表单以及若干预设专家网络，生成表格结构化信息；其中，每一预设专家网络用于处理不同结构特征的规范化逻辑表单；根据所述文本结构化信息和表格结构化信息，构建关联记忆矩阵；基于所述关联记忆矩阵和预设解码器，通过记忆增强的注意力机制生成三元组序列；根据所述三元组序列生成所述电力营销业务文档的知识图谱。因此本发明首先将表格映射为结构图，并经由图神经网络进行编码，将原始表格提升为规范化逻辑表单，使得原始表格能够被计算机以结构化的逻辑语义形式理解。其次，本方案构建了关联记忆矩阵，在此基础上，通过记忆增强的注意力机制生成最终的知识三元组，这种注意力机制能够以当前解码状态为查询，跨越时间步与模态边界，同时关注文本与表格中的相关知识片段，自动完成跨模态信息的对齐、补全与融合。因此本发明克服了传统深度学习方法在表格理解和跨模态对齐上的固有局限，显著提升了电力营销业务数据结构化抽取结果的准确性。