项目数据语义对齐方法、装置、设备、介质及产品与流程

本发明涉及电力系统项目数据，尤其涉及一种项目数据语义对齐方法、装置、设备、介质及产品。

背景技术：

1、在电力系统运行领域中，由于业务系统建设时间和目标不同，导致项目数据在存储与管理过程中存在明显的异构性，主要表现为：一是字段命名不统一，如建设内容与工程描述指代相似信息；二是数据结构多样化，既有关系型数据库的结构化数据，也有日志、文档等半结构化数据；三是字段描述粒度差异明显，甚至存在语义冗余与歧义。

2、现有技术中实现数据对齐和统一的方法主要包括：静态字段映射方法通常通过人工规则匹配不同系统间的字段名称来建立映射关系；文本相似度方法依靠对字段名称或示例值的浅层文本相似度进行比对；传统schema对齐算法依赖于数据库结构对称性较强的场景，试图通过模式匹配实现不同数据源之间的字段对应。但静态字段映射和文本相似度方法无法有效捕捉字段间的深层语义关系，且静态字段映射方法在面对不断扩展和演变的业务系统时，需要频繁人工更新和维护，缺乏自动适配能力；传统schema对齐算法无法处理半结构化或非结构化数据。因此，现有技术难以满足电力系统项目数据的语义对齐需求。

技术实现思路

1、本发明提供一种项目数据语义对齐方法、装置、设备、介质及产品，基于多个业务系统的项目数据构建项目属性语义图并利用图嵌入与聚类机制进行语义对齐，实现字段语义的一致性与标准化，以满足电力系统项目数据的语义对齐需求。

2、为了实现上述目的，本发明实施例提供了一种项目数据语义对齐方法，包括：

3、获取电力系统中各个业务系统的项目数据，对所述项目数据进行字段提取和预处理得到所述项目数据的目标字段集合；

4、根据所述目标字段集合构建所述项目数据的项目属性语义图；其中，所述项目属性语义图的节点为所述目标字段集合的字段，所述项目属性语义图的边包括所述节点之间的语义边、值分布边和上下文边；

5、采用图嵌入算法将所述项目属性语义图的各节点转换为对应的字段向量，得到所述项目数据的字段向量集合；

6、对所述字段向量集合进行语义聚类，确定聚类后每一组字段的标准字段名称生成所述项目数据的标准字段映射表，以完成所述项目数据的语义对齐。

7、作为上述方案的改进，所述获取电力系统中各个业务系统的项目数据，对所述项目数据进行字段提取和预处理得到所述项目数据的目标字段集合，包括：

8、获取电力系统中各个业务系统的项目数据，对所述项目数据进行字段提取得到所述项目数据的字段样本集合；

9、对所述字段样本集合中的字段样本进行词法归一化处理，生成所述项目数据的归一化字段集合；

10、对归一化字段集合中的字段进行分词和命名实体识别，生成所述项目数据的字段实体集合；

11、对所述字段实体集合中的字段实体进行元数据提取得到所述项目数据的目标字段集合。

12、作为上述方案的改进，所述根据所述目标字段集合构建所述项目数据的项目属性语义图，包括：

13、将所述目标字段集合的每一字段建模为对应节点，得到节点集合；

14、根据所述字段之间的语义关系、字段值分布关系和共现关系构建对应节点的语义边、值分布边和上下文边，得到边集合；

15、根据所述边集合中边的相似度计算对应的边权重，得到邻接矩阵；

16、根据所述节点集合、所述边集合和所述邻接矩阵生成所述项目数据的项目属性语义图。

17、作为上述方案的改进，所述根据所述边集合中边的相似度计算对应的边权重，得到邻接矩阵，包括：

18、采用语义相似度算法计算所述字段之间的相似度得到对应语义边的语义相似度；

19、采用值分布相似度算法计算所述字段之间的相似度得到对应值分布边的值分布相似度；

20、采用上下文相似度算法计算所述字段之间的相似度得到对应上下文边的上下文相似度；

21、对所述语义相似度、所述值分布相似度和所述上下文相似度进行加权组合生成对应的边权重，得到邻接矩阵。

22、作为上述方案的改进，所述对所述字段向量集合进行语义聚类，确定聚类后每一组字段的标准字段名称生成所述项目数据的标准字段映射表，以完成所述项目数据的语义对齐，包括：

23、将字段向量集合进行输入聚类模型，根据所述字段向量集合中每一字段向量的语义相似性进行语义聚类；

24、选择聚类后每一组字段中出现频次最高或语义最明确的名称作为聚类后每一组字段的标准字段名称，生成所述项目数据的标准字段映射表，以完成所述项目数据的语义对齐。

25、作为上述方案的改进，在生成所述项目数据的标准字段映射表后，所述方法还包括：

26、若获取新的项目数据，则根据所述标准字段映射表对新的项目数据中的字段进行重命名与归一化处理。

27、为了实现上述目的，本发明实施例提供了一种项目数据语义对齐装置，包括：

28、字段集合获取模块，用于获取电力系统中各个业务系统的项目数据，对所述项目数据进行字段提取和预处理得到所述项目数据的目标字段集合；

29、语义属性构建模块，用于根据所述目标字段集合构建所述项目数据的项目属性语义图；其中，所述项目属性语义图的节点为所述目标字段集合的字段，所述项目属性语义图的边包括所述节点之间的语义边、值分布边和上下文边；

30、字段向量转换模块，用于采用图嵌入算法将所述项目属性语义图的各节点转换为对应的字段向量，得到所述项目数据的字段向量集合；

31、字段向量聚类模块，用于对所述字段向量集合进行语义聚类，确定聚类后每一组字段的标准字段名称生成所述项目数据的标准字段映射表，以完成所述项目数据的语义对齐。

32、为了实现上述目的，本发明实施例对应提供了一种项目数据语义对齐设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述项目数据语义对齐方法。

33、为了实现上述目的，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述项目数据语义对齐方法。

34、为实现上述目的，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品被存储在存储介质中，所述程序产品被至少一个处理器执行以实现上述的项目数据语义对齐方法的步骤。

35、与现有技术相比，本发明实施例公开的一种项目数据语义对齐方法、装置、设备、介质及产品，通过获取电力系统中各个业务系统的项目数据，对所述项目数据进行字段提取和预处理得到所述项目数据的目标字段集合；根据所述目标字段集合构建所述项目数据的项目属性语义图；其中，所述项目属性语义图的节点为所述目标字段集合的字段，所述项目属性语义图的边包括所述节点之间的语义边、值分布边和上下文边；采用图嵌入算法将所述项目属性语义图的各节点转换为对应的字段向量，得到所述项目数据的字段向量集合；对所述字段向量集合进行语义聚类，确定聚类后每一组字段的标准字段名称生成所述项目数据的标准字段映射表，以完成所述项目数据的语义对齐。能够基于多个业务系统的项目数据构建项目属性语义图并利用图嵌入与聚类机制进行语义对齐，实现字段语义的一致性与标准化，以满足电力系统项目数据的语义对齐需求。