一种基于知识图谱的多源异构数据集成系统的制作方法

摘要: 本发明涉及数据集成,尤其涉及一种基于知识图谱的多源异构数据集成系统。背景技术:1、在数据集成技术领域,不同业务平台和数据库持续产生大量数据。由于数据来源、存储结...
一种基于知识图谱的多源异构数据集成系统的制作方法

本发明涉及数据集成,尤其涉及一种基于知识图谱的多源异构数据集成系统。

背景技术:

1、在数据集成技术领域,不同业务平台和数据库持续产生大量数据。由于数据来源、存储结构、字段定义、实体名称及关系表达方式存在差异,同一对象在不同数据来源中往往具有不同的数据形式。现有技术通常采用知识图谱组织多源异构数据,通过实体识别、属性匹配及实体对齐,实现不同数据来源之间的信息关联与整合。

2、现有知识图谱数据集成方法通常依据实体名称、属性内容及图结构特征计算跨源实体相似程度,利用图神经网络传播和聚合实体邻域信息,以辅助判断不同数据来源中的实体是否对应同一对象。对于关联关系复杂的数据,还可结合邻接关系、关系类型及局部连接结构提高实体匹配能力。

3、当不同数据来源存在实体名称差异、属性缺失、关系表达不一致及局部图结构变化时,现有方法容易受到异常关系和不一致数据干扰。图结构传播过程中,局部错误信息还可能向关联实体扩散,造成实体表征偏差,引发跨源实体误匹配或漏匹配。实体对应关系出现偏差后,还会影响节点数据归并及关系整合,降低统一知识图谱的准确性。

4、因此,如何提供一种基于知识图谱的多源异构数据集成系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于知识图谱的多源异构数据集成系统,本发明利用改进型rdgcn、跨源节点锚定及关系回传机制,实现多源实体对齐、实体关系归集与统一知识图谱构建,具备实体匹配准确度高、局部结构干扰小和数据集成可靠性高的优点。

2、根据本发明实施例的一种基于知识图谱的多源异构数据集成系统,包括以下模块:

3、源域图构建模块,用于采集多源异构数据,按照数据来源分别构建源域实体图与源域关系对偶图;

4、跨源节点锚定模块,用于从不同源域实体图中确定待对齐节点对,以与两侧待对齐节点关联且已建立跨源对应关系的节点形成锚定节点对;

5、关系回传同位模块,用于构建改进型rdgcn,在实体图传播结构与关系对偶图传播结构之间接入关系回传通路,按待对齐节点至对应锚定节点的关系连接次序配对两侧关系节点,形成跨源关系同位序列;

6、跨源失配截断模块,用于从锚定节点侧沿跨源关系同位序列逐级比对朝向待对齐节点侧连接的实体节点,在首次跨源失配实体节点处截断源域实体图传播;

7、表征定向传播模块,用于从各待对齐节点沿源域实体图正向传播节点表征,在截断实体节点处停止传播,从各锚定节点关联的关系节点沿源域关系对偶图反向传播关系表征,在截断实体节点对应的关系节点处停止传播;

8、关系回传对齐模块,用于经关系回传通路将关系表征传递至截断实体节点,以关系表征更新节点表征,比较两侧更新后的节点表征,确定待对齐节点对的跨源对应关系;

9、统一图谱构建模块,用于依据跨源对应关系将待对齐节点对应的数据归入统一节点,按源域实体图的关系连接建立统一节点间关系,形成统一知识图谱。

10、可选的,源域图构建模块具体包括:

11、按照数据来源划分多源异构数据,将同一数据来源中的数据对象映射为实体节点,将数据对象之间的关联映射为实体关系;

12、以实体节点建立节点集合,以实体关系建立节点间连接,形成对应数据来源的源域实体图;

13、将源域实体图中的实体关系转换为关系节点,记录各关系节点对应实体关系所连接的实体节点;

14、在对应实体关系连接同一实体节点的关系节点之间建立连接,形成对应源域实体图的源域关系对偶图。

15、可选的,跨源节点锚定模块具体包括:

16、从不同源域实体图中筛选尚未建立跨源对应关系的实体节点,对齐实体节点中语义一致的属性,分别计算实体节点名称相似度与属性值相似度;

17、依据实体节点名称相似度与属性值相似度对不同源域实体图中的实体节点进行双向排序,将互为首位的两个实体节点组成待对齐节点对;

18、从待对齐节点对中的两个待对齐节点分别沿对应源域实体图中的实体关系逐级检索,获取已经建立跨源对应关系的关联节点;

19、按照已有跨源对应关系匹配两个源域实体图中的关联节点,将相互对应的两个关联节点组成锚定节点对。

20、可选的,关系回传同位模块具体包括:

21、保留rdgcn的实体图传播结构、关系对偶图传播结构与双图交互结构,以源域关系对偶图替换rdgcn按照关系类型构建的关系对偶图;

22、取得各实体关系两端实体节点的节点表征,按照实体关系的连接方向拼接节点表征,生成对应关系节点的初始表征并输入关系对偶图传播结构;

23、在关系对偶图传播结构的关系表征输出端增设独立于双图交互结构的单向支路,将单向支路接入实体图传播结构的节点表征更新端,形成关系回传通路。

24、可选的,关系回传同位模块中跨源关系同位序列的形成包括如下步骤:

25、从两个待对齐节点分别沿对应源域实体图逐级追踪至对应锚定节点,记录追踪经过的实体关系,按照待对齐节点至锚定节点的连接方向排列实体关系;

26、依据实体关系与关系节点之间的对应关系,依次定位两侧实体关系对应的关系节点,形成两个待对齐节点分别至对应锚定节点的关系节点次序;

27、分别以两个锚定节点作为两侧关系节点次序的配对起点,按照朝向待对齐节点的关系节点序位逐级配对;

28、按照关系节点的配对先后排列配对关系节点,形成跨源关系同位序列。

29、可选的,跨源失配截断模块具体包括:

30、从跨源关系同位序列的锚定节点侧取得首个配对关系节点,分别定位两侧配对关系节点朝向待对齐节点侧连接的实体节点;

31、查询两侧实体节点之间的跨源对应关系,已建立跨源对应关系时,沿跨源关系同位序列取得下一配对关系节点,继续定位朝向待对齐节点侧连接的实体节点;

32、首次取得未建立跨源对应关系的两侧实体节点时,在对应实体节点处截断各自源域实体图传播。

33、可选的,表征定向传播模块中节点表征的正向传播包括如下步骤:

34、沿待对齐节点至截断实体节点之间的实体关系确定参与传播的实体节点次序;

35、调用改进型rdgcn的关系对偶图传播结构输出的对应关系表征,结合相邻实体节点的节点表征计算相邻实体节点之间的注意力系数;

36、按照注意力系数将节点表征聚合至朝向截断实体节点侧的相邻实体节点,沿实体节点次序逐级更新节点表征;

37、节点表征更新至截断实体节点后终止实体图传播,保留截断实体节点的节点表征。

38、可选的,表征定向传播模块中关系表征的反向传播包括如下步骤:

39、以跨源关系同位序列中靠近锚定节点的首个配对关系节点分别作为两侧反向传播起点,将首次出现两侧实体节点未建立跨源对应关系时的配对关系节点分别作为两侧反向传播终点;

40、从两侧反向传播起点分别沿源域关系对偶图朝对应反向传播终点保留关系节点连接,屏蔽传播范围之外的连接;

41、从反向传播起点沿保留的关系节点连接传递关系表征,利用相邻关系节点的关系表征逐级更新当前关系表征;

42、关系表征到达反向传播终点后停止传递,保留反向传播终点更新后的关系表征。

43、可选的,关系回传对齐模块具体包括:

44、将截断实体节点对应的关系节点的关系表征经关系回传通路传递至对应截断实体节点;

45、分别对传入的关系表征与截断实体节点的节点表征执行特征映射,将两类表征转换至相同特征维度;

46、融合映射后的关系表征与节点表征,对融合结果执行非线性变换,更新两侧截断实体节点的节点表征;

47、对两侧更新后的节点表征执行同维特征比较,汇集各维特征差异,形成节点表征差异;

48、根据节点表征差异判定两个截断实体节点的跨源匹配状态,将跨源匹配状态关联至对应待对齐节点对,确定待对齐节点对的跨源对应关系。

49、可选的,统一图谱构建模块具体包括:

50、按照跨源对应关系关联不同数据来源中的待对齐节点,将对应节点携带的数据归集至统一节点;

51、记录各源域实体节点对应的统一节点,将未建立跨源对应关系的实体节点分别映射为统一节点;

52、遍历各源域实体图中的实体关系,将实体关系两端的源域实体节点替换为对应统一节点,对连接同一对统一节点且关系名称与连接方向一致的实体关系进行归集;

53、以统一节点建立节点集合,以归集后的实体关系与分别保留的实体关系建立节点间连接,形成统一知识图谱。

54、本发明的有益效果是:

55、(1)本发明通过构建源域实体图与源域关系对偶图,结合待对齐节点和锚定节点之间的关系连接进行跨源配对,能够同时利用实体属性信息与局部关系结构信息,提高多源异构数据中实体对齐的准确性。

56、(2)本发明通过改进型rdgcn设置关系回传通路,在首次出现跨源失配的位置截断实体图传播,限定节点表征与关系表征的传播范围,能够减少异常关系和局部结构差异造成的信息扩散,提高跨源匹配的可靠性。

57、(3)本发明利用关系表征更新截断实体节点的节点表征,依据更新结果确定跨源对应关系,在此基础上完成节点数据与实体关系归集,能够减少错误匹配对后续数据融合的影响,提高统一知识图谱的数据一致性和集成质量。