基于语义匹配的跨行业数据平台融合方法及系统与流程

摘要: 本发明涉及数据融合,尤其涉及基于语义匹配的跨行业数据平台融合方法及系统。背景技术:1、随着企业信息化建设的不断深入,多源异构系统并存已成为常态,跨行业数据融合与...
基于语义匹配的跨行业数据平台融合方法及系统与流程

本发明涉及数据融合,尤其涉及基于语义匹配的跨行业数据平台融合方法及系统。

背景技术:

1、随着企业信息化建设的不断深入,多源异构系统并存已成为常态,跨行业数据融合与数据中台建设成为企业数字化转型的关键环节,在数据汇聚过程中,不同数据源中的字段名称存在显著的命名差异,同一业务实体在不同系统中可能使用完全不同的字段名称进行表述,跨行业场景下,不同行业对同一业务概念的术语表达差异更为显著,医疗行业的患者编号与制造业的工单编号虽均命名为编号,但其业务语义分属不同领域,为实现跨行业数据的统一视图,首先需要建立不同数据源字段名称之间的语义映射关系,现有字段映射工作通常采用字典匹配、规则映射或人工梳理的方式,将字段名称中各词素视为独立的词汇单元进行处理,通过词汇层面的重合程度来判定字段名称之间的对应关系。

2、然而,上述方法在应用于跨行业数据平台的字段名称匹配时,面临字段名称内部词素排列顺序与组合结构无法被有效感知的问题,字段名称的语义不仅取决于词素的词汇含义,还取决于词素的排列顺序及组合方式,描述的业务环节存在实质性差异,现有基于词袋模型的方法将字段名称中各词素视为无序集合,无法感知语义上的差异,基于编辑距离的方法虽能反映部分词序信息,但其对词序变化的度量缺乏对词素间依存修饰关系的建模能力,当字段名称中各词素的排列顺序发生交换或移位时,现有方法无法区分两种本质不同的情况,也难以识别词素不同但结构相似的字段名称之间的潜在语义关联,因此,如何在字段名称匹配过程中实现对词素排列顺序与组合结构差异的显式感知和准确量化,建立词序变化与语义变化之间的关联判别能力,是跨行业数据平台融合领域亟待解决的技术问题。

技术实现思路

1、本发明提供基于语义匹配的跨行业数据平台融合方法及系统,以解决上述背景技术中提出的问题。

2、为实现上述目的,本发明提供的基于语义匹配的跨行业数据平台融合方法,包括:

3、s1:根据行业专用分词词典,对跨行业数据平台中待匹配的第一字段名称和第二字段名称进行中文分词处理,得到第一词素序列和第二词素序列;

4、s2:对第一词素序列和第二词素序列进行多任务联合预训练,得到第一词序感知语义向量和第二词序感知语义向量,构建第一依存句法树和第二依存句法树,融合得到词序-结构联合向量,并评估两个依存句法树的结构差异指数;

5、s3:当第一词素序列与第二词素序列的词素重叠率超过预设阈值时,计算第一词素序列与第二词素序列中共有词素子集的相对差异指数,对结构差异指数和相对差异指数进行交叉耦合计算,得到词序差异度;

6、s4:根据词序差异度对词序-结构联合向量的相似度进行差异感知修正,并建立第一字段名称和第二字段名称之间的语义映射关系,完成跨行业数据融合。

7、为了解决上述问题,本发明还提供基于语义匹配的跨行业数据平台融合系统,所述系统包括:

8、分词处理模块,用于根据行业专用分词词典,对跨行业数据平台中待匹配的第一字段名称和第二字段名称进行中文分词处理,得到第一词素序列和第二词素序列;

9、词序结构感知模块,用于对第一词素序列和第二词素序列进行多任务联合预训练,得到第一词序感知语义向量和第二词序感知语义向量,构建第一依存句法树和第二依存句法树,融合得到词序-结构联合向量,并评估两个依存句法树的结构差异指数;

10、词序差异量化模块,用于当第一词素序列与第二词素序列的词素重叠率超过预设阈值时,计算第一词素序列与第二词素序列中共有词素子集的相对差异指数,对结构差异指数和相对差异指数进行交叉耦合计算,得到词序差异度;

11、差异修正融合模块,用于根据词序差异度对词序-结构联合向量的相似度进行差异感知修正,并建立第一字段名称和第二字段名称之间的语义映射关系,完成跨行业数据融合。

12、与现有技术相比,本发明具有以下有益效果:

13、1.本发明通过多任务联合预训练的词序不变性对比任务与扰动类型层级判别任务,使语义编码网络在训练过程中同时获得语义不变性编码能力和结构重组敏感能力,词序不变性对比任务通过对比学习迫使编码器对语义等价但词序不同的字段名称对输出语义接近的嵌入向量,而扰动类型层级判别任务迫使编码器的中间隐含层保留能够区分轻量级扰动与重量级扰动的结构敏感性特征,两个任务共享编码器同一组中间隐含层参数,通过梯度加权叠加迫使该参数同时向两个方向优化,向词序不变性方向优化以忽略不影响语义的表层顺序调整,向结构敏感性方向优化以保留判断结构重组是否改变语义的判别能力,这一机制使编码器能够准确识别“卷积神经网络”与“神经网络卷积”为语义等价仅词序不同,同时准确识别“从北京到上海”与“从上海到北京”为词序不同导致语义不同的本质差异,解决了现有方法无法区分两种情况的缺陷。

14、2.本发明通过交叉耦合计算机制,将相对词序差异指数与结构差异指数进行融合,其中相对词序差异指数通过距离量化共有词素在字段名称中的排列顺序变化程度,结构差异指数通过根节点一致性系数和子树同构比率量化依存句法树的深层结构变化程度,两者从不同维度刻画了词序变化的语义影响,在此基础上,以结构差异指数作为相对词序差异指数的置信度权重进行交叉耦合,当结构差异指数超过预定门限时,判定深层结构重组已反映语义差异,降低相对词序差异的贡献以避免重复计入,当结构差异指数低于预定门限时,判定仅为表层顺序调整,提高其贡献以强调顺序变化对语义的潜在影响,该机制使词序差异度的计算结果同时反映表层幅度与深层结构影响的双重信息,并为差异感知修正提供了明确的量化依据,解决了现有方法对词序差异评价黑盒化、不可解释的问题。

1.基于语义匹配的跨行业数据平台融合方法,其特征在于,所述方法包括:

2.如权利要求1所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述根据行业专用分词词典,对跨行业数据平台中待匹配的第一字段名称和第二字段名称进行中文分词处理,得到第一词素序列和第二词素序列,包括:

3.如权利要求1所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述对第一词素序列和第二词素序列进行多任务联合预训练,得到第一词序感知语义向量和第二词序感知语义向量,包括:

4.如权利要求3所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述执行多任务联合预训练,得到第一词序感知语义向量和第二词序感知语义向量,包括:

5.如权利要求4所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述构建第一依存句法树和第二依存句法树,融合得到词序-结构联合向量,并评估两个依存句法树的结构差异指数,包括:

6.如权利要求1所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述当第一词素序列与第二词素序列的词素重叠率超过预设阈值时,计算第一词素序列与第二词素序列中共有词素子集的相对差异指数,包括:

7.如权利要求6所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述对结构差异指数和相对差异指数进行交叉耦合计算,得到词序差异度,包括:

8.如权利要求1所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述根据词序差异度对词序-结构联合向量的相似度进行差异感知修正,包括:

9.如权利要求8所述的基于语义匹配的跨行业数据平台融合方法,其特征在于,所述建立第一字段名称和第二字段名称之间的语义映射关系,完成跨行业数据融合,包括:

10.基于语义匹配的跨行业数据平台融合系统,其特征在于,用于实现权利要求1所述的基于语义匹配的跨行业数据平台融合方法,所述系统包括: