基于图神经网络的异构表格关联关系自动构建方法及系统与流程

摘要: 本发明属于数据库数据集成与智能数据处理,尤其涉及一种基于图神经网络的异构表格关联关系自动构建方法及系统。背景技术:1、在企业数字化运营场景中,各类业务数据通常分...
基于图神经网络的异构表格关联关系自动构建方法及系统与流程

本发明属于数据库数据集成与智能数据处理,尤其涉及一种基于图神经网络的异构表格关联关系自动构建方法及系统。

背景技术:

1、在企业数字化运营场景中,各类业务数据通常分散存储于销售、库存、财务、供应链等不同的业务系统内,对应形成大量结构异构、字段命名规则不统一的业务表格。在执行跨表数据查询、数据集成治理、智能数据分析等操作时,必须依赖明确的表间关联关系(如外键映射关系、join 连接关系)作为数据关联的基础。

2、传统的多表关联关系构建方式,主要依赖数据工程师人工梳理业务逻辑,手动配置数据库外键约束,或在数据仓库中预先定义表间的映射关联。该方式不仅实施周期长、人力成本高,且难以适配企业业务快速迭代的现状:当新增业务表格、调整表结构或字段命名时,均需人工重新梳理并维护关联关系,极易出现关联配置滞后、映射关系错误等问题,无法支撑动态变化的企业数据环境。

3、现有技术中,也存在基于列名字符匹配、正则规则匹配的自动关联发现方案,但此类方案仅能识别列名完全一致、或数据格式符合预设规则的字段关联,无法处理 “客户id” 与 “付款方编号” 这类异名同义的语义关联场景,匹配准确率低,且易产生大量虚假关联;同时,这类方案仅能识别列与列之间的直接关联,无法挖掘表格间的多跳间接关联,难以构建完整的全局表格关联网络。

4、近年来,大语言模型在企业智能数据问答场景中得到广泛应用。大语言模型虽具备强大的自然语言理解与逻辑推理能力,但面对缺乏显式关联的孤立异构表格,无法自动推断表间的语义关联关系,难以准确执行复杂跨表查询推理,严重制约了智能数据问答的落地效果与结果可靠性。

5、因此,如何自动、高效、准确地构建异构表格之间的关联关系网络,摆脱对人工配置的依赖,同时适配智能数据查询的应用需求,是本领域技术人员亟待解决的技术问题。

技术实现思路

1、本发明的目的是针对上述存在的技术问题,提供基于图神经网络的异构表格关联关系自动构建方法及系统。

2、有鉴于此,本发明提供基于图神经网络的异构表格关联关系自动构建方法,包括如下步骤:

3、获取多张异构表格数据,分别提取各表格中各数据列的表头语义特征与数据分布特征;

4、基于所述表头语义特征与数据分布特征,计算不同表格各数据列之间的外键关联概率;

5、将每张异构表格抽象为图网络中的节点,根据不同表格间匹配列对的外键关联概率确定对应节点间的边权重,构建初始跨表语义关联图;

6、将所述初始跨表语义关联图输入图神经网络进行图结构推理,更新表格节点的全局语义表示并优化节点间边权重,输出优化后的多表关联关系网络。

7、进一步的,所述提取各表格中各数据列的表头语义特征,具体为:

8、采用预训练语言模型对表格列名进行语义向量化编码,生成对应列的表头语义特征向量。

9、进一步的,所述提取各表格中各数据列的数据分布特征,具体为:

10、对列内数值类数据提取取值范围、均值、方差、四分位值中的至少一种统计特征并编码,或对列内文本类数据提取正则格式模式特征并编码,生成对应列的数据分布特征向量。

11、进一步的,所述计算不同表格各数据列之间的外键关联概率,具体包括:

12、计算不同表格的表头语义特征向量之间的余弦相似度,将原始余弦相似度高于预设相似度阈值的列对筛选为潜在匹配列对;

13、基于潜在匹配列对的表头语义匹配度与数据分布匹配度进行加权计算,得到对应列对的外键关联概率。

14、进一步的,所述根据不同表格间匹配列对的外键关联概率确定对应节点间的边权重,具体为:

15、取两张表格间所有匹配列对外键关联概率的最大值,作为对应两个表格节点间的边权重。

16、进一步的,所述图神经网络采用图卷积网络或图注意力网络;

17、所述图结构推理具体为:通过多层网络迭代聚合各节点的多跳邻居节点特征信息,挖掘间接连接的表格节点间的潜在语义关联,更新每个表格节点的全局语义表示并优化节点间的边权重,过滤优化后权重低于预设阈值的虚假关联边。

18、进一步的,所述方法还包括跨表查询适配步骤:

19、接收到跨表查询请求时,基于所述优化后的多表关联关系网络,通过个性化pagerank算法提取与查询请求语义相关的局部表格子网络,生成对应跨表查询的联合语义上下文并输出。

20、基于图神经网络的异构表格关联关系自动构建系统,应用于上述方法,包括:

21、特征提取模块,用于获取多张异构表格数据,分别提取各表格中各数据列的表头语义特征与数据分布特征;

22、关联计算模块,用于基于所述表头语义特征与数据分布特征,计算不同表格各数据列之间的外键关联概率;

23、图构建模块,用于将每张异构表格抽象为图网络中的节点,根据不同表格间匹配列对的外键关联概率确定对应节点间的边权重,构建初始跨表语义关联图;

24、图推理模块,用于将所述初始跨表语义关联图输入图神经网络进行图结构推理,更新表格节点的全局语义表示并优化节点间边权重,输出优化后的多表关联关系网络。

25、进一步的,所述关联计算模块具体用于计算不同表格的表头语义特征向量之间的余弦相似度,根据预设相似度阈值筛选出潜在匹配列对,并基于潜在匹配列对的表头语义匹配度与数据分布匹配度加权计算外键关联概率;

26、所述图构建模块具体用于取两张表格间所有匹配列对外键关联概率的最大值,作为对应两个表格节点间的边权重。

27、进一步的,所述图推理模块采用的图神经网络为图卷积网络或图注意力网络,用于通过多层网络迭代聚合各节点的多跳邻居节点特征信息,挖掘间接连接的表格节点间的潜在语义关联,更新表格节点的全局语义表示并优化节点间边权重,过滤优化后权重低于预设阈值的虚假关联边。

28、进一步的,还包括查询适配模块,用于接收到跨表查询请求时,基于优化后的多表关联关系网络,通过个性化pagerank算法提取与查询请求语义相关的局部表格子网络,生成对应跨表查询的联合语义上下文并输出。

29、本发明的有益效果是:

30、本技术采用表头语义特征与数据分布特征双维度匹配的方式,突破了传统字符匹配的技术局限,可准确识别异名同义的列级语义关联;再通过图神经网络进行全局结构推理,对初始关联结果进行降噪优化,滤除低置信度的虚假关联,有效保障了关联关系的可靠性。

31、本方案的整个关联构建流程无需人工配置 join 关系或外键约束,可自动完成异构表格的特征提取、关联计算与网络更新。当企业新增业务表格或调整字段结构时,系统可快速自动完成关联关系的迭代维护,大幅降低了数据集成的人力成本与维护周期,能够适配企业业务表格结构频繁变动的应用场景,提升数据治理效率。

32、本技术利用图神经网络的多跳信息聚合能力,可基于已有的直接表间关联,推理得到表格之间的潜在间接关联,突破了传统方案仅能识别直接关联的局限,能够构建覆盖范围更广、业务逻辑更完整的全局多表关联关系网络,为复杂跨表数据分析提供完整的关联基础。

33、本技术结合个性化 pagerank 子图提取机制,可针对具体的跨表查询请求,快速筛选出与查询语义相关的局部表格关联网络,生成精准的联合语义上下文提供给大语言模型。该方式既解决了大语言模型无法自动识别表间关联的痛点,又避免了全量表格信息造成的上下文冗余,有效提升了智能数据问答的推理效率与结果准确性。