基于SQL的数据血缘分析方法和装置与流程

摘要: 本发明涉及数据分析,尤其涉及一种基于sql的数据血缘分析方法和装置。背景技术:1、数据血缘采集与分析是数据治理和数据安全的重要组成部分,它能够清晰地展现数据的来...
基于SQL的数据血缘分析方法和装置与流程

本发明涉及数据分析,尤其涉及一种基于sql的数据血缘分析方法和装置。

背景技术:

1、数据血缘采集与分析是数据治理和数据安全的重要组成部分,它能够清晰地展现数据的来源、流向和处理过程,帮助用户理解数据之间的关系,从而提高数据质量、降低数据风险。然而,随着数据量的爆炸式增长和数据来源的多样化,传统的数据血缘采集方法已经难以满足实际需求。

2、现有数据血缘采集方案主要存在以下不足:

3、侵入式采集方式:许多方案采用hook方式在运行时采集数据血缘信息,这种方式需要修改原有代码,增加了开发和维护成本,并且可能影响系统性能和稳定性,列级支持也不完善。

4、成本高昂且定制化能力不足:一些开源的元数据工具(例如atlas或datahub)虽然能够提供丰富的数据源支持和血缘展示,但通常需要采购,成本较高,且难以满足特定业务场景的定制化需求,无法完全适配实际情况。

5、分布式数据处理能力不足:针对分布式数据的血缘采集方案,多采用多点部署agent的方式,然后进行数据汇总,统一进行血缘分析,这在处理多中心分布式数据、多类型多系统任务、异构数据源时,效率低下且难以满足需求。

6、目前,尚缺乏一种能够有效处理上述复杂场景的数据血缘采集方案。因此,迫切需要一种能够克服上述缺陷,高效、准确地采集复杂数据环境下数据血缘关系的方法。

技术实现思路

1、有鉴于此,本发明提供一种基于sql的数据血缘分析方法和装置,以解决上述提及的至少一个问题。

2、为了实现上述目的,本发明采用以下方案:

3、根据本发明的第一方面,本发明实施例提供了一种基于sql的数据血缘分析方法,所述方法包括:从多个不同的数据源中采集数据的血缘相关信息;对所述血缘相关信息中的sql语句进行解析生成抽象语法树,并通过分析所述抽象语法树提取表级血缘关系、字段级血缘关系以及对应的任务信息;将提取的所述表级血缘关系、所述字段级血缘关系以及所述任务信息以表的形式存储于关系型数据库中,所述表级血缘关系和所述字段级血缘关系中包括当前表和子血缘关系表。

4、作为本发明的一个实施例,上述方法中从多个不同的数据源中采集数据的血缘相关信息之前,所述方法还包括:识别多个不同的数据源中分库分表的区分字段;按照预设规则对所述区分字段进行字符串替换,使得采集的血缘相关信息属于同一个逻辑表。

5、作为本发明的一个实施例,上述方法中从多个不同的数据源中采集数据的血缘相关信息之前,所述方法还包括:识别多个不同的数据源所属的数据中心;根据预设规则判断是否需要区分数据中心位置:若不需要区分数据中心位置,则对来自不同数据中心的相同逻辑表的数据进行逻辑归一化处理,统一其表示形式,使得采集的血缘相关信息仅显示数据之间的逻辑衍生关系,而不考虑其物理存储位置;若需要区分数据中心位置,则在血缘相关信息中保留每个数据源所属的数据中心的位置信息,使得采集的血缘相关信息能够显示跨数据中心的数据衍生关系。

6、作为本发明的一个实施例,上述方法中对所述血缘相关信息中的sql语句进行解析生成抽象语法树,并通过分析所述抽象语法树提取表级血缘关系、字段级血缘关系包括:对所述血缘相关信息中的hive sql语句进行解析并生成抽象语法树;对所述抽象语法树进行优化以去除无用token;遍历所述抽象语法树以提取上游表名、下游表名和完整的字段信息;基于所述上游表名和下游表名构建表级血缘关系,并基于所述完整的字段信息构建字段级血缘关系。

7、作为本发明的一个实施例,上述方法中遍历所述抽象语法树以提取完整的字段信息包括:遍历所述抽象语法树时,根据所述抽象语法树中分隔符和语义将字段信息以表名加字段名为键,以字段源树形为值存储于字段图谱中;所述基于所述完整的字段信息构建字段级血缘关系包括:根据所述字段图谱中字段间的关系构建字段级血缘关系。

8、作为本发明的一个实施例,上述方法还包括:对采集到的血缘相关信息进行有效性验证;根据有效性验证结果对存储于关系型数据库中所对应的表级血缘关系和字段级血缘关系添加有效性标签。

9、根据本发明的第二方面,本发明实施例提供了一种基于sql的数据血缘分析装置,所述装置包括:信息采集单元,用于从多个不同的数据源中采集数据的血缘相关信息;关系提取单元,用于对所述血缘相关信息中的sql语句进行解析生成抽象语法树,并通过分析所述抽象语法树提取表级血缘关系、字段级血缘关系以及对应的任务信息;存储单元,用于将提取的所述表级血缘关系、所述字段级血缘关系以及所述任务信息以表的形式存储于关系型数据库中,所述表级血缘关系和所述字段级血缘关系中包括当前表和子血缘关系表。

10、作为本发明的一个实施例,上述装置还包括:区分字段识别单元,用于识别多个不同的数据源中分库分表的区分字段;字段替换单元,用于按照预设规则对所述区分字段进行字符串替换,使得采集的血缘相关信息属于同一个逻辑表。

11、作为本发明的一个实施例,上述装置还包括:数据中心识别单元,用于识别多个不同的数据源所属的数据中心;区分判断单元,用于根据预设规则判断是否需要区分数据中心位置:归一化处理单元,用于当不需要区分数据中心位置时,对来自不同数据中心的相同逻辑表的数据进行逻辑归一化处理,统一其表示形式,使得采集的血缘相关信息仅显示数据之间的逻辑衍生关系,而不考虑其物理存储位置;位置信息保留单元,用于当需要区分数据中心位置时,在血缘相关信息中保留每个数据源所属的数据中心的位置信息,使得采集的血缘相关信息能够显示跨数据中心的数据衍生关系。

12、作为本发明的一个实施例,上述关系提取单元包括:解析模块,用于对所述血缘相关信息中的hive sql语句进行解析并生成抽象语法树;优化模块,用于对所述抽象语法树进行优化以去除无用token;遍历模块,用于遍历所述抽象语法树以提取上游表名、下游表名和完整的字段信息;构建模块,用于基于所述上游表名和下游表名构建表级血缘关系,并基于所述完整的字段信息构建字段级血缘关系。

13、作为本发明的一个实施例,上述遍历模块遍历所述抽象语法树以提取完整的字段信息包括:遍历所述抽象语法树时,根据所述抽象语法树中分隔符和语义将字段信息以表名加字段名为键,以字段源树形为值存储于字段图谱中;所述构建模块基于所述完整的字段信息构建字段级血缘关系包括:根据所述字段图谱中字段间的关系构建字段级血缘关系。

14、作为本发明的一个实施例,上述装置还包括:验证单元,用于对采集到的血缘相关信息进行有效性验证;标签添加单元,用于根据有效性验证结果对存储于关系型数据库中所对应的表级血缘关系和字段级血缘关系添加有效性标签。

15、根据本发明的第三方面,本发明实施例还提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,处理器执行所述计算机程序时实现上述方法的步骤。

16、根据本发明的第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。

17、根据本发明的第五方面,本发明实施例还提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述方法的步骤。

18、本发明所提出的基于sql的数据血缘分析方法和装置,不依赖于hook插件,避免了对原有代码的侵入式修改,降低了系统维护成本和风险,提高了系统的稳定性。另外,本发明通过对分库分表的区分字段进行字符串替换的归一化处理,可以确保对分库分表采集的是同一张逻辑表的数据血缘信息,提高了数据血缘分析的准确性。而且,本发明还能够灵活处理多数据中心的数据,根据用户需求选择逻辑归一处理或保留物理位置信息,既能简化数据血缘关系的展示,又能满足对数据位置敏感的场景需求,增强了数据血缘分析的适用性。