数据血缘关系图谱的构建方法及装置与流程

本申请实施例涉及计算机领域，具体而言，涉及一种数据血缘关系图谱的构建方法及装置。

背景技术：

1、相关技术中数据血缘解析方法主要依赖于对数据仓库中结构化脚本的解析，通过提取其中的结构化查询语言（structured query language，简称为sql）语句，结合词法、语法分析以及元数据补全，构建表级或字段级的数据流向图谱数仓调度日志或脚本库，存在数据源覆盖不足的问题，导致构建的数据血缘关系图谱精度较低。

技术实现思路

1、本申请实施例提供了一种数据血缘关系图谱的构建方法及装置，以至少解决相关技术中构建的数据血缘关系图谱精度较低的技术问题。

2、根据本申请实施例的一个方面，提供了一种数据血缘关系图谱的构建方法，包括：并行执行n个采集任务，分别从n个异构的数据加工源系统中获取数据加工逻辑载体，得到初始数据源文件，其中，所述数据加工逻辑载体用于存储数据处理逻辑的信息，所述n是大于1的自然数；对所述初始数据源文件执行第一处理操作，以构建所述初始数据源文件的结构化提示词集合，其中，所述结构化提示词集合中的结构化提示词用于表示单个初始数据源文件与关联的元数据上下文之间的关系；将所述结构化提示词集合输入至预先训练的大语言模型中，以通过所述大语言模型对所述结构化提示词集合执行第二处理操作，输出结构化的字段级血缘关系对集合；基于所述字段级血缘关系对集合构建目标数据血缘关系图谱。

3、根据本申请实施例的另一个方面，还提供了一种数据血缘关系图谱的构建装置，包括：第一获取模块，用于并行执行n个采集任务，分别从n个异构的数据加工源系统中获取数据加工逻辑载体，得到初始数据源文件，其中，所述数据加工逻辑载体用于存储数据处理逻辑的信息，所述n是大于1的自然数；第一执行模块，用于对所述初始数据源文件执行第一处理操作，以构建所述初始数据源文件的结构化提示词集合，其中，所述结构化提示词集合中的结构化提示词用于表示单个初始数据源文件与关联的元数据上下文之间的关系；第一确定模块，用于将所述结构化提示词集合输入至预先训练的大语言模型中，以通过所述大语言模型对所述结构化提示词集合执行第二处理操作，输出结构化的字段级血缘关系对集合；第一构建模块，用于基于所述字段级血缘关系对集合构建目标数据血缘关系图谱。

4、根据本申请实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，所述计算机程序被设置为被处理器执行时执行上述任一项方法实施例中的步骤。

5、根据本申请实施例的又一个方面，提供一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述任一项方法实施例中的步骤。

6、根据本申请实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述任一项方法实施例中的步骤。

7、通过本申请，由于通过并行执行n个采集任务，能够从n个异构的数据加工源系统中高效获取存储有数据处理逻辑的数据加工逻辑载体，实现了多源数据的并行采集与汇聚；通过构建表示初始数据源文件与关联元数据上下文关系的结构化提示词集合，使大语言模型能够基于丰富的上下文信息进行深度语义理解，从而精准执行第二处理操作并输出结构化的字段级血缘关系对集合；最终基于该集合可以构建数据更加全面、更加准确的目标数据血缘关系图谱。因此，可以解决相关技术中构建的数据血缘关系图谱精度较低的技术问题，达到提高数据血缘关系图谱的准确性的技术效果。

1.一种数据血缘关系图谱的构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，并行执行n个采集任务，分别从异构的数据加工源系统中获取数据加工逻辑载体，得到初始数据源文件，包括：

3.根据权利要求1所述的方法，其特征在于，所述第一处理操作包括：

4.根据权利要求3所述的方法，其特征在于，利用所述数据处理语句集合和所述结构化元数据集合生成所述结构化提示词集合，包括：

5.根据权利要求1所述的方法，其特征在于，所述第二处理操作包括：

6.根据权利要求5所述的方法，其特征在于，所述字段级血缘关系对集合中包括的字段级血缘关系对中包括源端标识符、目标端标识符以及关系指示符，其中，

7.根据权利要求1所述的方法，其特征在于，基于所述字段级血缘关系对集合构建目标数据血缘关系图谱，包括：

8.一种数据血缘关系图谱的构建装置，其特征在于，包括：

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现权利要求1至7任一项中所述的方法的步骤。

10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项中所述的方法的步骤。