基于数据血缘的数据任务分析方法、系统及介质与流程

技术特征：
1.一种基于数据血缘的数据任务分析方法，其特征在于，包括：步骤s1：初始化执行数据任务时，任务分析模块分析数据任务中的数据血缘关系，同时建立数据任务血缘映射关系并保存到数据任务血缘映射库中；步骤s2：映射关系展示模块从数据任务血缘映射库查询数据任务，通过数据任务血缘映射关系显示数据任务图中所有关联的数据库、表、字段，并根据数据任务血缘映射关系标记任务与血缘之间的映射情况；步骤s3：当元数据信息变更，执行数据任务时，任务分析模块在数据任务血缘映射库中比对当前任务的数据任务血缘映射关系，并对变更的内容进行任务血缘变更标记；再根据数据血缘关系与数据任务血缘映射关系同步变更相关的数据任务信息，并进行任务血缘变更标记；步骤s4：映射关系展示模块根据任务血缘变更标记分类展示数据任务信息，在同一个数据任务流图中对受到影响的作业进行高亮展示。2.根据权利要求1所述的基于数据血缘的数据任务分析方法，其特征在于，所述步骤s1包括：输入：数据任务信息ti；输出：数据任务ti的血缘映射关系ri，数据任务ti的任务血缘变更标记；步骤s1.1：任务分析模块通过数据任务信息ti读取任务中包含的所有数据操作集合tq；步骤s1.2：针对tq中每一个数据操作，获取数据血缘关系，对所有数据操作源端标记ts，数据操作目标端标记td，得到数据操作源的库tsd、表tst、字段tsc集合ts＝{tsd,tst,tsc}以及数据目标端的库tdd、表tdt、字段tdc集合ts＝{tdd,tdt,tdc}；步骤s1.3：通过数据任务信息ti获取数据任务编号td,将ts、td关联，得到临时映射关系rt＝{td,ts,td}；将对数据库d、表t、字段c定义标识常量s＝{d,t,c}展开后结合数据任务编号td建立数据任务ti的血缘映射关系ri＝{s,ti,td,ts}；步骤s1.4：任务分析模块将血缘映射关系ri保存到数据任务血缘映射库中。3.根据权利要求1所述的基于数据血缘的数据任务分析方法，其特征在于，所述步骤s3包括：输入：数据任务信息ti；输出：数据任务ti的血缘映射关系ri；数据任务ti的任务血缘变更标记集合rc；步骤s3.1：任务分析模块通过数据任务信息ti获取建立数据任务ti的血缘映射关系rn＝{s,ti,tnd,tns}，并从数据任务血缘映射库中获取已存在的数据任务血缘映射关系ri＝{s,ti,tid,tis}；步骤s3.2：针对rn中的每一个源端和目的端进行遍历，并依照判断加入任务血缘变更标记集合rc；步骤s3.3：将得到的加入任务血缘变更标记集合rc保存到数据任务血缘映射库中。4.根据权利要求3所述的基于数据血缘的数据任务分析方法，其特征在于，所述步骤s3.2具体包括：
步骤s3.2.1：针对rn中的每一个源端和目的端进行遍历，若tnd＝tid，则判断tns是否存在于ri中，若不存在，则定义目的端变更cs并新建任务血缘变更标记项ri＝{s,ti,tnd,tns,cs}，加入任务血缘变更标记集合rc，若存在则继续；步骤s3.2.2：若tns＝tis，则判断tnd是否存在于ri中，若不存在，则定义源端变更cd新建任务血缘变更标记项ri＝{s,ti,tnd,tns,cd}，加入任务血缘变更标记集合rc，若存在则继续；步骤s3.2.3：若tnd！＝tid并且tns！＝tis，则定义新增数据任务血缘映射关系cn，新建任务血缘变更标记项ri＝{s,ti,tnd,tns,cn}，加入任务血缘变更标记集合rc。5.一种基于数据血缘的数据任务分析系统，其特征在于，包括：模块m1：初始化执行数据任务时，任务分析模块分析数据任务中的数据血缘关系，同时建立数据任务血缘映射关系并保存到数据任务血缘映射库中；模块m2：映射关系展示模块从数据任务血缘映射库查询数据任务，通过数据任务血缘映射关系显示数据任务图中所有关联的数据库、表、字段，并根据数据任务血缘映射关系标记任务与血缘之间的映射情况；模块m3：当元数据信息变更，执行数据任务时，任务分析模块在数据任务血缘映射库中比对当前任务的数据任务血缘映射关系，并对变更的内容进行任务血缘变更标记；再根据数据血缘关系与数据任务血缘映射关系同步变更相关的数据任务信息，并进行任务血缘变更标记；模块m4：映射关系展示模块根据任务血缘变更标记分类展示数据任务信息，在同一个数据任务流图中对受到影响的作业进行高亮展示。6.根据权利要求5所述的基于数据血缘的数据任务分析系统，其特征在于，所述模块m1包括：输入：数据任务信息ti；输出：数据任务ti的血缘映射关系ri，数据任务ti的任务血缘变更标记；模块m1.1：任务分析模块通过数据任务信息ti读取任务中包含的所有数据操作集合tq；模块m1.2：针对tq中每一个数据操作，获取数据血缘关系，对所有数据操作源端标记ts，数据操作目标端标记td，得到数据操作源的库tsd、表tst、字段tsc集合ts＝{tsd,tst,tsc}以及数据目标端的库tdd、表tdt、字段tdc集合ts＝{tdd,tdt,tdc}；模块m1.3：通过数据任务信息ti获取数据任务编号td,将ts、td关联，得到临时映射关系rt＝{td,ts,td}；将对数据库d、表t、字段c定义标识常量s＝{d,t,c}展开后结合数据任务编号td建立数据任务ti的血缘映射关系ri＝{s,ti,td,ts}；模块m1.4：任务分析模块将血缘映射关系ri保存到数据任务血缘映射库中。7.根据权利要求5所述的基于数据血缘的数据任务分析系统，其特征在于，所述模块m3包括：输入：数据任务信息ti；输出：数据任务ti的血缘映射关系ri；数据任务ti的任务血缘变更标记集合rc；
模块m3.1：任务分析模块通过数据任务信息ti获取建立数据任务ti的血缘映射关系rn＝{s,ti,tnd,tns}，并从数据任务血缘映射库中获取已存在的数据任务血缘映射关系ri＝{s,ti,tid,tis}；模块m3.2：针对rn中的每一个源端和目的端进行遍历，并依照判断加入任务血缘变更标记集合rc；模块m3.3：将得到的加入任务血缘变更标记集合rc保存到数据任务血缘映射库中。8.根据权利要求7所述的基于数据血缘的数据任务分析系统，其特征在于，所述模块m3.2具体包括：模块m3.2.1：针对rn中的每一个源端和目的端进行遍历，若tnd＝tid，则判断tns是否存在于ri中，若不存在，则定义目的端变更cs并新建任务血缘变更标记项ri＝{s,ti,tnd,tns,cs}，加入任务血缘变更标记集合rc，若存在则继续；模块m3.2.2：若tns＝tis，则判断tnd是否存在于ri中，若不存在，则定义源端变更cd新建任务血缘变更标记项ri＝{s,ti,tnd,tns,cd}，加入任务血缘变更标记集合rc，若存在则继续；模块m3.2.3：若tnd！＝tid并且tns！＝tis，则定义新增数据任务血缘映射关系cn，新建任务血缘变更标记项ri＝{s,ti,tnd,tns,cn}，加入任务血缘变更标记集合rc。9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的方法的步骤。

技术总结
本发明提供一种基于数据血缘的数据任务分析方法、系统及介质，包括：初始化执行数据任务时，任务分析模块分析数据任务中的数据血缘关系，建立数据任务血缘映射关系并保存到数据任务血缘映射库中；映射关系展示模块查询数据任务，显示数据任务图中关联的数据库、表、字段，并标记任务与血缘之间的映射情况；当元数据信息变更，执行数据任务时，任务分析模块比对当前任务的数据任务血缘映射关系，并对变更的内容进行任务血缘变更标记；再同步变更相关的数据任务信息，进行任务血缘变更标记；映射关系展示模块展示数据任务信息，在同一个数据任务流图中对受到影响的作业进行高亮展示。本发明能够解决数据任务在数据血缘变更时需人工解析影响的问题。工解析影响的问题。工解析影响的问题。


技术研发人员：罗俊 王锋 周飞 罗煜辉 鲍玲 王良杰
受保护的技术使用者：兴业数字金融服务(上海)股份有限公司
技术研发日：2022.08.31
技术公布日：2022/12/12