一种数据血缘展示方法、系统、装置及存储介质与流程

技术特征：
1.一种数据血缘展示方法，其特征在于，包括以下步骤：扫描dag配置目录，获取作业任务；查询所述作业任务中的sql任务单元；解析所述sql任务单元，获取第一元数据；解析所述第一元数据，获取第二元数据；根据所述第二元数据，生成数据血缘关系图并展示。2.根据权利要求1所述的一种数据血缘展示方法，其特征在于，所述扫描dag配置目录，获取作业任务，包括：加载dag模型，所述dag模型中包括多个任务处理器；通过所述任务处理器获取所述作业任务。3.根据权利要求2所述的一种数据血缘展示方法，其特征在于，还包括以下步骤：根据所述任务处理器的类型获取对应的dag元数据。4.根据权利要求1所述的一种数据血缘展示方法，其特征在于，所述查询所述作业任务中的sql任务单元，包括：根据所述作业任务，获取所述sql任务单元；识别所述sql任务单元的单元类型；根据所述单元类型对所述sql任务单元进行数据清洗。5.根据权利要求3所述的一种数据血缘展示方法，其特征在于，所述解析所述sql任务单元，获取第一元数据，包括：根据所述sql任务单元，从所述dag元数据中获取所述第一元数据。6.根据权利要求4所述的一种数据血缘展示方法，其特征在于，所述解析所述第一元数据，获取第二元数据，包括：根据所述单元类型，生成解析对象；调用所述解析对象对应的接口，获取所述第二元数据。7.根据权利要求1所述的一种数据血缘展示方法，其特征在于，所述根据所述第二元数据，生成数据血缘关系图并展示，包括：响应于数据血缘分析指令，查询所述第二元数据；对所述第二元数据进行标准化处理，生成第三元数据；根据所述第三元数据，生成字符串；根据所述字符串生成输入节点和输出节点组合的节点信息；根据所述节点信息生成所述数据血缘关系图并展示。8.一种数据血缘展示系统，其特征在于，包括：作业任务获取模块，用于扫描dag配置目录，获取作业任务；任务单元查询模块，用于查询所述作业任务中的sql任务单元；第一元数据获取模块，用于解析所述sql任务单元，获取第一元数据；第二元数据获取模块，用于解析所述第一元数据，获取第二元数据；数据血缘关系图展示模块，用于根据所述第二元数据，生成数据血缘关系图并展示。9.一种数据血缘展示装置，其特征在于，包括：至少一个处理器；
至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-7中任一项所述的一种数据血缘展示方法。10.一种存储介质，其中存储有处理器可执行的程序，其特征在于：所述处理器可执行的程序在由处理器执行时用于实现如权利要求1-7中任一项所述的一种数据血缘展示方法。

技术总结
本发明公开了一种数据血缘展示方法、系统、装置及存储介质。数据血缘展示方法包括：扫描DAG配置目录，获取作业任务；查询所述作业任务中的SQL任务单元；解析所述SQL任务单元，获取第一元数据；解析所述第一元数据，获取第二元数据；根据所述第二元数据，生成数据血缘关系图并展示。本发明通过扫描DAG配置目录实时获取作业任务中的SQL任务单元，实现了新任务的自动解析和元数据获取；通过第二元数据生成数据血缘关系图并展示，实现了数据链路中问题数据的快速定位和核查，提高了数据修复的效率，本发明可广泛应用于计算机技术领域。本发明可广泛应用于计算机技术领域。本发明可广泛应用于计算机技术领域。


技术研发人员：麦俊豪
受保护的技术使用者：天翼爱音乐文化科技有限公司
技术研发日：2021.12.13
技术公布日：2022/3/21