一种实现数据溯源可视化的方法与流程

1.本发明涉及数据管理领域，尤其涉及一种实现数据溯源可视化的方法。


背景技术：

2.随着数字经济的快速发展，数据已成为重要生产因素。企业进行分析处理的数据，实际大多是经过多次数据处理后的衍生数据，其原始数据来源非常广泛，有可能来自内部的各类信息系统，有可能来自互联网公开信息，有可能通过数据采购由第三方获取。在使用这些海量的数据时，需要对其来源进行有效的管理，便于在数据异常时快速追踪定位异常原因，在业务变更时快速确定变更范围，及时做出响应解决问题。


技术实现要素：

3.为了解决以上技术问题，本发明提供了一种实现数据溯源可视化的方法。可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险。
4.本发明的技术方案是：
5.一种实现数据溯源可视化的方法，
6.把数据采集、治理过程中使用的sql脚本解析出数据表关联关系，然后以可视化的图表形式进行展示。
7.进一步的，
8.记录数据采集、治理过程中用到的sql脚本，脚本信息包括：
9.来源表、目标表、来源字段、目标字段、表映射关系。
10.其中：
11.来源表：存储原始数据的数据表；
12.目标表：存储转换后数据的数据表；
13.来源字段：数据转换用到的原始数据表中的数据字段；
14.目标字段：数据转换后落入目标数据表中的数据字段。
15.表映射关系：来源表来源字段到目标表目标字段的转换关系。
16.再进一步的，
17.通过解析sql脚本，提取出来源表、目标表、来源字段、目标字段、表映射关系信息。
18.再进一步的，
19.将提取出的来源表、目标表、来源字段、目标字段、表映射关系信息，生成数据溯源json。
20.再进一步的，
21.对数据溯源json进行解析，以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
22.本发明的有益效果是
23.本发明所提出的数据溯源可视化的方法能充分利用数据采集、治理过程中用到的sql脚本生成可视化数据溯源图表，可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险，减少数据管理工作复杂度，提高数据的管理效率。
附图说明
24.图1是本发明的处理流程图；
25.图2数据溯源可视化示意图。
具体实施方式
26.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.本发明的目的是提供一种数据溯源可视化的方法，旨在辅助数据管理工作，减少数据管理的复杂度，提高数据的管理效率，降低业务变更带来的数据风险。
28.本发明通过对数据采集、治理过程中的sql脚本进行解析，提取出各数据表之间的关联关系，再将数据表关联关系以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。
29.整个数据溯源可视化的流程示意图如图1所示，该方案的技术主要实现数据表关联关系可视化。具体过程如下：
30.(1)记录数据采集、治理过程中用到的sql脚本，脚本信息主要包括：
31.来源表：存储原始数据的数据表。
32.目标表：存储转换后数据的数据表。
33.来源字段：数据转换用到的原始数据表中的数据字段。
34.目标字段：数据转换后落入目标数据表中的数据字段。
35.表映射关系：来源表来源字段到目标表目标字段的转换关系。
36.举例数据如下：
37.表1脚本信息表
[0038][0039]
(2)对(1)中的sql脚本进行解析，提取来源表、目标表、来源字段、目标字段、表映射关系。举例数据如下：
[0040]
表2sql脚本解析信息
[0041][0042]
(3)使用(2)解析出的来源表、目标表、来源字段、目标字段、表映射关系，生成易于可视化图表展示的json格式数据溯源关系。举例数据如下：
[0043]
表3数据溯源关系json
[0044][0045]
(4)根据(3)中生成的数据溯源关系json，生成可视化的数据溯源图。如图2。
[0046]
以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。


技术特征：
1.一种实现数据溯源可视化的方法，其特征在于，把数据采集、治理过程中使用的sql脚本解析出数据表关联关系，然后以可视化的图表形式进行展示。2.根据权利要求1所述的方法，其特征在于，记录数据采集、治理过程中用到的sql脚本，脚本信息包括：来源表、目标表、来源字段、目标字段、表映射关系。3.根据权利要求2所述的方法，其特征在于，来源表：存储原始数据的数据表；目标表：存储转换后数据的数据表。4.根据权利要求3所述的方法，其特征在于，来源字段：数据转换用到的原始数据表中的数据字段；目标字段：数据转换后落入目标数据表中的数据字段。5.根据权利要求4所述的方法，其特征在于，表映射关系：来源表来源字段到目标表目标字段的转换关系。6.根据权利要求2所述的方法，其特征在于，通过解析sql脚本，提取出来源表、目标表、来源字段、目标字段、表映射关系信息。7.根据权利要求6所述的方法，其特征在于，将提取出的来源表、目标表、来源字段、目标字段、表映射关系信息，生成数据溯源json。8.根据权利要求7所述的方法，其特征在于，对数据溯源json进行解析，以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。

技术总结
本发明提供一种实现数据溯源可视化的方法，属于数据管理领域，本发明通过对数据采集、治理过程中的SQL脚本进行解析，提取出各数据表之间的关联关系，再将数据表关联关系以可视化的图表形式展现给用户，实现对数据流转的可视化溯源分析。本发明能够提高数据的管理效率，通过数据溯源图，可以在出现数据异常时快速追踪定位异常原因，提高异常分析的效率，也可以在进行业务变更时快速分析出各表之间业务关系确定变更范围，降低业务变更带来的数据风险。风险。风险。


技术研发人员：陈超 马良 张莉 宗娜
受保护的技术使用者：山东浪潮智慧医疗科技有限公司
技术研发日：2022.10.13
技术公布日：2022/12/30