一种数据治理中的数据血缘可视化实现方法及系统与流程

技术特征：
1.一种数据治理中的数据血缘可视化实现方法，其特征在于，该方法对数据治理流程进行可视化展示；通过完成元数据采集，并且结合平台提供的多样化数据处理加工组件，支持在画布中拖拽式增加组件节点及连线组件节点，完成数据治理流程配置，实现数据血缘关系的可视化展示。2.根据权利要求1所述的一种数据治理中的数据血缘可视化实现方法，其特征在于所述数据治理流程包括数据源配置，元数据采集，数据读取，数据处理，数据分发和数据质量检验；所述平台提供的多样化数据处理加工组件包括基础组件、数据读取/分发组件、数据提取、数据清洗、数据关联、数据比对、数据标识以及数据质量组件。3.根据权利要求2所述的一种数据治理中的数据血缘可视化实现方法，其特征在于所述数据源配置，配置来源数据库和目标数据库，来源数据库的表用于读取数据，目标数据库的表用于写数据；所述元数据采集，获取到字段信息，所述字段信息用于数据处理组件的参数，贯穿整个数据治理流程；所述数据读取，针对不同类型的数据源提供多种读取组件，不同数据读取组件需要配置的参数不同；所述数据处理组件，一个数据处理组件，前面连线数据读取组件或处理组件时该组件作为目标节点；后面连线数据处理组件或数据分发组件时该组件作为源节点；不同数据处理组件所需的参数不同，源节点的输出结果可以作为目标节点的输入参数；所述数据分发，数据处理完成后分发写入数据库，数据分发针对不同类型的数据源提供多种分发组件，不同数据分发组件需要配置的参数不同；所述数据质量检验，数据分发完成写入数据库后，数据治理结果需要根据质量规则进行检验，看数据是否规范化。4.根据权利要求3所述的一种数据治理中的数据血缘可视化实现方法，其特征在于所述数据读取支持类型包括关系型数据库、hdfs、es、kafka、hbase、ftp读取以及流读取。5.根据权利要求3所述的一种数据治理中的数据血缘可视化实现方法，其特征在于所述数据处理组件包括基础组件、提取组件、清洗组件、关联组件、比对组件和标识组件，基础组件支持选择字段、数据分流、聚合操作、union操作以及排序topn；提取组件包括中文字符提取、手机号提取、车牌号提取、身份证号提取以及图片提取；清洗组件支持替换字符串、身份证15位转18位、增加固定值、替换字符串、字典替换、字段加密、扩展字段、计算值、过滤数据以及去重数据；关联组件包括左关联及关联；比对组件包括交集、并集和差集；标识组件包括偏好打标、属性打标、直接打标以及属性映射打标。6.根据权利要求3或4或5所述的一种数据治理中的数据血缘可视化实现方法，其特征在于所述数据分发支持类型包括关系型数据库、hdfs、es、kafka、hbase、ftp写数据和hive。7.根据权利要求6所述的一种数据治理中的数据血缘可视化实现方法，其特征在于数据质量检验组件支持类型包括身份证格式校验、电话号码格式校验、更新及时性、记录完整性、数据唯一性、属性完整性、主键唯一性以及值域有效性。
8.一种数据治理中的数据血缘可视化实现系统，其特征在于包括数据采集模块、数据处理模块以及数据治理流程配置模块，通过数据采集模块完成元数据采集，通过数据治理流程配置模块结合数据处理模块提供的多样化数据处理加工组件，实现在画布中拖拽式增加组件节点及连线组件节点，实现数据血缘关系的可视化展示；该系统实现权利要求1
‑
7任一项所述的数据治理中的数据血缘可视化实现方法。9.一种数据治理中的数据血缘可视化实现装置，其特征在于，包括：至少一个存储器和至少一个处理器；所述至少一个存储器，用于存储机器可读程序；所述至少一个处理器，用于调用所述机器可读程序，执行权利要求1至7任一所述的数据治理中的数据血缘可视化实现方法。10.计算机可读介质，其特征在于，所述计算机可读介质上存储有计算机指令，所述计算机指令在被处理器执行时，使所述处理器执行权利要求1至7任一所述的数据治理中的数据血缘可视化实现方法。

技术总结
本发明公开了一种数据治理中的数据血缘可视化实现方法及系统，属于数据处理技术领域，该方法该方法对数据治理流程进行可视化展示；通过完成元数据采集，并且结合平台提供的多样化数据处理加工组件，支持在画布中拖拽式增加组件节点及连线组件节点，完成数据治理流程配置，实现数据血缘关系的可视化展示。本发明通过实现数据血缘的可视化展示，能够很清楚的了解数据是如何流转的，达到数据血缘可视化的目标，为数据管理提供依据。为数据管理提供依据。为数据管理提供依据。


技术研发人员：王文文 路国隋
受保护的技术使用者：浪潮软件科技有限公司
技术研发日：2021.08.24
技术公布日：2021/11/28