一种血缘信息可视化表示方法与流程

技术特征：
1.一种血缘信息可视化表示方法，其特征在于：所述血缘信息可视化表示方法包括如下步骤：(1)采集初始数据；(2)对初始数据进行解析；(3)对分析后的数据进行清洗；(4)对清洗后的数据进行血缘关系分析；(5)根据层次结构对数据血缘关系进行存储；(6)构建可视化平台，进行血缘关系收集和可视化展示。2.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(1)中通过大数据采集相关的初始数据，根据数据来源的不同，对数据的整体进行分类，如官方数据、非官方数据、第三方交易数据、自身数据等等。3.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(2)中的对分类后的数据进行分类分析，依照分类的关键词中的分类，关联数据等，依次递增深入分析，且同时收集分析时的关联数据，并对分析后的数据对应分类存储，并保证不同存储模块间可以相互连通、传输和访问。4.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(2)中数据解析时，可以采集数据的流转线路，即可收集到数据的流转路径，从数据流入节点出来往主节点汇聚，又从主节点流出往数据流出节点扩散，表现了三个维度的信息，分别是方向、数据更新量级、数据更新频次，同时通过数据受众、更新量级和更新频次可以判断数据的价值。5.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(3)中数据清洗即清洗规则节点，用来表现数据流转过程中的筛选标准，每个地方对数据质量的要求都有所不同，数据接受方会根据自己对数据的要求来过滤接入的数据，根据要求形成数据标准，并依据这些标准来做数据清洗。6.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(4)中血缘分析包含：任务级别、数据级别和字段级别三个级别，其中任务级别表示：大数据平台当中的数据，往往由一个个的任务生成，虽然在不同的应用系统中虽然有不同的名字，但本质上都是同一类东西，如yarn中的application、oozie中的job、spark/mr/hive中的job，通过查看任务级别的血缘关系，可以了解到更高层级的信息，如服务器、运行时长、等待时长、当前任务流状态等。7.根据权利要求6所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(4)中的数据级别也叫表、目录等，广义上包括hdfs、hbase、关系型数据库、kafka、ftp、本地文件等，通过查看数据级别的血缘关系，可以看到：表的依赖链条、表的重要程度(后续的使用者多少)、表的基础信息，可以进行数据质量、影响分析的工作。8.根据权利要求6所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(4)中的字段级别可以了解更改字段的影响有多大、字段是如何产生的等，按照hive当中的定义，分为两种：projection(投影，只影响单一输出字段)和predicate(断言，影响所有输出字段)。9.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(5)中
数据血缘关系的数据库、表和字段不同，形成不同的类型的存储结构，存储结构不同形成不同的不同层次结构，层次不同表示数据血缘关系的信息描述程度不同。10.根据权利要求1所述的一种血缘信息可视化表示方法，其特征在于：所述步骤(6)中可视化展示时，先采集展示指令，确定需要可视化的数据源节点，并根据所述数据源节点从数据对象表中确定对应的血缘数据对象，作为当前血缘数据对象，然后根据数据层次结构对数据血缘关系进行展示，或者进行归档或者销毁。

技术总结
本申请公开了一种血缘信息可视化表示方法，采集初始数据；对初始数据进行解析；对分析后的数据进行清洗；对清洗后的数据进行血缘关系分析；根据层次结构对数据血缘关系进行存储；构建可视化平台，进行血缘关系收集和可视化展示。通过数据综合处理，对数据血缘关系分析、整理并储存，使得后续的数据可视化中血缘关系更加清晰，可以更加直观的展示数据，且通过提高数据处理质量，保证数据的处理效果，便于数据的溯源、评估，通过清晰的数据血缘关系，便于数据的归档和销毁，解决了现有的数据血缘关系在展示时数据在流转过程中的变换展示不清晰的问题，便于数据的管理和应用。便于数据的管理和应用。便于数据的管理和应用。


技术研发人员：吴江
受保护的技术使用者：北京航空航天大学
技术研发日：2021.09.16
技术公布日：2021/11/30