一种基于可编排组件的数据质量治理技术的制作方法

1.本发明涉及数据管理领域，尤其涉及一种基于可编排组件的数据质量治理技术。


背景技术：

2.目前，对于数据质量优化领域，业界主流使用集中式数据质量管理系统。传统集中式数据质量管理系统实现了校验规则规范化管理、规则执行时间调度、数据质量报告统一管理等能力，提高了数据质量校验的效率和管理水平。
3.这种集中式数据质量管理系统局限性在于质量管理流程固定，不能够根据不同数据质量治理范围和质量治理目标进行自由编排，造成流程的浪费、数据质量治理时间浪费；使用传统数据库集中式存储，当处理海量数据时容易出现性能瓶颈。


技术实现要素：

4.本发明的目的在于克服现有技术存在的以上问题，提供一种基于可编排组件的数据质量治理技术。
5.为实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：一种基于可编排组件的数据质量治理技术，包括：用于制定数据质量治理范围和质量治理目标的数据治理定义组件，用于获取数据的数据获取组件，用于对数据进行测评的数据测评组件，用于对异常数据进行修改的数据修改组件，用于对数据进行分析的数据分析组件，用于对数据质量治理流程进行改进的流程改进组件，用于分散存储数据的数据存储组件，用于销毁数据的数据销毁组件；所述数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件根据数据定义组件制定的数据质量治理范围和质量治理目标进行编排。
6.其中，所述数据获取组件包括多个根据数据来源不同分别进行采集的数据采集子组件。
7.其中，所述数据测评组件包括唯一性测评子组件、完整性测评子组件、准确性测评子组件、一致性测评子组件、关联性测评子组件、及时性测评子组件。
8.其中，所述数据修改组件包括用于修正错误数据和缺失数据的交叉验证法数据修正子组件、用于去除冗余数据的相似比较法数据去除子组件。
9.其中，所述数据分析组件包括回归分析子组件、因子分析子组件、鱼骨图分析子组件、帕累托分析子组件、矩阵数据分析子组件。
10.其中，所述流程改进组件包括流程反馈子组件、流程再造子组件。
11.其中，所述数据存储组件包括若干个独立的数据存储子组件。本发明的有益效果是：将用于数据质量管理的各部分分拆成松散的组件，在进行数据质量管理时，根据在数据治理定义组件中制定的数据质量治理范围和质量治理目标对所需的组件进行编排使用，使组件之间相互协同合作，以避免流程浪费、时间浪费，提高数据质量治理效率；数据能够分散存储，提高数据的提取效率，避免出现处理海量数据时出现数据提取性能瓶颈。
附图说明
12.此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1是本发明中数据质量治理技术的框架图。
具体实施方式
13.下面将参考附图并结合实施例，来详细说明本发明。
14.如图1所示，一种基于可编排组件的数据质量治理技术，包括：用于制定数据质量治理范围和质量治理目标的数据治理定义组件，用于获取数据的数据获取组件，用于对数据进行测评的数据测评组件，用于对异常数据进行修改的数据修改组件，用于对数据进行分析的数据分析组件，用于对数据质量治理流程进行改进的流程改进组件，用于分散存储数据的数据存储组件，用于销毁数据的数据销毁组件；数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件根据数据定义组件制定的数据质量治理范围和质量治理目标进行编排。
15.数据获取组件包括多个根据数据来源不同分别进行采集的数据采集子组件。
16.数据测评组件包括唯一性测评子组件、完整性测评子组件、准确性测评子组件、一致性测评子组件、关联性测评子组件、及时性测评子组件。
17.数据修改组件包括用于修正错误数据和缺失数据的交叉验证法数据修正子组件、用于去除冗余数据的相似比较法数据去除子组件。
18.数据分析组件包括回归分析子组件、因子分析子组件、鱼骨图分析子组件、帕累托分析子组件、矩阵数据分析子组件。
19.流程改进组件包括流程反馈子组件、流程再造子组件。
20.数据存储组件包括若干个独立的数据存储子组件。
21.实施例一，数据质量治理范围为居民用电千瓦数，质量治理目标为数据的完整性测评，数据治理定义组件将数据获取子组件、完整性测评子组件进行编排使用，数据获取子组件获取到居民的用电千瓦数数据形成居民用电千瓦数数据库，完整性测评子组件对居民用电千瓦数数据库中的数据进行完整性测评，测评完后形成数据完整性测评报告。
22.实施例二，数据质量治理范围为某一变压器送电区域，质量治理目标为用电情况分析，数据治理定义组件将数据获取子组件、数据测评组件、数据修改组件、数据分析组件进行编排使用，数据获取子组件获取某一变压器送电区域内的用电数据形成区域用电数据库，接着利用数据测评组件对区域用电数据库中的数据进行数据测评，将异常数据经数据修改组件进行修改，数据分析组件对修改后的区域用电数据库进行数据分析，并形成分析报告。
23.实施例三，数据质量治理范围为某市级电网调度区域，质量治理目标为电网调度质量优化，数据治理定义组件将数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件进行编排使用，数据获取组件获取某市级电网调度区域内的电网调度数据，形成该市的电网调度数据库，接着数据测评组件对电网调度数据库中的数据进行六性方面的测评，一方面测评数据的六性、另一方面找出异常数据，数据修改组件对电网调度数据库中的异常数据进行修改，数据分析组件对修改后的电网调度数据库进行数据分析，形成分析报告，流程改进组件对前面几个组件编排顺序、协同方式、处理结果作出反馈和/或改变，数据存储组件对需要保存的数据进行保存，而不需要保存的数据由数据销毁组件彻底销毁，以免被窃取盗用。
24.以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。


技术特征：
1.一种基于可编排组件的数据质量治理技术，其特征在于，包括：用于制定数据质量治理范围和质量治理目标的数据治理定义组件，用于获取数据的数据获取组件，用于对数据进行测评的数据测评组件，用于对异常数据进行修改的数据修改组件，用于对数据进行分析的数据分析组件，用于对数据质量治理流程进行改进的流程改进组件，用于分散存储数据的数据存储组件，用于销毁数据的数据销毁组件；所述数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件根据数据定义组件制定的数据质量治理范围和质量治理目标进行编排。2.根据权利要求1所述的基于可编排组件的数据质量治理技术，其特征在于：所述数据获取组件包括多个根据数据来源不同分别进行采集的数据采集子组件。3.根据权利要求1所述的基于可编排组件的数据质量治理技术，其特征在于：所述数据测评组件包括唯一性测评子组件、完整性测评子组件、准确性测评子组件、一致性测评子组件、关联性测评子组件、及时性测评子组件。4.根据权利要求1所述的基于可编排组件的数据质量治理技术，其特征在于：所述数据修改组件包括用于修正错误数据和缺失数据的交叉验证法数据修正子组件、用于去除冗余数据的相似比较法数据去除子组件。5.根据权利要求1所述的基于可编排组件的数据质量治理技术，其特征在于：所述数据分析组件包括回归分析子组件、因子分析子组件、鱼骨图分析子组件、帕累托分析子组件、矩阵数据分析子组件。6.根据权利要求1所述的基于可编排组件的数据质量治理技术，其特征在于：所述流程改进组件包括流程反馈子组件、流程再造子组件。7.根据权利要求1所述的基于可编排组件的数据质量治理技术，其特征在于：所述数据存储组件包括若干个独立的数据存储子组件。

技术总结
本发明涉及一种基于可编排组件的数据质量治理技术，数据获取组件、数据测评组件、数据修改组件、数据分析组件、流程改进组件、数据存储组件、数据销毁组件根据数据定义组件制定的数据质量治理范围和质量治理目标进行编排。本发明的有益效果是：将用于数据质量管理的各部分分拆成松散的组件，在进行数据质量管理时，根据在数据治理定义组件中制定的数据质量治理范围和质量治理目标对所需的组件进行编排使用，使组件之间相互协同合作，以避免流程浪费、时间浪费，提高数据质量治理效率；数据能够分散存储，提高数据的提取效率，避免出现处理海量数据时出现数据提取性能瓶颈。海量数据时出现数据提取性能瓶颈。海量数据时出现数据提取性能瓶颈。


技术研发人员：吴钟飞 陈凤超 黎鸣 梅傲琪 何毅鹏 赵俊炜 李祺威 周立德 饶欢 张锐 徐睿烽
受保护的技术使用者：广东电网有限责任公司东莞供电局
技术研发日：2020.09.10
技术公布日：2022/3/10