一种基于规则库的数据质量治理系统及方法与流程

1.本发明涉及数据处理技术领域，具体涉及一种基于规则库的数据质量治理系统及方法。


背景技术：

2.数据治理的目标之一是向组织的内部或外部提供合约遵循的可见度。国外数据治理的兴起很大程度上是由于对法案法规的遵循，旨在防止企业运营的不正当行为和数据欺诈。在美国，涉及信息技术或数据的法规例如美国爱国者法案、美国健康保险流通等，均要求提供准确可信的财务报告和治理规则。
3.当前，我国有关数据的各项标准和政策研究已在各个领域有所触及，如科研数据管理服务中，部分研究是针对数据监管政策、存储规范和传播交流机制的，认为标准建设是解决科学数据完整性、科学数据规范化问题的有效方式；除此之外，也有研究涉及数据质量的标准，如关联数据的质量标准、元数据标准等。
4.纵观国外数据治理的整个研究历程，国外已经涌现出一些涉及数据治理的研究成果，从研究内容来看，这些成果主要集中在以下几个方面：
①
数据治理的理论框架模型的设计；
②
来自跨领域的数据治理价值的探讨；
③
基于不同框架模型的驱动实践探索。
5.目前电力信息系统的数据质量治理存在以下问题：未健全数据质量管理体系、运维管理技术有待加强和运维管理人员工作压力大。


技术实现要素：

6.为了解决现有技术的缺点，本发明的目的是提供一种基于规则库的数据质量治理系统及方法。建立全面数据质量管理环境、制订全面数据质量管理的实施计划、实施全面数据质量管理措施和评估全面数据质量管理过程。减少系统间单独建设，避免冗余部署，实现在线全面管控，方便快捷。
7.本发明的目的通过如下技术方案实现：
8.一种基于规则库的数据质量治理系统，包括应用层、计算层、存储层、接入层和数据源；
9.所述数据源，用于负责管理数据质量检查元数据的系统信息，包括erp数据库、大数据平台和数据仓库；
10.所述接入层，用于采集纳入数据质量管理范围的数据源、统一认证用户和权限、短信和邮箱数据，包括jdbc、api查询接口以及集成接口；
11.所述存储层，用于存储质量规则、问题数据、元数据的连接信息、规则模板和知识库；
12.所述计算层，用于根据数据质量规则进行调度和检测、管理检测结果、检查任务、修复任务以及进行质量检测相关的统计分析；
13.所述应用层，用于根据各种质量规则对数据的分析、对质量问题的分析、形成质量
报告以及对绩效进行考核。
14.优选的，所述数据质量治理系统设有稽核检查模块、问题跟踪及解决模块、评估报告模块、知识库模块和告警通知模块。
15.优选的，所述数据质量规则包括数据标准规则、sql规则、内置表达式规则、导入导出规则、编辑和维护质量规则、运行和调度质量验核任务、指派质量任务、跟踪质量任务以及数据质量综合报告。
16.优选的，所述数据质量规则基于数据中台的数据治理开发设计，包括规则库管理、规则配置管理、规则对象管理、调度任务管理、问题工单、多维分析、监控数据等；
17.所述规则配置管理包括一致性规则、合规性规则、及时性规则、准确性规则和自定义规则；
18.所述调度任务管理，以任务调度的方式执行数据质量诊断规则，对数据质量进行比对和校验，发现数据中存在的质量问题，并将问题和异常明细数据记录到结果详细，方便后续分析和处理；
19.所述问题工单，用于将发现的数据质量问题以发送待办的方式通知数据管理人员，以便问题能得到及时处理。当数据管理人员对源头的数据进行处理之后，将处理状态和结果反馈给问题工单，形成闭环数据质量处理网络；
20.所述多维分析，用于多维度展示数据核查和治理情况，包括规则类型、检测范围、核查频率分布、规则处理排行、消息通道等。
21.优选的，所述一致性规则，包括增量数据量比对、全量数据量比对(差异率)、数据明细值比对、数据表结构差异比对；
22.所述合规性规则，包括主键唯一性核查、主键是否为空核查、数值内容有效性核查、数据长度有效性核查、数值范围有效性核查、公共代码(枚举值)范围核查、数值是否为空核查、数量环比波动核查；
23.所述及时性规则，包括数值是否按时同步和增量数据监控核查；
24.所述准确性规则，包括数值同比监控和数值环比监控核查；
25.所述自定义规则，包括数值同比监控和数值环比监控核查。
26.一种优选的基于规则库的数据质量治理方法，所述操作步骤如下：
27.s1、设置治理规则：按照质量检查频度、规则类型和使用类型对业务数据治理需求进行分类；
28.s2、获取数据：调用中台接口获取全部数据源数据；
29.s3、确定类型：基于设置的治理规则，将获取的数据进行划分并进行响应规则的处理；
30.s4、处理数据：对于获取的数据进行探查并检测是否存在符合规则的数据字段，若有，则对数据进行处理；若无，进入下一步；
31.s5、质量检测：对于处理后的数据进行数据质量检测，核查数据的唯一性、完整性、有效性、规范性、一致性和稳定性，并进行判定，符合，进入下一步，不符合，转至s4；
32.s6、核查合格的数据进行保存并生成数据质量报告。
33.优选的，设置治理规则涉及建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理，具体流程为：
34.s1、建立质量验核规则，确定质量管理范围质量控制，监测规则以及采集规范等；
35.s2、周期性运转验核规则，在业务流程以及应用组件中运用数据质量，控制规则进行质量控制；
36.s3、根据监测规范，对数据进行监测并归档监测报告，若发现质量问题，转入s4，反之，回到s2；
37.s4、将问题数据打包并形成任务，分配任务给责任人；
38.s5、责任人修复问题数据：对质量问题进行溯源分析，形成溯源分析报告并确定整改方案，执行问题整改方案并对整改结果进行分析评估；
39.s6、制定企业级数据质量评估方案，收集评估，改进结果，任务结束并关闭。
40.本发明的有益效果是：
41.优化数据应用建设模式，建立快速在线审批的数据共享使用和数据应用管理机制，并以待办的形式发送责任人提示及时办理，缩短处理周期，极大的推进数据应用开发构建和发布速度，节约了大量的人力沟通成本；通过数据质量模块，进行数据中台内数据治理，促进中台内的数据治理与核查；建设自动调度模块，优化现有的数据链路，进一步提升企业中台的服务能力；
42.根据中台资源情况、数据依赖关系、应用需求层级，安排中台贴源层、共享层、应用层数据相关程序调度。从全局高度掌握调度优先性，避免资源浪费以及调度无序性。根据业务应用重要程度变化，实现相关链路先后顺序自动调整，自动改变内部依赖关系，保障上下游数据完整。
43.本发明减少系统间单独建设，避免冗余部署，实现在线全面管控，方便快捷。
附图说明
44.图1是本发明数据质量治理系统架构图；
45.图2是本发明数据质量管理流程图；
46.图3是本发明数据质量治理平台微服务架构图。
具体实施方式
47.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。
48.根据图1所示，一种基于规则库的数据质量治理系统，包括应用层、计算层、存储层、接入层和数据源，所述数据质量治理系统设有稽核检查模块、问题跟踪及解决模块、评估报告模块、知识库模块和告警通知模块。
49.所述数据源，用于负责管理数据质量检查元数据的系统信息，包括erp数据库、大数据平台和数据仓库。
50.所述接入层，用于采集纳入数据质量管理范围的数据源、统一认证用户和权限、短信和邮箱数据，包括jdbc、api查询接口以及集成接口。
51.所述存储层，用于存储质量规则、问题数据、元数据的连接信息、规则模板和知识库。
52.所述计算层，用于根据数据质量规则进行调度和检测、管理检测结果、检查任务、
修复任务以及进行质量检测相关的统计分析；所述数据质量规则包括数据标准规则、sql规则、内置表达式规则、导入导出规则、编辑和维护质量规则、运行和调度质量验核任务、指派质量任务、跟踪质量任务以及数据质量综合报告。所述数据质量规则基于数据中台的数据治理开发设计，包括规则库管理、规则配置管理、规则对象管理、调度任务管理、问题工单、多维分析、监控数据等；所述规则配置管理包括一致性规则、合规性规则、及时性规则、准确性规则和自定义规则；所述调度任务管理，以任务调度的方式执行数据质量诊断规则，对数据质量进行比对和校验，发现数据中存在的质量问题，并将问题和异常明细数据记录到结果详细，方便后续分析和处理；所述问题工单，用于将发现的数据质量问题以发送待办的方式通知数据管理人员，以便问题能得到及时处理。当数据管理人员对源头的数据进行处理之后，将处理状态和结果反馈给问题工单，形成闭环数据质量处理网络；所述多维分析，用于多维度展示数据核查和治理情况，包括规则类型、检测范围、核查频率分布、规则处理排行、消息通道等。
53.所述一致性规则，包括增量数据量比对、全量数据量比对(差异率)、数据明细值比对、数据表结构差异比对；所述合规性规则，包括主键唯一性核查、主键是否为空核查、数值内容有效性核查、数据长度有效性核查、数值范围有效性核查、公共代码(枚举值)范围核查、数值是否为空核查、数量环比波动核查；所述及时性规则，包括数值是否按时同步和增量数据监控核查；所述准确性规则，包括数值同比监控和数值环比监控核查；所述自定义规则，包括数值同比监控和数值环比监控核查。
54.所述微服务设有集成框架，所述集成框架设有规则、调度、预警和反馈四部分，所述规则、所述调度、所述预警和所述反馈依次对应规则配置、调度管理、问题工单和多维分析。
55.所述应用层，用于根据各种质量规则对数据的分析、对质量问题的分析、形成质量报告以及对绩效进行考核。
56.一种优选的基于规则库的数据质量治理方法，所述操作步骤如下：
57.s1、设置治理规则：按照质量检查频度、规则类型和使用类型对业务数据治理需求进行分类；
58.s2、获取数据：调用中台接口获取全部数据源数据；
59.s3、确定类型：基于设置的治理规则，将获取的数据进行划分并进行响应规则的处理；
60.s4、处理数据：对于获取的数据进行探查并检测是否存在符合规则的数据字段，若有，则对数据进行处理；若无，进入下一步；
61.s5、质量检测：对于处理后的数据进行数据质量检测，核查数据的唯一性、完整性、有效性、规范性、一致性和稳定性，并进行判定，符合，进入下一步，不符合，转至s4；
62.s6、核查合格的数据进行保存并生成数据质量报告。
63.根据图2所示，设置治理规则涉及建立数据质量评价体系、落实质量信息的采集分析与监控、建立持续改进的工作机制和完善元数据管理，具体流程为：
64.s1、建立质量验核规则，确定质量管理范围质量控制，监测规则以及采集规范等；
65.s2、周期性运转验核规则，在业务流程以及应用组件中运用数据质量，控制规则进行质量控制；
66.s3、根据监测规范，对数据进行监测并归档监测报告，若发现质量问题，转入s4，反之，回到s2；
67.s4、将问题数据打包并形成任务，分配任务给责任人；
68.s5、责任人修复问题数据：对质量问题进行溯源分析，形成溯源分析报告并确定整改方案，执行问题整改方案并对整改结果进行分析评估；
69.s6、制定企业级数据质量评估方案，收集评估，改进结果，任务结束并关闭。
70.根据图3所示，所述数据治理系统架构设有平台、数据治理工具、业务系统数库和数据中台，所述平台和所述数据治理工具中间设有跨数据库访问服务和提供数据管理服务，所述数据中台和所述数据治理工具之间设有数据查询，所述数据中台设有对所述业务系统数库的数据采集；
71.所述跨数据库访问服务，用于统一访问服务与统一权限系统的数据交互；
72.提供数据管理服务，用于数据治理管理和元数据管理信息与数据管理服务短信平台和内网服务系统的信息交互；
73.数据查询，用于通过数据查询实现数据中台与治理工具微服务包的数据交互；
74.数据采集，用于通过接口服务将各业务系统数据推送到数据中台。
75.使用数据治理系统的操作步骤为：
76.s1、建立核查主题页面，展示所属权限的系统和应用，选择需要核查的系统和应用并创建所属主题，所述核查主题的功能包括主题新增、主题编辑、主题删除、主题查询和主题查看，根据需求进行核查主题进行管理；
77.s2、建设核查对象管理页面，将需要核查的表以对象的形式进行管理和分类，所述核查对象管理界面包括新增功能、编辑功能、查询功能和删除功能；
78.s3、建立业务规则管理页面，用于收集和管理数据治理需求，将收集的需求按规则进行分类，将分类完成的规则在业务规则管理中配置沉淀，形成数据中台数据质量宝贵资产，更好支撑各类应用系统，所述业务规则管理界面包括新增、编辑、删除、导入、导出、查询功能；
79.s4、建设业务规则实现页面，用于通过可配置规则降低数据质量工具的使用门槛，可配置规则包含及时性内置、一致性内置、合规性内置、准确性内置等，所述业务规则实现页面包括配置和查询功能；
80.s5、建设调度任务管理页面，用于将业务规则实现通过数据中台的调度功能进行调度任务配置，并将调度任务的运行状态和结果详情进行反馈，所述调度任务管理页面包括新增、编辑、删除、手动执行、终止执行、调度流程配置和查询功能；
81.s6、建设结果查询页面，用于将发现的数据质量问题以发送待办、邮件和短信的方式通知数据管理人员，责成相关人员从源头上对数据进行处理，当数据管理人员对源头的数据进行处理之后，将处理状态和结果反馈给问题工单，形成闭环数据质量处理网络，所述结果查询页面包括查询、发送待办、处理、通知方式和查询功能。
82.在具体使用系统时，首先，配置流程，包括确定处理的基本信息、处理流程中涉及的角色、配置每一步流程需要制定的参与者、活动数据和活动动作配置。
83.然后，根据流程流转的具体情况，需要定义业务处理页面，根据本次需求，包括业务受理、业务审核、技术方案评审、数据处理、数据授权、产品发布、应用发布、代码审核、台
账维护等页面。
84.最后，进入流程发起页面并提交所需的材料等，转入流程处理页面即流程流转时的处理页面，其中在每一步的流程页面中的用户待办列表中都能查看流程流转状态和每一步流程的审批意见。
85.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。