数据治理系统

1.本发明涉及数据治理技术领域，尤其涉及一种数据治理系统。


背景技术：

2.数据治理，是对数据进行处置、格式化和规范化的过程。是提升组织内部数据质量、推动数据广泛共享、强化数据安全保障、盘活数据资源价值的重要手段。目前已知的数据治理系统有以下缺点：缺乏统一的数据标准化流程；质量管理缺乏标准依据；数据的标准化缺少工具支持。因此，提供一种数据治理系统，以推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑显得尤为重要。


技术实现要素：

3.本发明所要解决的技术问题在于，提供一种数据治理系统，以推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
4.为了解决上述技术问题，本发明第一方面公开了一种数据治理系统，所述系统包括：
5.数据标准管理模块，用于对数据标准规范的管理，以及向其他模块提供标准化的数据交互服务，以供其他模块查询和使用相关数据标准；
6.元数据管理模块，用于元数据获取、元数据存储、元数据维护、元数据分析、元数据质量管理与考核，以厘清元数据之间的关系与脉络，规范元数据设计；
7.数据质量管理模块，用于对数据信息的绝对质量管理和过程质量管理；所述绝对质量管理是对数据信息对应的第一数据属性的管理；所述过程质量管理是对数据信息对应的第二数据属性的管理；所述第一数据属性与数据信息的准确性情况、完整性情况、数据传输一致性情况、时效性情况和数据可靠性情况相关；所述第二数据属性与数据信息的使用质量、存储质量和传输质量相关。
8.作为一种可选的实施方式，所述数据标准管理模块包括：
9.业务术语管理单元，用于对业务术语信息的创建、维护、审批、发布，以及对业务术语信息的检索；
10.参考数据管理单元，用于对参考数据的数据值域进行管理；所述参考数据是用于对数据信息进行分类的数据；
11.主数据管理单元，用于对主数据的标准和内容进行管理，以实现所述主数据的跨系统的一致和共享使用；
12.数据元管理单元，用于对数据元的创建与维护，以及构建数据元目录；所述数据源包括l个数据元素信息；所述l为大于等于3的正整数；
13.指标数据管理单元，用于对指标数据的创建、维护、审批和发布，以及对所述指标数据的检索；
14.流程管理单元，用于对所述数据标准进行流程管理；
15.标准服务单元，用于规范查询服务；
16.质量规则管理单元，用于在所述数据标准，和/或，所述元数据变更时，生成可被所述数据质量管理模块识别的数据质量模型；
17.标准量化视图单元，用于从所述数据质量管理模块和所述元数据管理模块提取数据信息进行对比分析，生成量化视图；所述量化视图用于对报表进行数字化展示。
18.作为一种可选的实施方式，所述流程管理单元对数据标准进行流程管理，包括：
19.检测是否接收到数据标准任务请求，得到第一检测结果；
20.当所述第一检测结果为是时，对所述数据标准任务请求进行解析处理，得到版本类型信息；
21.根据所述版本类型信息，确定出目标版本流程规则；
22.利用所述目标版本流程规则对所述数据标准任务请求进行处理，得到待审批版本信息；
23.利用预设的审批流程规则对所述待审批版本信息，得到审批版本信息；
24.判断所述审批版本信息是否满足发布条件，得到发布判断结果；
25.当所述发布判断结果为否时，利用所述审批版本信息对所述数据标准任务请求进行更新，并触发执行所述利用所述目标版本流程规则对所述数据标准任务请求进行处理，得到待审批版本信息；
26.当所述发布判断结果为是时，确定所述审批版本信息为待发布数据标准，并利用预设的发布流程规则对所述待发布数据标准进行发布处理，得到发布后的数据标准。
27.作为一种可选的实施方式，所述质量规则管理单元生成可被所述数据质量管理模块识别的数据质量模型，包括：
28.检测是否存在未关联的所述元数据，得到第二检测结果；
29.当所述第二检测结果为是时，利用预设的数据标准匹配策略对未关联的所述元数据进行匹配处理，得到目标数据标准；
30.对未关联的所述元数据和所述目标数据标准进行合成处理，得到可被所述数据质量管理模块识别的数据质量模型。
31.作为一种可选的实施方式，所述利用预设的数据标准匹配策略对未关联的所述元数据进行匹配处理，得到目标数据标准，包括：
32.获取数据元标准信息；所述数据元标准信息包括若干个数据元标准；
33.对所述数据元标准信息和未关联的所述元数据进行评分处理，得到匹配评分信息；所述匹配评分信息包括若干个匹配评分；
34.根据所述匹配评分信息，确定出目标数据标准。
35.作为一种可选的实施方式，所述根据所述匹配评分信息，确定出目标数据标准，包括：
36.按照评分从大到小的顺序对所述匹配评分信息进行排序，得到匹配评分序列；
37.按照预设的筛选规则对所述匹配评分序列进行筛选处理，得到目标匹配评分；
38.确定所述目标匹配评分对应的数据元标准为目标数据标准。
39.作为一种可选的实施方式，所述对未关联的所述元数据和所述目标数据标准进行合成处理，得到可被所述数据质量管理模块识别的数据质量模型，包括：
40.对所述目标数据标准进行提取处理，得到值域数据信息；
41.对所述值域数据信息进行转化处理，得到值域模板；
42.对所述目标数据标准和未关联的所述元数据进行处理，得到模板上下文信息；
43.利用预设的模板引擎对所述值域模板和所述模板上下文信息进行处理，得到可被所述数据质量管理模块识别的数据质量模型。
44.作为一种可选的实施方式，所述标准量化视图单元从所述数据质量管理模块和所述元数据管理模块提取数据信息进行对比分析，生成量化视图，包括：
45.获取待检测数据标准；
46.根据所述待检测数据标准，从所述数据质量管理模块和所述元数据管理模块进行数据信息提取，得到数据关联列表信息；所述数据关联列表信息与所述元数据相关；
47.对所述数据关联列表信息进行检测评估处理，得到质量检测结果信息；
48.判断所述质量检测结果信息是否满足检测终止条件，得到检测判断结果；
49.当所述检测判断结果为否时，触发执行所述对所述数据关联列表信息进行检测评估处理，得到质量检测结果信息；
50.当所述检测判断结果为是时，根据所述质量检测结果信息，确定出量化视图。
51.作为一种可选的实施方式，所述系统还包括：
52.数据安全管理模块，用于对数据采集、数据使用、数据访问和数据审计过程中的数据安全进行管理。
53.作为一种可选的实施方式，所述主数据管理单元对主数据的标准和内容进行管理，包括：
54.检测是否接收到主数据修改信号，得到第三检测结果；
55.当所述第三检测结果为是时，对所述主数据修改信号对应的主数据进行整合处理，得到目标主数据；
56.利用所述目标主数据对与所述主数据修改信号对应的主数据相关联的应用系统进行更新。
57.与现有技术相比，本发明具有以下有益效果：
58.本发明实施例公开了一种数据治理系统包括数据标准管理模块，用于对数据标准规范的管理，以及向其他模块提供标准化的数据交互服务，以供其他模块查询和使用相关数据标准；元数据管理模块，用于元数据获取、元数据存储、元数据维护、元数据分析、元数据质量管理与考核，以厘清元数据之间的关系与脉络，规范元数据设计；数据质量管理模块，用于对数据信息的绝对质量管理和过程质量管理；绝对质量管理是对数据信息对应的第一数据属性的管理；过程质量管理是对数据信息对应的第二数据属性的管理；第一数据属性与数据信息的准确性情况、完整性情况、数据传输一致性情况、时效性情况和数据可靠性情况相关；第二数据属性与数据信息的使用质量、存储质量和传输质量相关。可见，本发明有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
附图说明
59.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
60.图1是本发明实施例公开的一种数据治理系统的结构示意图；
61.图2是本发明实施例公开的另一种数据治理系统的结构示意图；
62.图3是本发明实施例公开的又一种数据治理系统的结构示意图。
具体实施方式
63.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
64.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或端没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或模块。
65.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
66.在阐述本发明的具体实施方式前，先对本发明的实施方式所针对的现有技术的一些情况进行介绍，数据治理是指将数据作为组织资产围绕数据全生命周期而展开的相关管控活动、绩效和风险管理工作的集合，以保障数据及其应用过程中的运营合规、风险可控和价值实现。数据治理体系是指从组织架构、管理制度、it应用技术、绩效考核等多个维度对组织的数据架构、元数据、数据质量、数据标准、数据安全、数据生命周期等各方面进行全面的梳理、建设并持续改进的体系。目前已知的数据治理系统有以下缺点：缺乏统一的数据标准化流程；质量管理缺乏标准依据；数据的标准化缺少工具支持。
67.为了解决上述现有模式中的痛点，本发明旨在于提供一种创新的数据治理系统，以对数据标准的创建、维护、审批、发布进行统一的管理，建立统一的数据标准化流程。将元数据与数据标准进行关联，根据标准对altas获取到的元数据进行评估，获取评估结果，提供快捷转换工具。从数据标准中提取数据质量检测规则，并根据元数据与数据标准之间的关联关系，进行质量检测。
68.具体的，请参阅图1，图1是本发明实施例公开的一种数据治理系统的结构示意图。如图1所示，该数据治理系统包括：
69.数据标准管理模块301，用于对数据标准规范的管理，以及向其他模块提供标准化的数据交互服务，以供其他模块查询和使用相关数据标准；
70.元数据管理模块302，用于元数据获取、元数据存储、元数据维护、元数据分析、元数据质量管理与考核，以厘清元数据之间的关系与脉络，规范元数据设计；
71.数据质量管理模块303，用于对数据信息的绝对质量管理和过程质量管理；绝对质量管理是对数据信息对应的第一数据属性的管理；过程质量管理是对数据信息对应的第二数据属性的管理；第一数据属性与数据信息的准确性情况、完整性情况、数据传输一致性情况、时效性情况和数据可靠性情况相关；第二数据属性与数据信息的使用质量、存储质量和传输质量相关。
72.可选的，上述元数据维护包括元数据变更维护，和/或，数据标准版本维护，本发明实施例不做限定。
73.可选的，上述元数据分析包括血缘分析，和/或，影响分析，和/或，实体差异分析，和/或，实体关联分析，和/或，指标一致性分析，和/或，数据地图展示，本发明实施例不做限定。
74.可选的，上述准确性情况表征数据在转换、分析、存储、传输、应用流程中的准确性。
75.可选的，上述完整性情况表征数据库应用或要求的所有记录、字段的完整性。
76.可选的，上述数据传输一致性情况表征数据在传输使用的整个过程中的一致性。
77.可选的，上述时效性情况表征在指定的数据与真实的业务情况同步的时间容忍度内，被刷新的数据的百分比。
78.可选的，上述数据可靠性情况表征数据源的可靠提供数据的情况。
79.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
80.作为一种可选的实施方式，如图2所示，数据标准管理模块包括：
81.业务术语管理单元3011，用于对业务术语信息的创建、维护、审批、发布，以及对业务术语信息的检索；
82.参考数据管理单元3012，用于对参考数据的数据值域进行管理；参考数据是用于对数据信息进行分类的数据；
83.主数据管理单元3013，用于对主数据的标准和内容进行管理，以实现主数据的跨系统的一致和共享使用；
84.数据元管理单元3014，用于对数据元的创建与维护，以及构建数据元目录；数据源包括l个数据元素信息；l为大于等于3的正整数；
85.指标数据管理单元3015，用于对指标数据的创建、维护、审批和发布，以及对指标数据的检索；
86.流程管理单元3016，用于对数据标准进行流程管理；
87.标准服务单元3017，用于规范查询服务；
88.质量规则管理单元3018，用于在数据标准，和/或，元数据变更时，生成可被数据质量管理模块识别的数据质量模型；
89.标准量化视图单元3019，用于从数据质量管理模块302和元数据管理模块303提取数据信息进行对比分析，生成量化视图；量化视图用于对报表进行数字化展示。
90.可选的，上述业务术语信息包括中文名称，和/或，英文名称，和/或，术语定义，本发明实施例不做限定。
91.可选的，上述数据值域包括标准化术语，和/或，代码值，和/或，其他唯一标识符，
本发明实施例不做限定。
92.可选的，上述数据元素信息包括对象信息，和/或，特性信息，和/或，表示信息，本发明实施例不做限定。
93.可选的，上述指标数据包括指标名称，和/或，时间，和/或，数值，本发明实施例不做限定。
94.可选的，上述指标数据是在经营分析过程中衡量某一个目标或事物的数据。
95.可选的，上述查询服务包括查询数据标准目录，和/或，查询业务术语，和/或，查询主数据，和/或，查询参考数据，和/或，查询数据元，和/或，查询指标数据，本发明实施例不做限定。
96.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
97.作为一种可选的实施方式，流程管理单元3016对数据标准进行流程管理，包括：
98.检测是否接收到数据标准任务请求，得到第一检测结果；
99.当第一检测结果为是时，对数据标准任务请求进行解析处理，得到版本类型信息；
100.根据版本类型信息，确定出目标版本流程规则；
101.利用目标版本流程规则对数据标准任务请求进行处理，得到待审批版本信息；
102.利用预设的审批流程规则对待审批版本信息，得到审批版本信息；
103.判断审批版本信息是否满足发布条件，得到发布判断结果；
104.当发布判断结果为否时，利用审批版本信息对数据标准任务请求进行更新，并触发执行利用目标版本流程规则对数据标准任务请求进行处理，得到待审批版本信息；
105.当发布判断结果为是时，确定审批版本信息为待发布数据标准，并利用预设的发布流程规则对待发布数据标准进行发布处理，得到发布后的数据标准。
106.在该可选的实施例中，作为一种可选实施方式，上述利用目标版本流程规则对数据标准任务请求进行处理，得到待审批版本信息的具体方式为：
107.根据数据标准任务请求，选定标准类型信息；
108.利用标准类型信息确定出基本信息和高级信息；
109.对基本信息和高级信息进行整合处理，得到待审批版本信息。
110.可选的，上述基本信息包括中文名称，和/或，英文名称，和/或，标识符，和/或，分类，和/或，标签，和/或，中文描述，本发明实施例不做限定。
111.可选的，上述高级信息包括数据模型，和/或，质量规则，和/或，值域限制信息，和/或，有效期限，和/或，参考标准，本发明实施例不做限定。
112.在该可选的实施例中，作为另一种可选实施方式，上述利用目标版本流程规则对数据标准任务请求进行处理，得到待审批版本信息的具体方式为：
113.根据数据标准任务请求，选定标准类型信息；
114.根据标准类型信息进行查询处理，得到待维护数据标准信息；
115.根据待维护数据标准信息，确定出待维护版本信息；
116.对待维护版本信息进行标准信息修改，得到待审批版本信息。
117.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
118.作为一种可选的实施方式，质量规则管理单元3018生成可被数据质量管理模块识别的数据质量模型，包括：
119.检测是否存在未关联的元数据，得到第二检测结果；
120.当第二检测结果为是时，利用预设的数据标准匹配策略对未关联的元数据进行匹配处理，得到目标数据标准；
121.对未关联的元数据和目标数据标准进行合成处理，得到可被数据质量管理模块识别的数据质量模型。
122.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
123.作为一种可选的实施方式，利用预设的数据标准匹配策略对未关联的元数据进行匹配处理，得到目标数据标准，包括：
124.获取数据元标准信息；数据元标准信息包括若干个数据元标准；
125.对数据元标准信息和未关联的元数据进行评分处理，得到匹配评分信息；匹配评分信息包括若干个匹配评分；
126.根据匹配评分信息，确定出目标数据标准。
127.可选的，上述数据元标准包括数据元，和/或，引用数据，和/或，匹配策略，本发明实施例不做限定。
128.可选的，上述数据元包括数据单元的分类信息，和/或，数据单元的名称信息，和/或，数据单元的类型信息，和/或，数据单元的值域信息，本发明实施例不做限定。
129.可选的，上述引用数据表征数据元对业务术语、主数据、参考数据、指标数据的引用，以对数据元的业务含义进行补充说明及定义。
130.可选的，上述匹配策略包括基于管理属性的策略，和/或，基于生命周期的策略，和/或，基于存储属性的策略，和/或，基于数据特征的策略，和/或，基于数据结构的策略，本发明实施例不做限定。
131.可选的，上述基于管理属性的策略以元数据的管理属性作为基础数据进行评分处理。
132.可选的，上述管理属性包括创建者信息，和/或，应用系统信息，和/或，业务线信息，和/或，负责人数信息，本发明实施例不做限定。
133.可选的，上述基于生命周期的策略以元数据的生命周期属性作为基础数据进行评分处理。
134.可选的，上述生命周期属性包括创建时间信息，和/或，修改时间信息，和/或，版本信息，本发明实施例不做限定。
135.可选的，上述基于存储属性的策略以元数据的存储属性作为基础数据进行评分处理。
136.可选的，上述存储属性包括存储位置信息，和/或，物理大小信息，本发明实施例不做限定。
137.可选的，上述基于数据特征的策略以元数据的数据特征作为基础数据进行评分处理。
138.可选的，上述数据特征包括最大值信息，和/或，最小值信息，和/或，平均值信息，
和/或，数据倾斜信息，本发明实施例不做限定。
139.可选的，上述以元数据的数据结构作为基础数据进行评分处理。
140.可选的，上述数据结构包括表/分区信息，和/或，列信息，和/或，索引信息，和/或，约束信息，本发明实施例不做限定。
141.可选的，上述匹配评分的高低与评分匹配的属性的数量正相关。
142.在该可选的实施例中，作为一种可选的实施方式，上述对数据元标准信息和未关联的元数据进行评分处理，得到匹配评分信息的具体方式为：
143.对于任一数据元标准信息，利用该数据元标准信息对应的匹配策略对未关联的元数据进行评分，得到策略评分结果信息；
144.利用该数据元标准信息对应的评分权重系数信息对上述策略评分结果信息进行计算处理，得到该数据元标准信息对应的匹配评分。
145.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
146.作为一种可选的实施方式，根据匹配评分信息，确定出目标数据标准，包括：
147.按照评分从大到小的顺序对匹配评分信息进行排序，得到匹配评分序列；
148.按照预设的筛选规则对匹配评分序列进行筛选处理，得到目标匹配评分；
149.确定目标匹配评分对应的数据元标准为目标数据标准。
150.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
151.作为一种可选的实施方式，对未关联的元数据和目标数据标准进行合成处理，得到可被数据质量管理模块识别的数据质量模型，包括：
152.对目标数据标准进行提取处理，得到值域数据信息；
153.对值域数据信息进行转化处理，得到值域模板；
154.对目标数据标准和未关联的元数据进行处理，得到模板上下文信息；
155.利用预设的模板引擎对值域模板和模板上下文信息进行处理，得到可被数据质量管理模块识别的数据质量模型。
156.可选的，上述值域数据信息包括数据标准定义中的非空，和/或，数据标准定义中的唯一，和/或，数据标准定义中的值域，和/或，数据标准定义中的正则表达式，和/或，数据标准定义中的表示格式，本发明实施例不做限定。
157.可选的，在得到可被数据质量管理模块识别的数据质量模型之后，上述数据质量模型将通过接口调用将其传递到数据质量管理模块。
158.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
159.作为一种可选的实施方式，标准量化视图单元从数据质量管理模块和元数据管理模块提取数据信息进行对比分析，生成量化视图，包括：
160.获取待检测数据标准；
161.根据待检测数据标准，从数据质量管理模块和元数据管理模块进行数据信息提取，得到数据关联列表信息；数据关联列表信息与元数据相关；
162.对数据关联列表信息进行检测评估处理，得到质量检测结果信息；
163.判断质量检测结果信息是否满足检测终止条件，得到检测判断结果；
164.当检测判断结果为否时，触发执行对数据关联列表信息进行检测评估处理，得到质量检测结果信息；
165.当检测判断结果为是时，根据质量检测结果信息，确定出量化视图。
166.可选的，上述数据关联列表信息包括元数据数量，和/或，数据标准覆盖的分类，和/或，标签数量，和/或，数据标准对应的数据质量指标，本发明实施例不做限定。
167.可选的，上述检测终止条件为数据关联列表信息中的所有元数据已被处理。
168.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
169.作为一种可选的实施方式，如图3所示，该系统还包括：
170.数据安全管理模块304，用于对数据采集、数据使用、数据访问和数据审计过程中的数据安全进行管理。
171.可选的，上述对数据使用过程中的数据安全进行管理包括基础数据保存、访问过程中的数据安全管理，和/或，基础数据权限管理，本发明实施例不做限定。
172.可选的，上述对数据采集过程中的数据安全进行管理包括采集的敏感信息在下游分析系统和内部管理系统中，是否要进行加密，以避免数据被非法访问。
173.可选的，上述对数据审计过程中的数据安全进行管理包括为数据修改、使用等环节设置审计方法，和/或，事后进行审计和责任追究，本发明实施例不做限定。
174.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
175.作为一种可选的实施方式，主数据管理单元3013对主数据的标准和内容进行管理，包括：
176.检测是否接收到主数据修改信号，得到第三检测结果；
177.当第三检测结果为是时，对主数据修改信号对应的主数据进行整合处理，得到目标主数据；
178.利用目标主数据对与主数据修改信号对应的主数据相关联的应用系统进行更新。
179.可选的，上述对主数据修改信号对应的主数据进行整合处理包括对主数据集中进行数据的清洗处理和丰富处理。
180.可见，实施本发明实施例所描述的数据治理系统，有利于推动数据标准管理流程的规范化，提高数据标准质量，为数据标准的推广应用、检测修订提供数据支撑。
181.上述对本说明书特定实施例进行了描述，其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，附图中描绘的过程不一定必须按照示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
182.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
183.本说明书实施例提供的装置、设备、非易失性计算机可读存储介质与方法是对应的，因此，装置、设备、非易失性计算机存储介质也具有与对应方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述对应装置、设备、非易失性计算机存储介质的有益技术效果。
184.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gatearray，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware descriptionlanguage)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(rubyhardware description language)等，目前最普遍使用的是vhdl(very-high-speedintegrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
185.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
186.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
187.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
188.本领域内的技术人员应明白，本说明书实施例可提供为方法、系统、或计算机程序产品。因此，本说明书实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本说明书实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
189.本说明书是参照根据本说明书实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
190.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
191.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
192.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
193.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
194.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带式磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
195.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括要素的
过程、方法、商品或者设备中还存在另外的相同要素。
196.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
197.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
198.最后应说明的是：本发明实施例公开的一种数据治理系统所揭露的仅为本发明较佳实施例而已，仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解；其依然可以对前述各项实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或替换，并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。