一种大数据治理系统的制作方法

1.本发明涉及数据管理系统领域，具体而言，涉及一种大数据治理系统。


背景技术：

2.大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯；科技的发展，现代设备为人们的日常生活提供了极大便利，但越高科技的产品越需要大量数据的支撑，因此数据的收集、处理及管理边尤为重要，而越大量的数据就越需要高效率、便利的系统来进行管理；而目前的数据管理系统对大数据平台的冗余数据、错误数据等按照定义的规则进行清洗等管理，容易删除或清洗掉关键和必要的数据。
3.故，现有技术存在缺陷，还有待于技术发展。


技术实现要素：

4.本发明实施例提供了一种大数据治理系统，通过对数据清洗规则的定义，实现对数据进行检测，避免删除或清洗掉关键和必要的数据，保证数据的质量。
5.根据本发明的一实施例，提供了一大数据治理系统，包括：对数据进管理的数据清洗管理模块；数据清洗管理模块包括：
6.数据清洗规则定义单元，用于定义清洗数据的规则；
7.数据清洗查询单元，用于查询数据；
8.数据清洗规则展示单元，用于展示数据清洗的规则；
9.数据修改及删除单元，用于对数据进行修改或进行数据删除。
10.进一步地，数据清洗管理模块还包括：
11.任务录入单元，用于添加新的任务。
12.进一步地，系统还包括：
13.主页模块，用于浏览大数据治理系统。
14.进一步地，系统还包括：
15.系统管理模块，用于确定对登陆用户的权限管理和用户管理。
16.进一步地，系统管理模块包括：
17.权限管理单元，用于管理数据的添加权限、编辑权限及删除权限；
18.用户管理单元，用于登录账户的管理。
19.进一步地，系统还包括：
20.录入日志管理模块，用于管理历史数据记录。
21.进一步地，录入日志管理模块包括：
22.任务日志查询单元，用于查询历史数据记录；
23.清洗规则日志查询，用于查询历史清洗数据的规则记录；
24.输入表日志单元，用于记录输入的历史数据；
25.输出表日志单元，用于记录输入的历史数据。
26.进一步地，录入日志管理模块还包括：
27.日志分类单元，用于对记录的历史数据进行分类。
28.进一步地，系统还包括：
29.etl任务管理模块，用于任务的测试查询、任务监控检索及操作日志查询。
30.进一步地，系统还包括电路板，数据清洗管理模块、系统管理模块、录入日志管理模块及etl任务管理模块连接于电路板上。
31.本发明实施例中的大数据治理系统，对数据进管理的数据清洗管理模块；数据清洗管理模块包括：数据清洗规则定义单元，用于定义清洗数据的规则；数据清洗查询单元，用于查询数据；数据清洗规则展示单元，用于展示数据清洗的规则；数据修改及删除单元，用于对数据进行修改或进行数据删除。通过对数据清洗规则的定义，以对数据进行管理，实现对数据进行检测，避免删除或清洗掉关键和必要的数据，保证数据的质量。
附图说明
32.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
33.图1为本发明大数据治理系统的原理图；
34.图2为本发明大数据治理系统的优选流程图；
35.图3为本发明大数据治理系统具体原理图。
具体实施方式
36.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
37.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
38.根据本发明一实施例，提供了一种大数据治理系统，参见图1和图2，包括：对数据进管理的数据清洗管理模块100；数据清洗管理模块100包括：
39.数据清洗规则定义单元101，用于定义清洗数据的规则；
40.数据清洗查询单元102，用于查询数据；
41.数据清洗规则展示单元103，用于展示数据清洗的规则；
42.数据修改及删除单元104，用于对数据进行修改或进行数据删除。
43.本发明通过对数据清洗规则的定义，以对数据进行管理，实现对数据进行检测，避免删除或清洗掉关键和必要的数据，保证数据的质量。
44.数据的质量直接关系到数据能否真实的展示数据信息原貌，高质量的数据是日常业务处理和领导做出正确决策的必要保障。数据治理系统通过数据质量检测、数据纠错与通报、数据纠正处理等方式，实现对数据进行检测，保证数据的质量。
45.数据治理系统可实现数据质量流程的可视化，对中心数据库数据进行质量评估，根据内网业务数据规则、特性，判定数据完整性、规范有效性、计算逻辑正确性、一致性等，甄别数据质量，形成数据质量评估报告，为数据采集转换、统计分析和数据修正提供依据。
46.数据治理系统主要提供数据清洗规则定义功能、数据清洗查询功能、清洗规则展示、修改、删除功能。实现数据治理子系统的上述功能可以帮助用户对大数据平台的冗余数据、错误数据等按照定义的规则进行清洗，避免删除或清洗掉关键和必要的数据。
47.实施例中，数据清洗管理模块100还包括：
48.任务录入单元，用于添加新的任务。数据治理系统提供清洗任务录入，包括任务名称、任务描述。
49.实施例中，系统还包括：
50.主页模块200，用于浏览大数据治理系统。主页模块200，用于浏览数据清洗管理模块100、系统管理模块300、录入日志管理模块400及etl任务管理模块500。通过主页模块200用户能选择对系统的各模块进行浏览以实现相应功能。
51.实施例中，系统还包括：
52.系统管理模块300，用于确定对登陆用户的权限管理和用户管理。
53.权限管理单元301可以进行包括添加权限、编辑权限及删除权限的操作；用户管理单元302用于登录账户的管理，可以进行添加用户、编辑用户及删除用户的操作。权限管理还包括对权限分配，具体包括添加角色、修改角色及删除角色；权限分配后可以再进行添加用户。
54.实施例中，系统还包括：
55.录入日志管理模块400，用于管理历史数据记录。系统在运行过程中，会产生大量的历史数据，系统将产生的历史数据生成日志记录，并通过录入日志管理模块400对日志数据进行管理。
56.其中，录入日志管理模块400包括：
57.任务日志查询单元401，用于查询历史数据记录；
58.清洗规则日志查询402，用于查询历史清洗数据的规则记录；
59.输入表日志单元403，用于记录输入的历史数据；
60.输出表日志单元404，用于记录输入的历史数据。
61.本技术数据治理系统提供添加作业名称、作业描述，包括输入数据表、输出数据表和清洗规则；提供清洗任务查询，支持按任务名称、任务描述、任务状态和录入时间条件查询；提供查看任务详情、删除任务，修改任务内容，任务内容包括作业中的输入输出表和清洗规则。
62.实施例中，录入日志管理模块400还包括：
63.日志分类单元，用于对记录的历史数据进行分类。将历史数据进行相应的分类后，
在通过对应的单元进行管理，例如日志分类为清洗规则日志、作业日志、任务日志、输入表日志及输出表日志等。然后提供任务、作业、输入表、输出表和清洗规则表的修改日志查询，支持多条件及录入时间查询，并通过列表展示查询结果。
64.实施例中，系统还包括：
65.etl任务管理模块500，用于任务的测试查询、任务监控检索及操作日志查询。提供etl任务管理，包括任务调试查询、任务调试监控查询及操作日志查询等。
66.实施例中，根据上述任意一项的数据接口管理系统，系统还包括电路板，数据清洗管理模块100、系统管理模块300、录入日志管理模块400及etl任务管理模块500连接于电路板上。各个模块均连接在该电路板上，通过电路板进行电连接。
67.参考图3，用户登陆后，系统首先会判定该用户是否有对应权限，若有权限，根据不同权限用户可以进入主页浏览、系统管理、数据清洗管理、etl任务管理及录入日志管理等。
68.其中，系统管理可以进行包括添加权限、编辑权限及删除权限的操作；或可以进行添加用户、编辑用户及删除用户的操作。权限管理还包括对权限分配，具体包括添加角色、修改角色及删除角色；权限分配后可以再进行添加用户。
69.数据清洗管理包括清洗作业录入、添加任务、编辑任务、判断是否删除任务；另外，还包括清洗作业查询、详情查看、判断是否删除规则和输入输出表、查询规则和输出表及修改规则输入输出表；此外，还包括清洗规则统计及展示统计结果。
70.etl任务管理包括etl任务分类、任务调试查询/任务调试监控检索/操作日志查询、查询条件设置及展示查询结果。
71.录入日志管理首先进行日志分类，包括分类为清洗规则日志、作业日志、任务日志、输入表日志及输出表日志，根据分类通过输入查询关键词进行日志查询，根据查询显示日志。
72.以上仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。