一种业务与工资汇总报告的数据中心系统及构建方法与流程

1.本发明涉及数据库管理系统，具体为一种业务与工资汇总报告的数据中心系统及其构建方法。


背景技术：

2.企业领导需要及时获知业务成交信息以了解本月业务进度情况，通过数据库系统技术建立数据中心了解业务进度情况更加方便，也越来越普及。随着精细化管理要求的提高，特别是对于计件类结算的业务，月度数据已经无法满足需要，需要以天为时限来及时了解经营信息。
3.传统的数据传递模型以传统的业务逻辑为基础进行搭建，即业务数据由业务部门向领导部门传递同时传递给财务部门、人资部门，人资部门将薪资数据传递给财务部门，财务部门汇总经营数据传递给领导层。这种模型各部门拥有各自的业务数据库，不同部门采用的多数是不同的数据库管理系统，调用数据时存在困难，并且这种面向业务的在线事务处理(oltp)系统数据库数据的存储期限较短，不利于数据分析。为此，发展出用于在线数据分析(olap)的数据仓库的概念，利用etl工具抽取、转换、加载形成数据仓库，在数据仓库的基础上，构建数据集市供各部门使用。
4.构建数据仓库过程复杂且占用oltp节点的存储资源较多，并且开放数据仓库的访问权限风险较大。而假如直接采用传统的基于事务处理系统的方式的话，则会对在线事务处理系统造成干扰。


技术实现要素：

5.本发明的目的在于提供一种业务与工资汇总报告的数据中心系统，解决目前数据仓库的架构占用oltp节点的存储资源较多的问题，并且能降低安全风险，具体方案如下。
6.一种业务与工资汇总报告的数据中心系统，包括：
7.事务服务层，事务服务层产生的数据是数据中心处理的数据来源，同时，事务服务层的存储节点也用于存储临时生成的数据；
8.etl层，所述etl层用etl工具从所述事务服务层抽取符合三范式的t-1数据，包括业务数据与薪资数据，并加工成事实表、维度表，然后加载到临时数据层；
9.临时数据层，所述临时数据层临时根据事实表、维度表生成b端企业合同宽表、发薪记录宽表，并加载到应用层的用户端本地数据，然后将临时数据层进行数据清除；
10.应用层，按时序存储临时数据层加载来的数据，并生成b端企业合同宽表、发薪记录宽表供客户端调用。
11.进一步的改进，所述临时数据层的数据存储于所述存储于oltp系统节点，所述应用层数据存储于具有特定权限的客户端节点。
12.进一步的改进，所述客户端节点的其中一个作为控制节点，用于分配计算任务。
13.进一步的改进，所述etl工具采用kettle。
14.本发明还提供上述业务与工资汇总报告的数据中心系统的构建方法，包括：
15.数据模型的设计：建立事实表、维度表的er模型，设计b端企业合同宽表、发薪记录宽表的内容。
16.节点划分与节点的环境搭建：将企业各服务器、客户端划分为事务服务层存储节点和应用层存储节点，对个节点加载相应的脚本工具；选择应用层的一个节点作为任务控制节点，分配处理任务；
17.作业生成：在控制节点加载任务处理流程，设置执行任务的时间起点。
18.进一步的改进，所述事务服务层存储节点和应用层存储节点均加载sql数据库管理工具，所述任务控制节点加载etl工具和任务调度器；
19.所述任务调度器根据不同部门的权限向客户端分配不同的处理任务，以根据特定权限加载数据。
20.在提取事务服务层的数据后生成事实表、维度表临时存储起来，在加载到特定权限的应用层客户端后进行删除，一方面将处理好的数据保存在应用层客户端，保证了应用层客户端的数据查询需求，同时对于在oltp系统生成的临时数据进行了删除，降低了事务服务层存储占用。与现有的数据仓库结构框架相比，节省了在oltp系统的存储占用空间。
21.进一步的改进，所述处理任务包括：
22.抽取任务，从所述事务服务层抽取符合三范式的t-1数据；
23.转换任务，将抽取的符合三范式的t-1数据工成事实表、维度表；
24.临时加载任务，将事实表、维度表加载到事务服务层存储节点，
25.再抽取任务，抽取事务服务层存储节点的事实表、维度表的数据；
26.再转换任务，将事实表、维度表数据转换为b端企业合同宽表、发薪记录宽表；
27.再加载任务，将b端企业合同宽表、发薪记录宽表加载到应用层特定的存储节点；
28.删除任务，在再加载任务完成后，删除事务服务层存储节点中临时加载任务产生的数据。
29.进一步的改进，所述处理任务的执行起点时间在t日的0点到3点之间。
30.本发明还提供利用上述的数据中心系统进行业务分析方法，在客户端提取b端企业合同宽表数据生成柱状图、饼状图、折线图。
31.还可以在客户端提取发薪记录宽表数据生成柱状图、饼状图、折线图。
32.与现有技术相比，本发明的有益效果在于：
33.本发明利用etl工具进行数据抽取转换后加载临时数据层，临时数据层完成数据处理加载到应用层后进行数据删除，将处理后的数据结果存储到特定的有权限的应用层客户端，相较于现有的数据仓库模型，在保证了提供数据查询服务的同时，节约了存储空间。同时，由于临时数据层不存储数据，相对于生成数据仓库也提高了数据的安全性。
34.本发明在传统数据库系统的基础上仅增加了etl工具与任务调度器，配置工作简单，有利项目的推进。
附图说明
35.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定，在附图中：
36.图1为本发明业务与工资汇总报告的数据中心系统的架构图；
37.图2为本发明业务与工资汇总报告的数据中心系统的存储节点布置图；
38.图3为本发明业务与工资汇总报告的数据中心系统的构建方法流程示意图；
39.图4为本发明业务与工资汇总报告的数据中心系统的数据流。
具体实施方式
40.需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
41.以下将配合附图及实施例来详细说明本技术的实施方式，借此对本技术如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。
42.本实施例具体提供一种业务与工资汇总报告的数据中心系统，如图1-2所示，包括事务服务层、etl层、临时数据层、应用层。
43.其中，事务服务层的基础为现有的业务在线处理系统(oltp)的数据库，包括销售部门、财务部门、人力资源部门、代理商等各自的数据库系统。事务服务层产生的数据是数据中心处理的数据来源，同时，事务服务层的存储节点也用于存储临时生成的数据。
44.在etl层，采用kettle从事务服务层抽取符合三范式的t-1数据，并加工成事实表、维度表，然后加载到临时数据层。数据包括各部门或外在相关机构的业务数据，财务部门发放的薪资数据等。
45.在临时数据层，事实表、维度表生成b端企业合同宽表、发薪记录宽表，并加载到应用层的用户端的本地数据，然后将临时数据层进行数据清除。
46.在应用层，按时序存储临时数据层加载来的数据，并生成b端企业合同宽表、发薪记录宽表供客户端调用。b端企业合同宽表、发薪记录宽表可以直接在应用层的客户端直接调用。客户端也可以在宽表基础上，利用应用软件生成图表，如饼状图、柱状图、折线图等。
47.其中，临时数据层的数据存储于事务服务层系统节点，应用层数据存储于具有特定权限的客户端节点。客户端节点的其中一个作为控制节点，用于分配计算任务。
48.b端企业指的是下游企业，企业的销方。
49.特定权限指的是根据不同部门或级别能够获得不同的数据的权限。
50.本实施例提供的业务与工资汇总报告的数据中心系统的框架结构，在提取事务服务层的数据后生成事实表、维度表临时存储起来，在加载到特定权限的应用层客户端后进行删除，一方面将处理好的数据保存在应用层客户端，保证了应用层客户端的数据查询需求，同时对于在oltp系统生成的临时数据进行了删除，降低了事务服务层存储占用。与现有的数据仓库结构框架相比，节省了在oltp系统的存储占用空间。
51.对本实施例效果进一步的类比解释。现有的数据仓库的结构框架类似于自助餐厅模式，食品(宽表)被加工好后置于大厅(数据仓库)，顾客(应用客户端)可以自己去取用，为了保障顾客不同口味需求，需要在大厅放置多类大量的食品食材。本实施例的结构框架类似于外卖模式，根据顾客(应用客户端)需求，将特定的食品(宽表)送到顾客那里，在满足了
特定顾客需求的同时，减少了食材(数据)在餐厅的占用空间。
52.本实施例业务与工资汇总报告的数据中心系统的构建方法，其过程如图3所示，包括：
53.数据模型的设计：建立事实表、维度表的er模型，设计b端企业合同宽表、发薪记录宽表的内容。
54.节点划分与节点的环境搭建：将企业各服务器、客户端划分为事务服务层存储节点和应用层存储节点，对个节点加载相应的脚本工具；选择应用层的一个节点作为任务控制节点，分配处理任务。
55.作业生成：在控制节点加载任务处理流程，设置执行任务的时间起点。
56.事务服务层存储节点和应用层存储节点均加载sql数据库管理工具，任务控制节点加载的etl工具可以是kettle或sqoop，任务调度器可以是azkaban。azkaban根据不同部门的权限向客户端分配不同的加载任务，以根据特定权限加载数据。
57.所述处理任务包括：
58.抽取任务，从事务服务层抽取符合三范式的t-1数据；
59.转换任务，将抽取的符合三范式的t-1数据工成事实表、维度表；
60.临时加载任务，将事实表、维度表加载到事务服务层存储节点，
61.再抽取任务，抽取事务服务层存储节点的事实表、维度表的数据；
62.再转换任务，将事实表、维度表数据转换为b端企业合同宽表、发薪记录宽表；
63.再加载任务，将b端企业合同宽表、发薪记录宽表加载到应用层特定的存储节点；
64.删除任务，在再加载任务完成后，删除事务服务层存储节点中临时加载任务产生的数据。
65.处理任务的执行的起始时间可以设定在t日的0点到3点之间。
66.具体处理的数据如图4所示，展示了数据源、临时数据以及加载到客户端的数据。事务服务层数据中作为数据源的数据包括代理商、企业信息、账号中间关联、操作员等信息等处于左列的数据。签约统计临时表、发薪统计临时表为临时数据层的临时数据，签约统计表、发薪统计表、签约统计宽表、发薪统计宽表为加载到应用层客户端的数据。宽表以下为客户端基于宽表生成的分类明细表。
67.本实施例中数据中心系统构建完成后可以具有以下应用。
68.在客户端提取b端企业合同宽表数据生成柱状图、饼状图、折线图。在客户端提取发薪记录宽表数据生成柱状图、饼状图、折线图。中数据中心系统通过抽取t-1数据，加工成相关维度表、模型表、事实表，并开发出各种报表(例如饼图、柱状图、趋势图等等)展示给用户，通过可视化途径为公司管理层及各部门领导提供一个全局查看数据或根据部门特定权限查看数据的途径。
69.上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，
70.而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。