一种基于大数据的报表分析方法、装置、设备和介质与流程

1.本发明涉及大数据处理技术领域，特别涉及一种基于大数据的报表分析方法、装置、设备和介质。


背景技术：

2.面对日益增长的数据量，以及系统与系统间运行时出现的数据壁垒、协同壁垒、时效壁垒。如何打破壁垒从数据中发掘有用的信息成为当前大多数数据挖掘系统面临的问题。大数据集的数据分析与挖掘系统需要具备的特性包括(1)数据适应性:系统可接受多种类型的数据，避免系统对存储的数据的类型、结构和数据完整性的强要求，从而避免通常的数据仓库对数据的强要求带来的问题；(2)敏捷性:系统能够适应数据递增且更新频繁的应用场景；(3)分析深度:提供对数据分析多角度、多切面的分析，可便捷得加入复杂的概率统计和机器学习算法，适应多类型数据分析需求。
3.除了单个系统的数据量的问题，也面临着数据应用的困境：数据过于分散，难以有效利用；手工做报表，效率低准确性差；报表需求多变，无法快速响应。同时，又要面对报表开发的困境：系统bug频出，边填坑边挖坑；软件功能固化，需求扩展差；熬夜加班多，开发人效低；项目交付后，维护难度高。
4.因此数据库系统在数据处理效率和可处理的数据量无法满足当前大数据量的爆炸式增长，以及如何打通企业内部的数据孤岛，利用一款简单、高效、智能的报表工具，快速搭建的企业级web报表平台成了关键。


技术实现要素：

5.本发明要解决的技术问题，在于提供一种基于大数据的报表分析方法、装置、设备和介质，打通企业内部的数据孤岛，快速搭建的企业级web报表平台。
6.第一方面，本发明提供了一种基于大数据的报表分析方法，包括：
7.步骤10、通过系统集成服务接口，从至少一个业务系统获取数据，然后抛转至数据仓库；通过etl工具，定时抽取数据至数据仓库；
8.步骤20、根据数据库的存储过程、函数、配置事件，进行实时数据清洗及批量分析；
9.步骤30、通过报表工具选取需要分析的数据，制作实时报表，对数据进行可视化呈现。
10.进一步地，所述步骤10中，系统集成服务接口包括webservice接口和webapi接口。
11.进一步地，所述步骤10中，通过etl工具，定时抽取数据至数据仓库，具体包括：
12.通过etl工具接收用户定义的数据挖掘过程，并配置相关的组件信息，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码，该转换包括过程模型分析、依赖关系分析、代码模板解析；将数据挖掘组件连接起来构成数据挖掘过程，所述数据挖掘组件封装不同的数据操作逻辑，分成数据挖掘算法组件、连接器组件以及用户自定义组件；以hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行
计算能力实现挖掘过程的并行化，定时抽取数据至数据仓库。
13.进一步地，所述方法还包括：将所述数据库的存储过程、函数、配置事件转为sql语句，供其它数据仓库执行使用。
14.第二方面，本发明提供了一种基于大数据的报表分析装置，包括：数据获取模块、数据处理模块以及报表模块；
15.所述数据获取模块，用于通过系统集成服务接口，从至少一个业务系统获取数据，然后抛转至数据仓库；通过etl工具，定时抽取数据至数据仓库；
16.所述数据处理模块，用于根据数据库的存储过程、函数、配置事件，进行实时数据清洗及批量分析；
17.所述报表模块，用于通过报表工具选取需要分析的数据，制作实时报表，对数据进行可视化呈现。
18.进一步地，所述数据获取模块中，系统集成服务接口包括webservice接口和webapi接口。
19.进一步地，所述数据获取模块中，通过etl工具，定时抽取数据至数据仓库，具体包括：
20.通过etl工具接收用户定义的数据挖掘过程，并配置相关的组件信息，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码，该转换包括过程模型分析、依赖关系分析、代码模板解析；将数据挖掘组件连接起来构成数据挖掘过程，所述数据挖掘组件封装不同的数据操作逻辑，分成数据挖掘算法组件、连接器组件以及用户自定义组件；以hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行计算能力实现挖掘过程的并行化，定时抽取数据至数据仓库
21.进一步地，所述数据处理模块还用于将所述数据库的存储过程、函数、配置事件转为sql语句，供其它数据仓库执行使用。
22.第三方面，本发明提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
23.第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
24.本发明实施例至少具有如下技术效果或优点：
25.本技术实施例通过webservice、webapi多种方式接口进行数据通讯，将多个业务系数的数据汇总到数据仓库，并可同时通过etl工具定时抽取数据至数据仓库；获取用户定义的数据挖掘过程和组件信息，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码；通过获取用户定义的存储过程、函数及配置事件，实现数据的自动清洗；通过报表工具实现报表的自动制作及数据可视化呈现。
26.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
27.下面参照附图结合实施例对本发明作进一步的说明。
28.图1为本发明实施例一中方法的流程图；
29.图2为本发明实施例一中业务流程示意图；
30.图3为本发明实施例二中装置的结构示意图；
31.图4为本发明实施例三中电子设备的结构示意图；
32.图5为本发明实施例四中介质的结构示意图。
具体实施方式
33.实施例一
34.本实施例提供一种基于大数据的报表分析方法，如图1所示，包括：
35.步骤10、通过系统集成服务接口，从至少一个业务系统获取数据，然后抛转至数据仓库；通过etl工具，定时抽取数据至数据仓库；
36.步骤20、根据数据库的存储过程、函数、配置事件，进行实时数据清洗及批量分析；还可以将所述数据库的存储过程、函数、配置事件转为sql语句，供其它数据仓库执行使用。
37.步骤30、通过报表工具选取需要分析的数据，制作实时报表，对数据进行可视化呈现。
38.在一种可能的实现方式中，所述步骤10中，系统集成服务接口包括webservice接口和webapi接口。
39.所述步骤10中，通过etl工具，定时抽取数据至数据仓库，具体包括：
40.通过etl工具接收用户定义的数据挖掘过程，并配置相关的组件信息，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码，该转换包括过程模型分析、依赖关系分析、代码模板解析；将数据挖掘组件连接起来构成数据挖掘过程，所述数据挖掘组件封装不同的数据操作逻辑，分成数据挖掘算法组件、连接器组件以及用户自定义组件；以hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行计算能力实现挖掘过程的并行化，定时抽取数据至数据仓库。
41.在一具体实施例中，业务流程的示意图如图2所示：
42.1、各业务系统通过webservice服务接口、web api接口方式，主动将数据抛转至数据池；
43.2、etl工具kettle通过可视化的界面接收用户定义的数据挖掘过程，并配置相关的组件信息，实现图形化的数据流程处理；用户通过参数配置界面配置需用户定义的参数；然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码，该转换包括过程模型分析、依赖关系分析、代码模板解析；将数据挖掘组件连接起来构成数据挖掘过程，所述数据挖掘组件封装不同的数据操作逻辑，分成数据挖掘算法组件、连接器组件、用户自定义组件；以hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行计算能力实现挖掘过程的并行化。
44.数据挖掘过程模型被转换成java可执行代码，最后生成一个以用户定义的数据挖掘过程名称为类名的主类来控制整个数据挖掘过程，并通过配置模板提供的信息按照模型解析获得的任务依赖关系构建挖掘代码。
45.3、用户通过数据库客户端工具navicat可视化界面编写mysql数据库的存储过程、函数、配置事件，进行实时数据清洗、批量分析服务等。并可以将存储过程、函数、事件转为
sql语句，可供任意一个数仓下执行使用。
46.4、用户利用帆软报表工具finereport类excel的设计器一键连接数据源，拖拽字段绑定单元格，制作完成一张实时报表。同时finereport还支持制作各类中国式复杂报表，数据填报表、响应式报表等，配合70余种图表样式提供酷炫的数据可视化效果。数据填报系统加上决策平台的支持，提供数据上报，流程审批，权限管理的一系列功能，可以灵活应对运营、人资、财务、合同等多变的业务需求。
47.通过webservice、webapi多种方式接口进行数据通讯；用户通过kettle定义的数据挖掘过程和组件信息，实现图形化的数据流程处理，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码；通过mysql自定义存储过程与事件，实现数据的自动清洗；通过帆软报表工具finereport实现零编码，只需简单拖拽操作，就可以制作完成一张报表。同时finereport的20余种图表类型，70余种图表样式，满足可视化需求；无须二次开发，pc端报表也可装入移动端。
48.基于同一发明构思，本技术还提供了与实施例一中的方法对应的装置，详见实施例二。
49.实施例二
50.在本实施例中提供了一种装置，如图3所示，包括：
51.第二方面，本发明提供了一种基于大数据的报表分析装置，包括：数据获取模块、数据处理模块以及报表模块；
52.所述数据获取模块，用于通过系统集成服务接口，从至少一个业务系统获取数据，然后抛转至数据仓库；通过etl工具，定时抽取数据至数据仓库；
53.所述数据处理模块，用于根据数据库的存储过程、函数、配置事件，进行实时数据清洗及批量分析；
54.所述报表模块，用于通过报表工具选取需要分析的数据，制作实时报表，对数据进行可视化呈现。
55.在一种可能的实现方式中，所述数据获取模块中，系统集成服务接口包括webservice接口和webapi接口。
56.在一种可能的实现方式中，所述数据获取模块中，通过etl工具，定时抽取数据至数据仓库，具体包括：
57.通过etl工具接收用户定义的数据挖掘过程，并配置相关的组件信息，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码，该转换包括过程模型分析、依赖关系分析、代码模板解析；将数据挖掘组件连接起来构成数据挖掘过程，所述数据挖掘组件封装不同的数据操作逻辑，分成数据挖掘算法组件、连接器组件以及用户自定义组件；以hadoop提供的框架作为数据挖掘过程执行平台，向执行框架提交代码，运用云平台的并行计算能力实现挖掘过程的并行化，定时抽取数据至数据仓库
58.在一种可能的实现方式中，所述数据处理模块还用于将所述数据库的存储过程、函数、配置事件转为sql语句，供其它数据仓库执行使用。
59.由于本发明实施例二所介绍的装置，为实施本发明实施例一的方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲
保护的范围。
60.基于同一发明构思，本技术提供了实施例一对应的电子设备实施例，详见实施例三。
61.实施例三
62.本实施例提供了一种电子设备，如图4所示，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，可以实现实施例一中任一实施方式。
63.由于本实施例所介绍的电子设备为实施本技术实施例一中方法所采用的设备，故而基于本技术实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的电子设备的具体实施方式以及其各种变化形式，所以在此对于该电子设备如何实现本技术实施例中的方法不再详细介绍。只要本领域所属技术人员实施本技术实施例中的方法所采用的设备，都属于本技术所欲保护的范围。
64.基于同一发明构思，本技术提供了实施例一对应的存储介质，详见实施例四。
65.实施例四
66.本实施例提供一种计算机可读存储介质，如图5所示，其上存储有计算机程序，该计算机程序被处理器执行时，可以实现实施例一中任一实施方式。
67.由于本实施例所介绍的计算机可读存储介质为实施本技术实施例一中方法所采用的计算机可读存储介质，故而基于本技术实施例一中所介绍的方法，本领域所属技术人员能够了解本实施例的计算机可读存储介质的具体实施方式以及其各种变化形式，所以在此对于该计算机可读存储介质如何实现本技术实施例中的方法不再详细介绍。只要本领域所属技术人员实施本技术实施例中的方法所采用的计算机可读存储介质，都属于本技术所欲保护的范围。
68.本技术实施例通过webservice、webapi多种方式接口进行数据通讯，将多个业务系数的数据汇总到数据仓库，并可同时通过etl工具定时抽取数据至数据仓库；获取用户定义的数据挖掘过程和组件信息，然后将用户定义的数据挖掘过程模型转换成可在hadoop上运行的代码；通过获取用户定义的存储过程、函数及配置事件，实现数据的自动清洗；通过报表工具实现报表的自动制作及数据可视化呈现。
69.本领域内的技术人员应明白，本发明的实施例可提供为方法、设备、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
70.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
71.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
72.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
73.虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。