一种基于zeppelin的交互式分析系统的制作方法

1.本发明涉及计算机大数据分析技术领域，具体为一种基于zeppelin的交互式分析系统，应用于企业的大数据分析处理技术中。


背景技术：

2.现阶段多数企业的数据分析平台均以hive作为数据仓库，以数据同步的方式将多业务系统主数据抽取到hive库，然后采用hive sql的方式进行数据建模，数据利用过程非常复杂，最终体现到数据分析与可视化时，需要经过多种工具，耗时长，非常不利于新的数据发现，而且一般由专业的实施人员去完成，如何大数据量并且敏捷的利用这些数据资产进行数据分析，是一个迫在眉睫的问题；鉴于此，我们提出了一种基于zeppelin的交互式分析系统。


技术实现要素：

3.针对现有技术的不足，本发明提供了一种基于zeppelin的交互式分析系统，提供交互式的数据分析和简单的图表可视化，响应快，简化数据发现流程，很好的解决了大数据的快速分析需求，并且支持多种语言的脚本，方便业务人员直接分析。
4.为实现以上目的，本发明通过以下技术方案予以实现：一种基于zeppelin的交互式分析系统，包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端；
5.所述zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器；
6.所述zeppelin server为管理zeppelin interpreter的处理器，以及调度交互式分析任务、分配资源的中央管理器；
7.所述外围模块对开源组件apache zeppelin进行封装；
8.所述浏览器端用于登录访问所述外围模块。
9.可选的，所述外围模块新增有工作区管理模块，以进行笔记本单元的创建、删除和列表展示；
10.所述工作区管理模块包括创建工作区、删除工作区和获取工作区列表；
11.所述创建工作区用于输入自定义的工作区名并创建一个新的笔记本单元；
12.所述删除工作区用于删除用户已创建的工作区并删除该工作区下的所有任务；
13.所述获取工作区列表用于以列表形式展示用户创建成功的工作区。
14.可选的，所述外围模块新增有任务管理模块，以进行笔记本单元之下的任务的管理。
15.可选的，所述任务管理模块包括创建任务、删除任务、启动任务、停止任务、获取工作区下所有的任务、给任务添加标签、给任务删除标签、根据标签和工作区id查询任务以及根据用户名查看所有工作区下的所有任务的状态；
16.所述创建任务用于根据用户输入的工作区id、任务名称、任务标签创建一个新的任务；
17.所述删除任务用于根据用户输入的任务id删除对应的任务；
18.所述启动任务用于根据用户输入的任务id启动对应的任务；
19.所述停止任务用于根据用户输入的任务id停止对应的任务；
20.所述获取工作区下的所有任务用于根据用户输入的工作区id获取该工作区下的所有任务，并以列表的形式展示出来；
21.所述给任务添加标签用于根据用户输入的任务id和任务标签给对应的任务添加上所输入的标签；
22.所述给任务删除标签用于根据用户输入的任务id给该任务删除它已有的标签；
23.所述根据标签和工作区id查询任务用于根据用户输入的标签和工作区id查找出该工作区下的所对应的所有任务，并以列表的形式展示出来；
24.所述根据用户名查看所有工作区的所有任务的状态用于获取该用户所创建的所有工作区下的所有任务的状态，并以列表的形式展示出来。
25.可选的，所述外围模块新增有任务运维模块，以进行平台作业的运维报警监控。
26.可选的，所述任务运维模块包括添加报警和删除报警；
27.所述添加报警用于根据用户输入的笔记本id和段落id，给对应的任务添加报警监控，当该任务运行出错时就给用户发送报警通知邮件；
28.所述删除报警用于根据用户输入的笔记本id和段落id，给对应的任务删除报警监控，使得当该任务运行出错时无需给用户发送报警通知邮件。
29.可选的，所述外围模块新增有解释器管理模块，以实现解释器的创建、更新、删除、重启等功能。
30.可选的，所述所述解释器管理模块包括展示所有已经注册了的解释器、展示所有已经注册了的解释器的设置、通过setting id查找已经注册过的解释器、创建解释器、更新解释器的设置、删除解释器、重启解释器、新增一个解决依赖的仓库和删除一个解决依赖的仓库；
31.所述展示所有已经注册了的解释器用于以列表的形式展示所有已经注册了的解释器；
32.所述展示所有已经注册了的解释器的设置用于以列表的形式展示所有已经注册了的解释器的设置；
33.所述通过setting id查找已经注册过的解释器用于根据用户输入的setting id查找对应的解释器；
34.所述创建解释器用于创建用户自定义的解释器；
35.所述更新解释器的设置用于根据用户输入的解释器id和更新内容来更新对应的解释器设置；
36.所述删除解释器用于根据用户输入的解释器id删除对应的解释器；
37.所述重启解释器用于根据用户输入的解释器id重启对应的解释器；
38.所述新增一个解决依赖的仓库用于根据用户输入的仓库设置来增加一个管理依赖的仓库；
39.所述删除一个解决依赖的仓库用于根据用户输入的仓库id删除对应的仓库。
40.可选的，所述外围模块新增有日志管理模块，以解决开源框架apache zeppelin缺少的日志管理功能；
41.所述日志管理模块包括获取用户的操作日志和获取系统的运行日志；
42.所述获取用户的操作日志用于根据用户输入的时间范围、操作内容以及起始页和每页记录数以列表的形式展示出用户的操作日志；
43.所述获取系统运行日志用于根据用户输入的日志级别、起始页和每页记录数以列表的形式展示出系统的运行日志。
44.本发明提供了一种基于zeppelin的交互式分析系统。具备以下有益效果：
45.(1)、该基于zeppelin的交互式分析系统，工作区管理模块使用户可以管理自己的笔记本单元，统一管理笔记本；任务管理模块使用户可以更加方便地管理任务，便于用户进行任务的编写、运行或停止。
46.(2)、该基于zeppelin的交互式分析系统，任务运维模块使开源组件apache zeppelin新增了任务运维报警功能，使得在任务运行出错时能及时邮件通知用户，使用户可以及时掌握任务的运行情况。
47.(3)、该基于zeppelin的交互式分析系统，解释器管理模块使得用户可以增加、更新或删除自定义的解释器，便于用户使用各种语言的解释器来解析不同编程语言的任务，日志管理模块使开源组件apache zeppelin新增日志管理功能，方便业务人员利用日志记录分析业务数据。
附图说明
48.图1为本发明基于zeppelin的交互式分析系统的架构图；
49.图2为本发明外围模块的功能模块图；
50.图3为本发明基于zeppelin的交互式分析系统的操作流程图。
具体实施方式
51.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.本发明提供一种技术方案：一种基于zeppelin的交互式分析系统，如图1所示，该基于zeppelin的交互式分析系统包括自下而上的zeppelin interpreter、zeppelin server、外围模块和浏览器端，其中浏览器端用于登录访问交互式分析系统；
53.zeppelin interpreter为zeppelin处理交互式分析任务时用到的对应任务语言的解析器；
54.zeppelin server为管理zeppelin interpreter的处理器，以及调度交互式分析任务、分配资源的中央管理器，负责管理zeppelin interpreter，给任务分配资源以及调度任务；
55.外围模块对开源组件apache zeppelin进行封装及拓展，新增了工作区管理模块、
任务管理模块、任务运维模块、解释器管理模块和日志管理模块，丰富了apache zeppelin进行交互式任务处理及分析的功能；
56.浏览器端用于登录访问外围模块。
57.如图2所示，外围模块包括工作区管理模块、任务管理模块、任务运维模块、解释器管理模块和日志管理模块。
58.其中，工作区管理模块用于创建、删除及获取工作区；任务管理模块用于创建、删除、启动及停止任务，给任务添加标签及删除标签，获取工作区下的所有任务及任务的状态以及根据标签和工作区id查询任务；任务运维模块用于给任务添加报警以及删除报警；解释器管理模块创建、更新、删除以及重启解释器，展示所有已经注册了的解释器及解释器设置，通过setting id查找解释器，新增及删除仓库；日志管理模块用于查看用户操作日志以及查看系统运行日志。
59.具体地，工作区管理模块包括获取工作区列表、创建工作区、删除工作区。
60.用户点击“获取工作区列表”按钮后，会以列表的形式向用户展示出所有已经创建成功的工作区。用户点击“创建工作区”按钮后，填写工作区名称，点击“完成”按钮，即可创建一个新的工作区。用户点击“删除工作区”按钮，输入工作区id后点击“完成”按钮即可删除这个工作区以及该工作区下的所有任务。
61.任务管理模块包括创建、删除、启动及停止任务，给任务添加标签及删除标签，获取工作区下的所有任务及任务的状态以及根据标签和工作区id查询任务。
62.具体地，用户点击“创建任务”按钮，输入工作区id、任务名称和任务标签后，点击“完成”按钮，即可在对应工作区下创建对应的任务；用户点击“删除任务”按钮，输入任务id后点击“完成”按钮即可删除对应的任务。用户点击“启动任务”按钮，输入任务id后点击“完成”按钮即可启动对应的任务。用户点击“停止任务”按钮，输入任务id后点击“完成”按钮，即可停止对应的任务。用户点击“添加标签”按钮，输入任务id和标签后点击“完成”按钮，即可给对应的任务添加上标签。用户点击“删除标签”按钮后，输入任务id，点击“完成”按钮后，即可给对应的任务删除标签。用户点击“获取工作区下所有任务”按钮后，输入工作区id点击“完成”按钮后，即可获取到对应工作区下的所有任务。用户点击“根据标签和工作区id查询任务”按钮后，输入工作区id和标签后，点击“完成”按钮，即可查询出该工作区下的带有该标签的所有任务。用户点击“根据用户名查看所有任务的状态”按钮后，即可查询出该用户创建的所有工作区下的所有任务的状态情况，如ready代表任务准备就绪，但还未启动的状态，running代表任务正在运行的状态，abort代表任务运行过程中突然中断的状态，error代表任务运行出错的状态，finished代表任务运行结束的状态，并以列表的形式向用户展示出来。
63.任务运维模块包括给任务添加报警和给任务删除报警。
64.具体地，用户点击“添加报警”按钮后，输入笔记本id和段落id，点击“完成”按钮后，即可给对应的任务添加报警，当该任务运行出错时，平台可自动给该用户发送邮件通知。用户点击“删除报警”按钮后，输入笔记本id和段落id，点击“完成”按钮，即可删除该任务的报警功能，即当该任务运行出错时无需给用户发送报警邮件通知。
65.解释器管理模块包括展示所有已经注册了的解释器、展示所有已经注册了的解释器的设置、通过setting id查找已经注册过的解释器、创建解释器、更新解释器的设置、删
除解释器、重启解释器、新增一个解决依赖的仓库和删除一个解决依赖的仓库。
66.具体地，用户点击“展示所有已经注册了的解释器”按钮，即可以列表的形式向用户展示出注册过的解释器。用户点击“展示所有已经注册了的解释器的设置”按钮，即可以列表的形式向用户展示出注册过的解释器的设置。用户点击“通过setting id查找已经注册过的解释器”按钮，输入setting id，点击“完成”按钮，即可查询出对应的解释器。用户点击“创建解释器”按钮，输入解释器的设置，点击“完成”按钮，即可创建出一个解释器。用户点击“更新一个解释器的设置”按钮，输入解释器id和更新内容，点击“完成”按钮，即可更新对应的解释器。用户点击“删除一个解释器”按钮，输入解释器id点击“完成”按钮即可删除这个解释器。用户点击“重启一个解释器”按钮，输入解释器id点击“完成”按钮即可重启这个解释器。用户点击“新增一个解决依赖的仓库”按钮，输入仓库设置，点击“完成”按钮，即可新增一个解决依赖的仓库。用户点击“删除一个解决依赖的仓库”按钮，输入仓库id，点击“完成”按钮，即可删除这个仓库。
67.日志管理模块包括获取用户的操作日志和获取系统的运行日志。
68.具体地，用户点击“获取登录用户的操作日志”按钮，输入要获取的日志的时间范围即开始时间和结束时间、操作内容的关键字、起始页以及每页记录数，点击“完成”按钮，即可以列表的形式向用户展示该时间范围内带有该操作关键字的相关操作日志记录。用户点击“获取系统运行日志”按钮，输入要获取的日志的时间范围即开始时间和结束时间、操作内容的关键字、日志级别和起始页以及每页记录数，点击“完成”按钮，即可以列表的形式向用户展示该时间范围内带有该操作关键字并且是该日志级别的系统运行记录。
69.上述的实施原理为：用户输入正确的url后进入交互式分析系统的主页，然后用户点击登录按钮，输入正确的用户名和密码后，进入平台首页，首页中有工作区管理模块、任务管理模块、任务运维模块、日志管理模块和解释器管理模块，用户点击其中任意一个模块即可进入到对应的模块页面中去。
70.具体地，如图3所示，用户通过浏览器登录交互式分析系统，然后点击解释器管理模块，进入解释器管理界面，点击添加解释器按钮，添加自定义的解释器，然后点击工作区管理模块，进入工作区管理界面，点击创建工作区按钮，输入自定义的工作区名称创建成功，然后点击任务管理按钮进入任务管理界面，点击创建任务按钮，输入任务名称和标签等，即可开始编辑任务，编辑任务时，以％开始，后面跟上需要用到的解释器名称，这样编写好的任务就可以和对应的解释器适配上，解释器就可以用来解析处理该任务，然后可以选择给该任务添加报警，用户点击任务运维模块进入任务运维界面，然后输入要添加报警的任务id，即可给该任务添加上报警，之后用户点击任务管理模块进入任务管理界面，对之前编辑好的任务点击运行按钮，该任务即可运行起来，最后用户可以点击日志管理模块按钮进入日志管理界面，点击查看操作日志或者系统运行日志按钮可查看对应的日志记录，方便用户进行分析。
71.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。