一种基于大数据共享服务的集群管理平台的制作方法

1.本发明涉及数据共享技术领域，具体涉及一种基于大数据共享服务的集群管理平台。


背景技术：

2.互联网大数据主要掌握在政府、运营商、互联网企业等三大“数据岛屿群”中，岛屿群间相互割裂，彼此孤立，甚至在岛屿群内部，或某一特定岛屿(企业)中，数据也并不是一个可方便流通的整体，而呈各自分散的“岛中岛”状态。
3.现在很多看起来没有关系的企业，都在默默收集和存储着自己的业务数据，即使他们不知道可以用这些数据干什么。这类方式有所不足，首先就是数据沟通成本高昂，需要大量的开发成本，容易漏失敏感字段，对后期的扩展也极不友好。
4.因此本文至于打破大数据信息孤岛建设一个标准的技术实施方案完成数据的共享和传输，同时考虑到大数据的巨量特性和数据安全性，建设一套标准数据处理过程，传输过程和集群管理环境实现大数据的共享服务。


技术实现要素：

5.针对现有技术的不足，本发明公开了一种基于大数据共享服务的集群管理平台，用于解决上述问题。
6.本发明通过以下技术方案予以实现：
7.本发明提供了一种基于大数据共享服务的集群管理平台，包括数据桥接子系统，用于提供机构间共享数据来源的配置；
8.数据共享子系统，用于作为前置共享系统之间的信息共享通道，实现共享信息的打包、转换、传递、路由和解包；
9.监控管理子系统，用于远程部署和远程系统维护，同时进行系统管理与监控；
10.系统管理子系统，根据业务需求建立多业务域，用以提供多主题数据共享服务。
11.更进一步的，所述数据桥接子系统用于将业务数据与前置共享系统实时双向同步；支持主流操作系统、主流数据库和大数据库、各类结构化及非结构化文件和各类音频视频文件。
12.更进一步的，所述数据桥接子系统采用适配器组件访问桥接对象，实现数据的获取与存储，所述数据桥接子系统设置图形化的信息共享桥接配置及管理工具实现桥接指标定义与桥接管理。
13.更进一步的，所述数据桥接子系统在不修改业务信息库结构的情况下，自动识别出需要共享的包括新增、被修改或被删除的信息。
14.更进一步的，所述数据共享子系统使用http协议进行消息传送，并设置消息确认和消息选择性重发机制，同时提供消息差错处理功能。
15.更进一步的，所述数据共享子系统进行信息转换时，基于规则配置的格式转换与
内容转换功能，并设置日志管理功能，与其他业务系统对接所使用接口时使用ras数字签名。
16.更进一步的，所述监控管理子系统设置运行监控工具监控系统的运行状况，资源占用状况、系统性能和系统异常情况。
17.更进一步的，所述监控管理子系统进行共享数据的全方位统计，同时提供远程的日志管理和维护。
18.更进一步的，所述监控管理子系统提供系统资源配置工具，实现对业务流程系统、信息服务总线系统、应用适配器系统的动态配置。
19.更进一步的，所述系统管理子系统包括业务域管理、节点管理、共享服务管理和数据跟踪管理功能。
20.本发明的有益效果为：
21.本发明在大数据共享过程考虑到数据来源的多样性，保证了数据传输的稳定性，及机构间数据共享的灵活性，让用户安全快捷的实现大数据间的数据共享功能。
附图说明
22.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是一种基于大数据共享服务的集群管理平台原理图。
具体实施方式
24.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.实施例1
26.参照图1所示，本实施例提供一种基于大数据共享服务的集群管理平台，包括
27.数据桥接子系统，用于提供机构间共享数据来源地配置；
28.数据共享子系统，用于作为前置共享系统之间的信息共享通道，实现共享信息的打包、转换、传递、路由和解包；
29.监控管理子系统，用于远程部署和远程系统维护，同时进行系统管理与监控；
30.系统管理子系统，根据业务需求建立多业务域，用以提供多主题数据共享服务。
31.本实施例平台支持多类型、多主题、大体量的大数据共享。支持跨部门、跨网络的数据共享服务，并保证数据库之间安全、可靠、稳定、高效的信息交换传输，能够配置和管理各种符合业务需求的信息共享流程。
32.本实施例平台实现各个业务系统连接的功能，将共享信息传入各系统的前置共享数据库，并接收由前置数据库反馈的处理结果。
33.本实施例平台数据传输的流程是可以配置和管理的。利用数据共享网络，实现不
同物理位置，不同业务系统与中心共享服务器间可靠、稳定、安全的数据传输。
34.本实施例平台能动态地制定、管理和监控根据业务流而形成的信息流。
35.本实施例平台将数据共享过程按既定策略部署未服务集群，实现服务器计算资源共享，并支持动态部署。
36.本实施例平台能提供对整个数据共享管理平台的管理与维护功能，实现统一的管理和维护，保障系统运行，并实现分级管理、分权管理。
37.实施例2
38.本实施例在实施例1的基础上，提供一种数据桥接子系统，主要提供机构间共享数据来源的配置。
39.本实施例数据桥接系统支持业务数据与前置共享系统实时双向同步，支持各种主流操作系统。
40.本实施例支持国内外主流数据库和大数据库，本实施例进行优选时如，sqlserver、oracle、db2、hadoop等。
41.本实施例支持各类结构化及非结构化文件，本实施例进行优选时如，txt、excel、xml等。
42.本实施例支持各类音频视频文件，本实施例进行优选时如，avi、rm、rmvb、wma、mp3等。
43.本实施例采用适配器组件访问桥接对象，实现数据的获取与存储，提供增量数据自动识别的功能。
44.本实施例在不修改业务信息库结构的情况下，系统能够自动识别出需要共享的信息，包括新增、被修改或被删除的信息。
45.本实施例提供图形化的信息共享桥接配置及管理工具，支持桥接。本实施例指标定义与桥接管理等功能。
46.实施例3
47.本实施例在实施例1的基础上，提供一种数据共享子系统，作为前置共享系统之间的信息共享通道，实现共享信息的打包、转换、传递、路由、解包等功能。
48.本实施例数据共享传输系统消息传送应支持http协议，并提供消息确认和消息选择性重发机制以实现前置交换子系统之间安全的、可靠的信息传递功能。
49.本实施例提供消息差错处理功能，支持各种主流操作系统，提供信息转换功能，支持基于规则配置的格式转换与内容转换功能。
50.本实施例提供日志管理功能，通过日志可以查看系统传输情况，并可以排除系统中出现错误信息。
51.本实施例安全管理功能，与其他业务系统对接所使用接口必须保证安全性，使用ras数字签名，防止数据窃取。
52.实施例4
53.本实施例在实施例1的基础上，提供一种监控管理子系统，提供基于b/s结构的管理与监控系统，同时提供远程部署和远程系统维护的功能。
54.本实施例提供系统运行监控工具，监控系统的运行状况，资源占用状况、系统性能、系统异常情况等。提供共享数据的全方位统计功能。
55.本实施例提供系统资源配置工具，实现对业务流程系统、信息服务总线系统、应用适配器系统的动态配置，提供远程的日志管理和维护。
56.综上，本发明信息共享系统是一个分布式系统，一个完整的信息共享流程由分布部署的共享服务共同协作完成，如基础信息汇总流程就是由各个共享单位交换结点的基础信息发送服务与中心结点的接收服务共同组成。因此，共享平台要提供远程部署的功能，减少实施及维护的成本。
57.本发明信息共享平台中需提供远程部署功能，共享服务配置人员可以直接将配置好的共享服务部署到指定的共享结点。
58.因此本发明在大数据共享过程考虑到数据来源的多样性，保证了数据传输的稳定性，及机构间数据共享的灵活性，让用户安全快捷的实现大数据间的数据共享功能。
59.以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。