数据处理系统与方法、设备、存储介质及程序产品与流程
本申请涉及云计算,尤其涉及一种数据处理系统与方法、设备、存储介质及程序产品。
背景技术:
1、在越来越多的云存储场景中,为了实现元数据的高可用性,开始采用分布式架构对元数据进行组织管理,该分布式架构中包括负责提供元数据服务的多个节点,多个节点之间的元数据保持一致性,这样在一个节点发生异常时,可以切换至其它节点,不影响整个系统的可用性。
2、在实际应用中,基于raft(replication and fault tolerant,分布式共识算法)协议可以维护多个节点之间部署元数据的一致性。即由选举出的领导节点面向用户提供元数据服务,在领导节点发生异常时,其它节点会重新选举出新的领导节点。其中,上述多个节点形成一个raft工作组。随着元数据访问需求的日益增长,以raft工作组为单位进行横向扩展出多个raft工作组,以满足元数据服务的性能要求。
3、以raft工作组的方式提供元数据服务,可以保证较高的可用性,但存在资源浪费问题,尤其是随着raft工作组的不断扩展,资源浪费问题会越发严重。
技术实现思路
1、本申请实施例提供一种数据处理系统与方法、设备、存储介质及程序产品,用以在分布式系统中的保证服务高可用性的同时,提高系统中物理机的资源利用率。
2、本申请实施例提供一种数据处理系统,包括:管控节点,以及分散部署在多台物理机上的多个服务分组,所述服务分组包括多个服务实例;其中,同一服务分组中的多个服务实例分别部署在不同的物理机上,同一物理机上部署有至少两个服务分组中的服务实例;其中,同一服务分组中的多个服务实例之间执行选主流程以选举主实例,所述主实例用于响应客户端的服务请求,并向其所属服务分组中的其它服务实例同步所述服务请求,以与其它服务实例保持数据一致性;所述管控节点,用于在监测到同一物理机上出现至少两个主实例的情况下,触发切主流程,以将所述至少两个主实例切换到至少两台物理机上。
3、本申请实施例提供一种数据处理系统,包括:管控节点,以及分散部署在多台物理机上的多个服务分组,所述服务分组包括多个服务进程;其中,同一服务分组中的多个服务进程分别部署在不同的物理机上,同一物理机上部署有至少两个服务分组中的服务进程,且同一物理机上属于不同服务分组的服务进程之间资源隔离;其中,同一服务分组中的多个服务进程之间执行选主流程以选举主进程,所述主进程用于响应客户端的服务请求,并将所述服务请求以日志方式同步给所属服务分组中的其它服务进程,以与其它服务进程保持数据一致性;所述管控节点,用于在监测到同一物理机上出现至少两个主进程的情况下,触发切主流程,以将所述至少两个主进程切换到至少两台物理机上。
4、本申请实施例提供一种数据处理系统,包括:管控节点,以及分散部署在多台物理机上的多个服务分组,所述服务分组包括多个服务线程;其中,同一服务分组中的多个服务线程分别部署在不同的物理机上,同一物理机上部署有至少两个服务分组中的服务线程,且同一物理机上属于不同服务分组的服务线程部署在同一共享进程中;其中,同一服务分组中的多个服务线程之间执行选主流程以选举主线程,所述主线程用于响应客户端的服务请求,并将所述服务请求以日志方式同步给所属服务分组中的其它服务线程,以与其它服务线程保持数据一致性;所述管控节点,用于在监测到同一物理机上出现至少两个主线程的情况下,触发切主流程,以将所述至少两个主线程切换到至少两台物理机上。
5、本申请实施例提供一种数据处理方法,在多台物理机上分散部署有多个服务分组,所述服务分组包括多个服务实例;其中,同一服务分组中的多个服务实例分别部署在不同的物理机上,同一物理机上部署有至少两个服务分组中的服务实例;所述方法包括:监测同一物理机上的主实例的数量;所述主实例是同一服务分组中的多个服务实例之间执行选主流程选举出的,所述主实例用于响应客户端的服务请求并向其所属服务分组中的其它服务实例同步所述服务请求,以与其它服务实例保持数据一致性;以及,在监测到同一物理机上出现至少两个主实例的情况下,触发切主流程,以将所述至少两个主实例切换到至少两台物理机上。
6、本申请实施例还提供一种电子设备,包括存储器和处理器,所述存储器,用于存储计算机程序,所述处理器与所述存储器耦合,用于执行所述计算机程序,以用于实现本申请实施例提供的各个方法中的步骤。
7、本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,当所述计算机程序被处理器执行时,致使处理器能够实现以上所述方法中的步骤。
8、本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序/指令,当计算机程序/指令被处理器执行时,致使处理器能够实现上述方法实施例中的步骤。
9、在本申请实施例中,提供一种数据处理系统,将同一服务分组的多个服务实例分别部署在不同的物理机上,同一物理机上部署有不同的服务分组的服务实例,以使不同物理机上的服务实例的数量趋于平均,从而充分复用已有机器的资源,提高资源利用率;以及,在监测到同一物理机上出现不同服务分组的主实例的情况下,执行切主流程,以将不同服务分组的主实例切换到不同的物理机上,平衡各服务分组的主实例和其它服务实例的资源消耗水平,实现物理机之间的负载均衡。
10、进一步,在本申请的可选实施例中,服务实例实现为服务进程,同一物理机上部署的不同服务分组的服务进程之间资源隔离,互不影响,提高服务的可靠性和安全性。
11、进一步,在本申请的可选实施例中,服务实例实现为服务线程,且同一物理机上属于不同服务分组的服务线程部署在同一共享进程中,由于不同服务分组的服务线程共享同一进程空间,降低进程创建的资源开销。
1.一种数据处理系统,其特征在于,包括:管控节点,以及分散部署在多台物理机上的多个服务分组,所述服务分组包括多个服务实例;其中,同一服务分组中的多个服务实例分别部署在不同的物理机上,同一物理机上部署有至少两个服务分组中的服务实例;
2.根据权利要求1所述的系统,其特征在于,所述管控节点具体用于:
3.根据权利要求1所述的系统,其特征在于,所述服务实例实现为服务进程,且同一物理机上属于不同服务分组的服务进程之间资源隔离。
4.根据权利要求3所述的系统,其特征在于,所述物理机,用于接收第一配置信息,所述第一配置信息包括指示创建至少两个服务分组的分组数量和与所述分组数量对应的至少两个资源描述信息;根据所述分组数量创建至少两个服务分组并为所述至少两个服务分组分别创建服务进程,以及根据所述至少两个资源描述信息,分别为所述至少两个服务分组中的服务进程分配相互隔离的物理资源。
5.根据权利要求1所述的系统,其特征在于,所述服务实例实现为服务线程,且同一物理机上属于不同服务分组的服务线程部署在同一共享进程中。
6.根据权利要求5所述的系统,其特征在于,所述物理机,用于接收第二配置信息,所述第二配置信息包括指示创建至少两个服务线程的线程数量和共享资源描述信息;根据所述线程数量创建共享进程并为所述共享进程创建至少两个服务线程,以及根据所述共享资源描述信息为所述共享进程分配物理资源,所述物理资源包括内存资源和非内存资源,所述内存资源包括所述至少两个服务线程各自的内存分区,且所述至少两个服务线程共享所述非内存资源。
7.根据权利要求1-6中任一项所述的系统,其特征在于,所述服务实例还用于:在启动后向所述管控节点发送注册请求,以向所述管控节点进行注册,所述注册请求包括所述服务实例的标识信息以及所述服务实例所属服务分组的标识信息;
8.根据权利要求1-6中任一项所述的系统,其特征在于,所述服务分组的数量小于等于所述物理机的数量,所述至少两个服务分组中的主实例分布在不同物理机上。
9.根据权利要求1-6中任一项所述的系统,其特征在于,所述数据处理系统为元数据存储系统,所述元数据存储系统包括多个数据分区,不同服务分组中的服务实例负责针对不同的数据分区提供元数据服务。
10.一种数据处理方法,其特征在于,在多台物理机上分散部署有多个服务分组,所述服务分组包括多个服务实例;其中,同一服务分组中的多个服务实例分别部署在不同的物理机上,同一物理机上部署有至少两个服务分组中的服务实例;所述方法包括:
11.根据权利要求10所述的方法,其特征在于,在监测到同一物理机上出现至少两个主实例的情况下,触发切主流程,以将所述至少两个主实例切换到至少两台物理机上,包括:
12.根据权利要求11所述的方法,其特征在于,从所述至少两个主实例所属的至少两个服务分组中确定需要切换主实例的目标服务分组,包括:
13.根据权利要求12所述的方法,其特征在于,从所述目标服务分组中的其它服务实例中选择目标实例,包括:
14.根据权利要求10-13任一项所述的方法,其特征在于,所述服务实例实现为服务进程,且同一物理机上属于不同服务分组的服务进程之间资源隔离,所述方法还包括:
15.根据权利要求14所述的方法,其特征在于,还包括:
16.根据权利要求15所述的方法,其特征在于,以所述服务分组为升级粒度,对所述多个服务分组中的服务进程进行灰度升级,包括:
17.根据权利要求10-13任一项所述的方法,其特征在于,所述服务实例实现为服务线程,且同一物理机上属于不同服务分组的服务线程部署在同一共享进程中,所述方法还包括:
18.根据权利要求17所述的方法,其特征在于,还包括:
19.一种电子设备,其特征在于,包括:存储器和处理器,所述存储器用于存储计算机程序,所述处理器与所述存储器耦合,用于执行所述计算机程序,以用于实现权利要求10-17任一项所述方法中的步骤。
20.一种存储有计算机程序/指令的计算机可读存储介质,其特征在于,当所述计算机程序/指令被处理器执行时,致使所述处理器能够实现权利要求10-17任一项所述方法中的步骤。
21.一种计算机程序产品,其特征在于,包括:计算机程序/指令,当所述计算机程序/指令被处理器执行时,致使所述处理器能够实现权利要求10-17任一项所述方法中的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com