任务处理方法、装置、电子设备和存储介质与流程

摘要: 本申请涉及计算机,尤其涉及一种任务处理方法、装置、电子设备和存储介质。背景技术:1、在分布式系统中,单个任务通常需要分发给多个角色执行。所有的角色完成后,任务才...
任务处理方法、装置、电子设备和存储介质与流程

本申请涉及计算机,尤其涉及一种任务处理方法、装置、电子设备和存储介质。

背景技术:

1、在分布式系统中,单个任务通常需要分发给多个角色执行。所有的角色完成后,任务才算整体完成。以分布式存储系统中多副本机制的数据写入为例,目前典型的实现分为客户端分发和服务端分发两种。

2、客户端分发是指客户端直接将数据分发给多个分片,每个分片将数据持久化写入到存储介质后直接给客户端回复,客户端收到所有分片的回复后认为写入操作完成。服务端分发是指多个分片间存在一个主角色,客户端先将写入请求发送至主分片,由主分片分发给其他从分片,从分片将数据持久化写入存储介质后,回复给主分片,主分片自己写入成功并收到所有从分片回复后再给客户端回复。

3、这两种方案都存在的问题是:当分片数据较多时,比如冗余机制为纠删码时,典型应用是4+2、8+2甚至16+2,因为每个分片的运行时状态不可能完全保持实时一致导致响应速度不同,整个写入完成的时间取决于速度最慢的那个分片,分片数越多时木桶效应也即长尾问题就会越明显,对性能要求较高的分布式系统长尾问题是其面临的一个典型性能问题。

技术实现思路

1、本公开的实施例提供了一种任务处理方法、装置、电子设备和存储介质。

2、第一方面,本公开的实施例提供了一种任务处理方法,包括:获取目标任务;确定目标任务的类型;根据类型,对目标任务进行拆分,得到多个任务分片,其中,各任务分片的执行耗时一致;将各任务分片分发给执行单元以供执行。

3、第二方面,本公开的实施例提供了一种任务处理装置,包括:任务获取单元,被配置成获取目标任务;类型确定单元,被配置成确定目标任务的类型;任务划分单元,被配置成根据类型,对目标任务进行拆分,得到多个任务分片,其中,各任务分片的执行耗时一致;任务分发单元,被配置成将各任务分片分发给执行单元以供执行。

4、第三方面,本公开的实施例提供了一种电子设备,包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如第一方面所描述的任务处理方法。

5、第四方面,本公开的实施例提供了一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所描述的任务处理方法。

6、应用本公开的技术方案,可以在获取到目标任务后,确定目标任务的类型。进一步根据上述类型,对目标任务进行拆分,得到多个任务分片,且各任务分片在执行时的耗时一致。最后,将各任务分片分发给执行单元以供执行。本公开的技术方案,通过对目标任务进行划分,使得划分后得到的各任务分片的执行耗时一致,从而能够解决任务执行过程中的长尾问题。

7、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种任务处理方法,包括:

2.根据权利要求1所述的方法,其中,所述类型包括:前台任务和后台任务;以及

3.根据权利要求1所述的方法,其中,所述方法还包括:

4.根据权利要求1所述的方法,其中,所述方法还包括:

5.根据权利要求2所述的方法,其中,所述方法还包括:

6.根据权利要求5所述的方法,其中,所述方法还包括:

7.根据权利要求6所述的方法,其中,所述方法还包括:

8.一种任务处理装置,包括:

9.一种电子设备,包括存储器、处理器、总线及存储在存储器上并可在处理器上运行的计算机程序,其中,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的任务处理方法。

10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1至7任一项所述的任务处理方法。