一种基于桶分片的数据同步处理方法、系统及终端与流程

技术特征：
1.一种基于桶分片的数据同步处理方法，其特征在于，所述方法应用于分布式对象存储系统中，所述方法包括：对任一桶分片创建缓存，所述缓存用于存放所述任一桶分片的信息，所述信息包括：桶分片名称、所述任一桶分片上所有待处理桶分片任务的时间戳，以及用于进行桶分片任务计数的计数变量；根据所获取的桶分片处理请求，更新所述缓存；根据对所述缓存的更新结果，当处理桶分片任务时，利用缓存中的计数变量和待处理桶分片任务的时间戳，对当前在处理桶分片任务的计数变量以及当前在处理桶分片任务的处理时间进行赋值；判断当前在处理桶分片任务的计数变量是否不等于缓存中的任务计数，或者当前在处理桶分片任务的处理时间小于缓存中的时间戳；如果是，判定缓存中有新的待处理桶分片任务，并重新根据所获取的所述任一桶分片的处理请求，更新所述缓存，直到所述任一桶分片的所有待处理桶分片任务完成；如果否，判定缓存中没有新的待处理桶分片任务。2.根据权利要求1所述的一种基于桶分片的数据同步处理方法，其特征在于，当缓存中的时间戳为空时，判定当前在处理桶分片任务是所述任一桶分片的第一个待处理桶分片任务。3.根据权利要求1所述的一种基于桶分片的数据同步处理方法，其特征在于，所述根据所获取的桶分片处理请求，更新所述缓存，包括：根据所获取的桶分片处理请求，判断所述缓存中是否存在当前在处理桶分片任务；如果否，将与所述桶分片处理请求相对应的待处理桶分片任务加入所述缓存，同时将缓存中的计数变量加1；直接处理与所述任一桶分片的处理请求相对应的待处理桶分片任务；如果是，判断缓存中当前在处理桶分片任务的时间戳是否大于所述待处理桶分片任务的时间戳；如果当前在处理桶分片任务的时间戳大于所述待处理桶分片任务的时间戳，不对缓存进行更新；如果当前在处理桶分片任务的时间戳小于或等于所述待处理桶分片任务的时间戳，将所述待处理桶分片任务更新至缓存中，同时将缓存中的计数变量加1。4.根据权利要求1所述的一种基于桶分片的数据同步处理方法，其特征在于，根据对所述缓存的更新结果，当处理桶分片任务时，利用缓存中的计数变量和待处理桶分片任务的时间戳，对当前在处理桶分片任务的计数变量以及当前在处理桶分片任务的处理时间进行赋值，包括：当处理桶分片任务时，将缓存的计数变量中的任务计数赋值给当前在处理桶分片任务的计数变量；初始化当前在处理桶分片任务的处理时间变量；当前在处理桶分片上的对象处理完毕后获取处理时间；将所述处理时间赋值给处理时间变量并返回。5.一种基于桶分片的数据同步处理系统，其特征在于，所述系统应用于分布式对象存
储系统中，所述系统包括：缓存创建模块，用于对任一桶分片创建缓存，所述缓存用于存放所述任一桶分片的信息，所述信息包括：桶分片名称、所述任一桶分片上所有待处理桶分片任务的时间戳，以及用于进行桶分片任务计数的计数变量；缓存更新模块，用于根据所获取的桶分片处理请求，更新所述缓存；赋值模块，用于根据对所述缓存的更新结果，当处理桶分片任务时，利用缓存中的计数变量和待处理桶分片任务的时间戳，对当前在处理桶分片任务的计数变量以及当前在处理桶分片任务的处理时间进行赋值；更新判断模块，用于判断当前在处理桶分片任务的计数变量是否不等于缓存中的任务计数，或者当前在处理桶分片任务的处理时间小于缓存中的时间戳，如果是，判定缓存中有新的待处理桶分片任务，重新启动缓存更新模块，直到所述任一桶分片的所有待处理桶分片任务完成，如果否，判定缓存中没有新的待处理桶分片任务，不启动缓存更新模块。6.根据权利要求5所述的一种基于桶分片的数据同步处理系统，其特征在于，所述缓存更新模块包括：第一判断单元，用于根据所获取的桶分片处理请求，判断所述缓存中是否存在当前在处理桶分片任务；第一更新单元，用于当缓存中不存在当前在处理桶分片任务时，将与所述桶分片处理请求相对应的待处理桶分片任务加入所述缓存，同时将缓存中的计数变量加1；处理单元，用于将与所述桶分片处理请求相对应的待处理桶分片任务加入所述缓存之后，直接处理与所述任一桶分片的处理请求相对应的待处理桶分片任务；第二判断单元，用于当缓存中存在当前在处理桶分片任务时，判断缓存中当前在处理桶分片任务的时间戳是否大于所述待处理桶分片任务的时间戳；第二更新单元，用于当前在处理桶分片任务的时间戳小于所述待处理桶分片任务的时间戳时，将所述待处理桶分片任务更新至缓存中，同时将缓存中的计数变量加1，否则，不对缓存进行更新。7.根据权利要求5所述的一种基于桶分片的数据同步处理系统，其特征在于，所述赋值模块包括：第一赋值单元，用于当处理桶分片任务时，将缓存的计数变量中的任务计数赋值给当前在处理桶分片任务的计数变量；初始化单元，用于初始化当前在处理桶分片任务的处理时间变量；处理时间获取单元，用于当前在处理桶分片上的对象处理完毕后获取处理时间；第二赋值单元，用于将所述处理时间赋值给处理时间变量并返回。8.一种终端，其特征在于，所述终端包括：处理器以及与所述处理器通信连接的存储器，其中，所述存储器中存储有可被所述处理器执行的指令，所述指令被所述处理器执行，以使所述处理器能够执行权利要求1至4中任意一项所述的基于桶分片的数据同步处理方法。

技术总结
本申请公开了一种基于桶分片的数据同步处理方法、系统及终端，该方法包括：对任一桶分片创建缓存；更新缓存；根据对缓存的更新结果，对计数变量以及当前任务的处理时间进行赋值；判断当前在处理桶分片任务的计数变量是否不等于缓存中的任务计数，或者，当前在处理桶分片任务的处理时间小于缓存中的时间戳；如果是，判定缓存中有新的待处理桶分片任务并重新更新缓存；否则判定缓存中没有新的待处理桶分片任务。该系统包括：缓存创建模块、缓存更新模块、赋值模块和更新判断模块。该申请还包括一终端，终端包括：处理器以及与处理器通信连接的存储器。通过本申请，能够避免同步丢对象等故障问题，从而确保后续数据处理的顺利进行。从而确保后续数据处理的顺利进行。从而确保后续数据处理的顺利进行。


技术研发人员：李欢欢 何文龙 赵煜 陶桐桐
受保护的技术使用者：苏州浪潮智能科技有限公司
技术研发日：2022.02.25
技术公布日：2022/5/31