基于逻辑对象键代理清单的分布式大对象存取方法及系统与流程

摘要: 本发明涉及分布式存储与云计算中的数据迁移,具体涉及基于逻辑对象键代理清单的分布式大对象存取方法及系统。背景技术:1、随着云计算、分布式存储以及多数据中心架构的发...
基于逻辑对象键代理清单的分布式大对象存取方法及系统与流程

本发明涉及分布式存储与云计算中的数据迁移,具体涉及基于逻辑对象键代理清单的分布式大对象存取方法及系统。

背景技术:

1、随着云计算、分布式存储以及多数据中心架构的发展,企业业务系统中产生的数据规模不断增长,大对象在不同存储域、不同数据中心之间的迁移和存取需求日益增加;对于由大量数据分片组成的分布式大对象,其通常需要依赖对象标识、分片清单以及代理节点完成数据定位、传输和重组。因此,如何保证大对象跨域存取过程中的连续性和可靠性,成为分布式存储系统中的重要问题。

2、现有的大对象跨域迁移或存取方式通常通过对象清单记录大对象对应的分片信息,并利用代理节点完成源存储域与目标存储域之间的数据转发。在实际处理过程中,代理节点需要根据对象清单维护分片位置、传输状态、校验状态等相关信息,以支持大对象的持续读取和重组;然而,现有方案中对象清单与代理节点处理状态之间缺少有效关联,当代理节点发生切换或者迁移任务由其他节点接管时,新的代理节点难以快速恢复前序代理已经建立的分片处理状态;进一步地,由于大对象通常包含数量较多的数据分片,在跨域传输过程中,部分分片可能已经完成传输和校验,而部分分片仍处于待处理状态。当代理节点发生异常切换时,后续代理节点无法准确获取已完成分片的处理进度、对应传输状态以及剩余分片的处理信息,容易导致重新解析对象清单、重复建立传输关系或者重复执行数据校验,从而增加系统资源消耗并降低大对象存取效率;此外,现有方案通常依赖静态方式维护对象清单和分片状态信息,难以适应跨域迁移过程中网络状态变化、代理节点切换以及分片处理进度动态变化等情况。当不同代理节点之间无法保持清单处理上下文的连续性时,可能造成大对象存取任务中断,影响数据迁移过程中的一致性和可靠性。

技术实现思路

1、本发明的目的在于提供基于逻辑对象键代理清单的分布式大对象存取方法及系统,解决现有技术存在的问题。

2、为实现上述目的,本发明提供如下技术方案:基于逻辑对象键代理清单的分布式大对象存取方法,包括:

3、s1、获取跨域迁移任务中的分布式大对象的清单存取请求,得到初始存取状态;

4、s2、对初始存取状态包含的节点运行特征进行分类处理,确定代理节点的节点切换标识;

5、s3、若节点切换标识指示发生节点切换,则从前序代理的持久化存储区域获取与逻辑对象键对应的校验信息与进度追踪记录,获得状态同步数据集;

6、s4、识别状态同步数据集中已完成分片的传输通道标识,根据传输通道标识构建状态交接矩阵;

7、s5、根据状态交接矩阵,对未处理分片的网络连通性进行预测,确定未处理分片对应的目标传输通道;

8、s6、针对目标传输通道,把状态交接矩阵下发至当前代理节点,根据逻辑对象键将当前代理节点与代理清单关联,获得连续的清单存取上下文;

9、s7、根据连续的清单存取上下文关联的逻辑对象键与分片状态映射关系,对未处理分片的校验依赖关系进行恢复,确定目标校验规则集;

10、s8、通过目标校验规则集对未处理分片在目标传输通道中的传输数据进行一致性比对,得到目标域重组对象。

11、优选的,所述s1包括获取跨域迁移任务中的分布式大对象的清单存取请求,从清单存取请求中提取分布式大对象对应的逻辑对象键及前序代理的分片处理记录;根据逻辑对象键获取对应的代理清单,根据代理清单构建状态比对矩阵;若分片处理记录与状态比对矩阵不匹配,则生成缺失分片索引;根据缺失分片索引生成迁移一致性标识,对迁移一致性标识及代理清单进行解析,得到初始存取状态。

12、优选的,所述s2包括获取初始存取状态,融合初始存取状态的负载特征与延迟特征,获得节点运行特征;采用决策树模型对节点运行特征进行分类处理,得到叶子节点分类结果;根据叶子节点分类结果进行计算,获得目标状态转移概率;通过目标状态转移概率查询映射关系,根据映射关系确定代理节点的节点切换标识。

13、优选的,所述s3包括获取节点切换标识,若节点切换标识指示发生节点切换,则根据逻辑对象键从持久化存储区域读取原始校验数据块与原始进度日志;对原始校验数据块进行解析获得校验信息,根据校验信息对原始进度日志进行过滤,获得进度追踪记录;对校验信息与进度追踪记录进行拼接处理,生成状态恢复序列;对状态恢复序列进行封装,获得状态同步数据集。

14、优选的,所述s4包括采用主成分分析法对状态同步数据集进行特征提取,得到分片序列特征,根据分片序列特征识别已完成分片的传输通道标识;通过传输通道标识提取同步节点映射关系,根据同步节点映射关系计算传输负载数值;若传输负载数值大于预设的负载阈值,则对同步节点映射关系进行矩阵元素转换,获得初始交接矩阵,通过对初始交接矩阵进行奇异值分解处理,确定状态交接矩阵。

15、优选的,所述s5包括根据状态交接矩阵提取通道拓扑特征并进行拼接处理,得到通道状态特征向量;将未处理分片与通道状态特征向量进行融合,获得连通性预测样本;采用支持向量机对连通性预测样本分类,确定未处理分片的网络连通性概率;若网络连通性概率的最大概率数值大于预设阈值,则根据最大概率数值对应的通道标识确定目标传输通道。

16、优选的,所述s6包括获取目标传输通道的通道负载状态,根据通道负载状态对状态交接矩阵进行分片处理,得到交接矩阵分片集合;将交接矩阵分片集合下发至当前代理节点,根据当前代理节点重组交接矩阵分片集合并提取逻辑对象键;根据逻辑对象键检索代理清单,如果检索到匹配的代理清单,则建立当前代理节点与代理清单的映射关联并生成节点清单关联记录;获取节点清单关联记录对应的前序代理的运行环境并提取得到环境重构快照;根据环境重构快照在当前代理节点内存中重构前序代理的运行环境,获得连续的清单存取上下文。

17、优选的,所述s7包括获取连续的清单存取上下文,根据连续的清单存取上下文解析出逻辑对象键;根据逻辑对象键提取对应的分片状态映射关系,利用分片状态映射关系定位未处理分片;若未处理分片存在缺失节点,则针对未处理分片构建依赖拓扑图;根据依赖拓扑图对未处理分片的校验依赖关系进行恢复,确定目标校验规则集。

18、优选的,所述s8包括根据目标传输通道的特征向量对校验规则集进行转换,得到规则映射矩阵;通过规则映射矩阵对传输数据进行一致性比对,若符合条件则确定未处理分片为通过一致性比对的分片;根据代理清单对通过一致性比对的分片进行关联分析,获得重组拓扑图;根据重组拓扑图对通过一致性比对的分片进行重组处理,得到目标域重组对象。

19、基于逻辑对象键代理清单的分布式大对象存取系统,用于实现所述的基于逻辑对象键代理清单的分布式大对象存取方法的步骤,所述系统包括:

20、请求解析模块,获取跨域迁移任务中的分布式大对象的清单存取请求,从清单存取请求中提取分布式大对象对应的逻辑对象键及前序代理的分片处理记录,根据逻辑对象键获取对应的代理清单,对分片处理记录和代理清单进行解析,得到初始存取状态;

21、切换识别模块,根据初始存取状态,采用决策树模型对初始存取状态包含的节点运行特征进行分类处理,确定代理节点的节点切换标识;

22、状态同步模块,若节点切换标识指示发生节点切换,则从前序代理的持久化存储区域获取与逻辑对象键对应的校验信息与进度追踪记录,对校验信息与进度追踪记录进行拼接处理,获得状态同步数据集;

23、矩阵构建模块,通过对状态同步数据集进行特征提取,识别状态同步数据集中已完成分片的传输通道标识,根据传输通道标识构建状态交接矩阵;

24、通道确定模块,根据状态交接矩阵,采用支持向量机对未处理分片的网络连通性进行预测,确定未处理分片对应的目标传输通道;

25、上下文重构模块,针对目标传输通道,把状态交接矩阵下发至当前代理节点,根据逻辑对象键将当前代理节点与代理清单关联,并在当前代理节点内存中重构前序代理的运行环境,获得连续的清单存取上下文;

26、规则恢复模块,获取连续的清单存取上下文,根据连续的清单存取上下文关联的逻辑对象键与分片状态映射关系,对未处理分片的校验依赖关系进行恢复,确定目标校验规则集;

27、对象重组模块,通过目标校验规则集对未处理分片在目标传输通道中的传输数据进行一致性比对,并根据代理清单对通过一致性比对的分片进行重组,得到目标域重组对象。

28、由上述技术方案可知,本发明具有如下有益效果:

29、该基于逻辑对象键代理清单的分布式大对象存取方法及系统,通过逻辑对象键建立分布式大对象与代理清单之间的关联关系,在代理节点发生切换时,基于前序代理保留的分片处理记录、校验信息及进度追踪记录恢复对应的初始存取状态,并结合状态同步数据集和状态交接矩阵对已完成分片与未处理分片的处理状态进行衔接;同时,根据未处理分片的网络连通性确定相应的目标传输通道,并在当前代理节点中重构前序代理的运行环境,以形成连续的清单存取上下文,进而基于逻辑对象键与分片状态映射关系恢复未处理分片的校验依赖关系,并按照目标校验规则集完成后续数据的一致性比对和对象重组,由此能够减少代理节点切换后重新解析代理清单、重复建立传输关系以及重复校验已完成分片所造成的额外处理开销,提高分布式大对象跨域存取过程中的状态继承效率、任务连续性、数据一致性和迁移可靠性。