一种基于机架感知的分布式存储副本部署方法及系统与流程
本公开的实施例涉及计算机,具体涉及一种基于机架感知的分布式存储副本部署方法及系统。
背景技术:
1、目前,在分布式存储系统中,采用多副本策略将数据分散存储于不同机架的节点上,是保障数据可靠性和提升读取并发能力的常见机制。在进行副本部署时,通常采用的方式为:基于各机架的剩余存储容量占比设定静态权重值,并依据该权重值的大小来选择用于存储数据副本的目标机架,以将数据存储。
2、然而,当采用上述方式来选择存储机架,经常会存在如下技术问题:
3、当部分机架的剩余容量充足但当前写入压力集中、响应延迟增大时,传统方式仍会将其选为目标机架,容易导致集群整体负载分布不均,进而影响系统的写入吞吐效率,增加了写入时间。此外,机架间的网络拓扑距离也会影响写入速度和数据同步的延迟。在进行机架筛选时,没有结合机架间的网络拓扑距离进行筛选,可能导致副本写入时间增加。
4、该背景技术部分中所公开的以上信息仅用于增强对本发明构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。
技术实现思路
1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。
2、本公开的一些实施例提出了一种基于机架感知的分布式存储副本部署方法、装置、电子设备和计算机可读介质,来解决以上背景技术部分提到的技术问题中的一项或多项。
3、第一方面,本公开的一些实施例提供了一种基于机架感知的分布式存储副本部署方法,包括:响应于接收到数据写入请求,获取上述数据写入请求对应的待存储数据和上述待存储数据的副本数量,以及获取机架集;对于上述机架集中的每个机架,执行第一操作步骤:确定上述机架的实时利用率和剩余容量占比;基于上述机架的实时利用率和预设安全水位阈值,确定上述机架的惩罚程度信息,其中,上述预设安全水位阈值是指触发惩罚机制的利用率临界值;基于上述剩余容量占比和上述惩罚程度信息,生成上述机架的动态选择权重,以得到动态选择权重集;基于预设的机架选择条件,对上述动态选择权重集中的每个动态选择权重进行条件判断处理,得到初选机架集,并对上述初选机架集进行排序处理,得到目标存储机架序列;确定上述副本数量对应的机架值,以及基于上述机架值,对上述目标存储机架序列进行筛选处理,得到目标存储机架,以将上述待存储数据存储至上述目标存储机架。
4、第二方面,本公开的一些实施例提供了一种基于机架感知的分布式存储副本部署装置,包括:获取单元,被配置成响应于接收到数据写入请求,获取上述数据写入请求对应的待存储数据和上述待存储数据的副本数量,以及获取机架集;权重生成单元,被配置成对于上述机架集中的每个机架,执行第一操作步骤:确定上述机架的实时利用率和剩余容量占比;基于上述机架的实时利用率和预设安全水位阈值,确定上述机架的惩罚程度信息,其中,上述预设安全水位阈值是指触发惩罚机制的利用率临界值;基于上述剩余容量占比和上述惩罚程度信息,生成上述机架的动态选择权重,以得到动态选择权重集;筛选排序单元,被配置成基于预设的机架选择条件,对上述动态选择权重集中的每个动态选择权重进行条件判断处理,得到初选机架集,并对上述初选机架集进行排序处理,得到目标存储机架序列;部署单元,被配置成确定上述副本数量对应的机架值,以及基于上述机架值,对上述目标存储机架序列进行筛选处理,得到目标存储机架,以将上述待存储数据存储至上述目标存储机架。
5、第三方面,本公开的一些实施例提供了一种电子设备,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面中任一实现方式描述的方法。
6、第四方面,本公开的一些实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如第一方面中任一实现方式描述的方法。
7、本公开的上述各个实施例具有如下有益效果:通过本公开的一些实施例的一种基于机架感知的分布式存储副本部署方法,可以降低读写延迟,使各机架负载趋于均衡。具体来说,造成相关技术中出现负载不均衡和i/o性能下降的问题的原因在于:副本部署方案将各机架的剩余容量作为权重分配依据,没有区分实时利用率的差异,且权重参数固定不变,适应不了负载的动态变化。基于此,本公开的一些实施例的基于机架感知的分布式存储副本部署方法,首先,响应于接收到数据写入请求,获取上述数据写入请求对应的待存储数据和上述待存储数据的副本数量,以及获取机架集。由此,明确了待存储数据的副本存储需求以及可供选择的机架范围,从源头上降低了因数据缺失或过期导致的选择偏差对写入性能的负面影响。其次,对于上述机架集中的每个机架,执行第一操作步骤:确定上述机架的实时利用率和剩余容量占比;基于上述机架的实时利用率和预设安全水位阈值,确定上述机架的惩罚程度信息,其中,上述预设安全水位阈值是指触发惩罚机制的利用率临界值;基于上述剩余容量占比和上述惩罚程度信息,生成上述机架的动态选择权重,以得到动态选择权重集。由此,生成的动态选择权重能够随各机架负载变化实时更新,使高负载机架被选中的概率降低、低负载机架被选中的概率提高,降低了机架级i/o请求排队等待时间,提升了集群整体的写入吞吐量。然后,基于预设的机架选择条件,对上述动态选择权重集中的每个动态选择权重进行条件判断处理,得到初选机架集,并对上述初选机架集进行排序处理,得到目标存储机架序列。由此,动态选择权重高的机架优先进入候选序列,同时降低了因目标机架选择不当导致的后续数据写入失败率。最后,确定上述副本数量对应的机架值,以及基于上述机架值,对上述目标存储机架序列进行筛选处理,得到目标存储机架,以将上述待存储数据存储至上述目标存储机架。由此,避免多个副本同时集中写入高负载机架,从而防止机架因过载导致响应变慢。综上,该实施方式可以降低读写延迟,使各机架负载趋于均衡。
1.一种基于机架感知的分布式存储副本部署方法,其特征在于,包括:
2.根据权利要求1所述的基于机架感知的分布式存储副本部署方法,其特征在于,所述基于所述机架的实时利用率和预设安全水位阈值,确定所述机架的惩罚程度信息的步骤包括:
3.根据权利要求2所述的基于机架感知的分布式存储副本部署方法,其特征在于,在所述基于所述偏离度和所述预设硬限制阈值,确定惩罚程度信息的步骤之后,还包括:
4.根据权利要求3所述的基于机架感知的分布式存储副本部署方法,其特征在于,所述基于所述惩罚衰减因子,对所述惩罚程度信息进行更新处理,得到更新后的惩罚程度信息的步骤包括:
5.根据权利要求1所述的基于机架感知的分布式存储副本部署方法,其特征在于,所述基于所述剩余容量占比和所述惩罚程度信息,生成所述机架的动态选择权重,以得到动态选择权重集的步骤包括:
6.根据权利要求1所述的基于机架感知的分布式存储副本部署方法,其特征在于,所述基于预设的机架选择条件,对所述动态选择权重集中的每个动态选择权重进行条件判断处理,得到初选机架集,并对所述初选机架集进行排序处理,得到目标存储机架序列的步骤包括:
7.根据权利要求6所述的基于机架感知的分布式存储副本部署方法,其特征在于,所述基于所述网络拓扑树,确定所述机架集中任意两个机架之间的距离值,得到至少一个网络距离值的步骤包括:
8.一种基于机架感知的分布式存储副本部署装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读介质,其特征在于,其上存储有计算机程序,其中,所述程序被处理器执行时实现如权利要求1-7中任一所述的基于机架感知的分布式存储副本部署方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com