一种存储服务的性能优化方法、装置、电子设备与流程
本申请涉及数据处理,尤其涉及一种存储服务的性能优化方法、装置、电子设备。
背景技术:
1、在分布式存储系统中,响应客户端请求存入/读取具体数据的进程(objectstorage device,osd)存储服务依托rocksdb等键值存储引擎实现数据存储与读写,广泛应用于多领域数据存储场景。然而现有技术存在明显缺陷:键值存储引擎采用lsm树结构时,数据删除仅标记而非实际移除,导致大量无效数据累积,其自身触发的数据整理流程难以满足存储需求,易引发性能波动、读写效率下降甚至服务卡死;同一物理节点部署的多个存储服务若同时执行数据整理操作,会造成cpu负载突发增高,进而卡死线程;且缺乏基于节点资源状态及存储服务分布信息的统一协调调度机制,无法合理管控数据整理操作,影响系统整体稳定性与可用性。
技术实现思路
1、本申请提供了一种存储服务的性能优化方法、装置、电子设备,以至少解决相关技术中因键值存储引擎无效数据累积引发的性能波动、读写效率下降及服务卡死、同节点多个存储服务同时执行数据整理导致的cpu负载突发增高、缺乏统一协调调度机制影响系统稳定性与可用性的问题。
2、本申请提供了一种存储服务的性能优化方法,包括:
3、获取存储服务中键值存储引擎的数据操作统计信息,当数据操作统计信息满足预设触发阈值时,触发数据整理操作流程;
4、为位于同一物理节点且均满足触发条件的多个存储服务,生成具有差异化的执行时序,以按照执行时序对各个存储服务执行数据整理操作;
5、基于集群管理节点获取的节点资源状态及存储服务的分布信息,对数据整理操作进行协调调度;
6、根据协调调度结果,控制对应的存储服务执行数据整理操作。
7、本申请还提供了一种存储服务的性能优化装置,包括:
8、触发模块,被配置为获取存储服务中键值存储引擎的数据操作统计信息,当数据操作统计信息满足预设触发阈值时,触发数据整理操作流程;
9、生成模块,被配置为为位于同一物理节点且均满足触发条件的多个存储服务,生成具有差异化的执行时序,以按照执行时序对各个存储服务执行数据整理操作;
10、调度模块,被配置为基于集群管理节点获取的节点资源状态及存储服务的分布信息,对数据整理操作进行协调调度;
11、控制模块,被配置为根据协调调度结果,控制对应的存储服务执行数据整理操作。
12、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种存储服务的性能优化方法的步骤。
13、本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种存储服务的性能优化方法的步骤。
14、本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种存储服务的性能优化方法的步骤。
15、通过本申请,由于能够获取存储服务中键值存储引擎的数据操作统计信息并在满足预设触发阈值时触发数据整理操作流程,为同一物理节点上满足触发条件的多个存储服务生成差异化执行时序,且基于集群管理节点获取的节点资源状态及存储服务分布信息对数据整理操作进行协调调度后控制对应存储服务执行该操作,因此,可以解决相关技术中因键值存储引擎无效数据累积引发的性能波动、读写效率下降及服务卡死、同节点多个存储服务同时执行数据整理导致的cpu负载突发增高、缺乏统一协调调度机制影响系统稳定性与可用性的问题,达到稳定存储服务性能、合理管控硬件资源负载、提升分布式存储系统整体稳定性与可用性的技术效果。
1.一种存储服务的性能优化方法,其特征在于,包括:
2.根据权利要求1所述的存储服务的性能优化方法,其特征在于,所述获取存储服务中键值存储引擎的数据操作统计信息,包括:
3.根据权利要求1-2任一项所述的存储服务的性能优化方法,其特征在于,所述触发数据整理操作流程,包括:
4.根据权利要求1所述的存储服务的性能优化方法,其特征在于,所述为位于同一物理节点且均满足触发条件的多个存储服务,生成具有差异化的执行时序,包括:
5.根据权利要求4所述的存储服务的性能优化方法,其特征在于,所述时间映射规则支持动态配置,并能根据节点的实时负载状况调整所述延时时间的长短。
6.根据权利要求1所述的存储服务的性能优化方法,其特征在于,所述基于集群管理节点获取的节点资源状态及所述存储服务的分布信息,对数据整理操作进行协调调度,包括:
7.根据权利要求6所述的存储服务的性能优化方法,其特征在于,所述预设调度算法确保在同一物理节点上,任意两个数据整理操作的启动时刻间隔不小于预设的最小时间窗口。
8.根据权利要求1所述的存储服务的性能优化方法,其特征在于,还包括:
9.一种存储服务的性能优化装置,其特征在于,包括:
10.一种电子设备,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com