参数调优方法、电子设备和计算机程序产品与流程

摘要: 本技术属于数据处理,尤其涉及一种参数调优方法、电子设备和计算机程序产品。背景技术:1、磁盘io性能调优,指针对磁盘存储设备,调整io测试/业务运行相关配置参数,...
参数调优方法、电子设备和计算机程序产品与流程

本技术属于数据处理,尤其涉及一种参数调优方法、电子设备和计算机程序产品。

背景技术:

1、磁盘 io 性能调优,指针对磁盘存储设备,调整 io 测试 / 业务运行相关配置参数,开展读写压力测试,筛选最优参数组合,改善磁盘读写吞吐、iops、访问时延等指标的优化过程。

2、磁盘 io 性能调优通常需要围绕块大小、队列深度、读写模式等测试工具配置参数开展多轮迭代测试,通过反复压测、数据观察和参数调整寻找较优配置。

3、然而现有技术在参数调优过程中高度依赖测试人员经验,不仅流程繁琐,而且不同人员的参数选择和判断标准存在差异,难以形成统一、可复现、标准化的自动化调优体系,从而导致测试成本较高、测试周期较长。

技术实现思路

1、有鉴于此,本技术实施例提供了一种参数调优方法、电子设备和计算机程序产品,以解决现有的参数调优方法存在的测试成本较高、测试周期较长的问题。

2、本技术实施例的第一方面提供了一种参数调优方法,包括:在使用目标测试工具对磁盘存储设备进行性能测试的情况下,使用目标采集代理程序采集目标测试数据,其中,所述目标测试工具配置有至少一个待优化的配置参数;基于所述配置参数和所述目标测试数据中的至少一种,从多个参数调优策略中确定目标调优策略,其中,所述参数调优策略用于对所述配置参数进行参数调优;基于所述目标调优策略对所述至少一个待优化的配置参数进行参数调优。

3、根据本技术的实施例,所述目标采集代理程序包括时序指标采集代理程序。

4、根据本技术的实施例,所述使用目标采集代理程序采集目标测试数据,包括:基于预设采样周期,使用所述时序指标采集代理程序从所述目标测试工具采集原始测试数据;对所述原始测试数据进行标准化解析,得到所述目标测试数据。

5、根据本技术的实施例,所述多个参数调优策略包括第一调优策略和第二调优策略,所述第一调优策略表征使用贝叶斯算法进行参数调优,所述第二调优策略表征使用网格搜索算法和爬山算法进行参数调优。

6、根据本技术的实施例,所述基于所述配置参数和所述目标测试数据中的至少一种,从多个参数调优策略中确定目标调优策略,包括:在所述配置参数的参数维度大于预设数值的情况下,确定所述目标调优策略为所述第一调优策略;在所述配置参数的参数维度不大于预设数值的情况下,基于所述目标测试数据,从所述第一调优策略和所述第二调优策略中确定所述目标调优策略。

7、根据本技术的实施例,所述目标测试数据包括单次io基准测试时长。

8、根据本技术的实施例,所述基于所述目标测试数据,从所述第一调优策略和所述第二调优策略中确定所述目标调优策略,包括:在所述单次io基准测试时长大于时长阈值的情况下,确定所述目标调优策略为所述第一调优策略;在所述单次io基准测试时长不大于所述时长阈值的情况下,确定所述目标调优策略为所述第二调优策略。

9、根据本技术的实施例,所述多个参数调优策略包括第一调优策略和第二调优策略,所述第一调优策略表征使用贝叶斯算法进行参数调优,所述第二调优策略表征使用网格搜索算法和爬山算法进行参数调优。

10、根据本技术的实施例,所述基于所述配置参数和所述目标测试数据中的至少一种,从多个参数调优策略中确定目标调优策略,包括:在所述配置参数的参数维度大于预设数值的情况下,确定所述目标调优策略为所述第一调优策略;在所述配置参数的参数维度不大于所述预设数值的情况下,根据所述配置参数和所述目标测试数据,确定综合成本指标;基于所述综合成本指标,从所述第一调优策略和所述第二调优策略中确定所述目标调优策略。

11、根据本技术的实施例,根据所述配置参数和所述目标测试数据,确定综合成本指标,包括:根据所述配置参数、所述目标测试数据和各自对应的系数,确定所述综合成本指标,其中,所述系数基于所述磁盘存储设备的设备类型确定。

12、根据本技术的实施例,基于所述综合成本指标,从所述第一调优策略和所述第二调优策略中确定所述目标调优策略,包括:在所述综合成本指标位于第一区间的情况下,确定所述目标调优策略为所述第一调优策略;在所述综合成本指标位于第二区间的情况下,确定所述目标调优策略为所述第二调优策略,其中,所述第一区间大于所述第二区间。

13、根据本技术的实施例,所述多个参数调优策略还包括第三调优策略,所述第三调优策略表征使用网格搜索算法和贝叶斯算法进行参数调优。

14、根据本技术的实施例,参数调优方法还包括:在所述综合成本指标位于第三区间的情况下,确定所述目标调优策略为所述第三调优策略,其中,所述第一区间、所述第三区间和所述第二区间的范围依次减小。

15、根据本技术的实施例,所述网格搜索算法为目标粒度的网格搜索算法,所述爬山算法为局部爬山算法。

16、根据本技术的实施例,在所述目标调优策略为所述第二调优策略时,所述基于所述目标调优策略对所述至少一个待优化的配置参数进行参数调优,包括:基于各个待优化的配置参数的参数范围,使用所述目标粒度的网格搜索算法对多个待优化的配置参数进行参数优化,得到优化参数组合,其中,所述优化参数组合包括对应各个参数优化后的配置参数的参数范围;使用所述局部爬山算法对所述优化参数组合进行参数寻优,得到性能最优组合;使用所述性能最优组合对所述目标测试工具进行参数更新。

17、本技术实施例的第二方面提供了一种参数调优装置,包括:数据采集模块,用于在使用目标测试工具对磁盘存储设备进行性能测试的情况下,使用目标采集代理程序采集目标测试数据,其中,所述目标测试工具配置有至少一个待优化的配置参数;策略确定模块,用于基于所述配置参数和所述目标测试数据中的至少一种,从多个参数调优策略中确定目标调优策略,其中,所述参数调优策略用于对所述配置参数进行参数调优;参数调优模块,用于基于所述目标调优策略对所述至少一个待优化的配置参数进行参数调优。

18、本技术实施例的第三方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。

19、本技术实施例的第四方面提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

20、本技术实施例的第五方面提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。

21、本技术实施例与现有技术相比存在的有益效果是:通过搭建以采集代理程序为核心的自动化闭环调优架构,实现磁盘性能测试工具配置参数的全自动迭代调优,具备良好的跨平台兼容性与工具适配性,可适配各类主流运行系统与磁盘测试工具,兼容多种类型的磁盘存储设备,通用性与拓展性极强。本方法预置多种参数调优策略,可根据测试场景自适应匹配最优目标调优策略,有效适配不同调优场景需求、规避单一调优模式的局限性,大幅减少无效测试操作、降低测试成本,精准优化测试工具配置参数,保障调优精度与效率。本方法全程无需人工干预,彻底规避人工操作误差与失误,大幅缩短调优周期,同时依靠标准化流程保证调优结果的一致性与可复现性,显著提升磁盘性能测试参数调优的整体稳定性与实用性。