面向混合负载的多基准驱动调参服务器能效调优方法及装置

技术特征：
1.面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，包括离线模型训练阶段和在线能效调优阶段，所述离线模型训练阶段为在线能效调优阶段提供模型支持；所述离线模型训练阶段具体包括下述步骤：采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；建立多标签负载分类模型实现混合负载与多基准间的映射；为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；所述在线能效调优阶段具体包括下述步骤：后台持续运行基于能效曲线的快速dvfs方法完成细粒度的cpu频率调优；使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；通过能效预测模型和相似度评分计算出服务器综合能效评分；利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。2.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述采集服务器运行单一基准负载时的能效表现和性能计数器数值时，采用拉丁超立方采样生成参数组合，以10％为粒度分别将负载水平设置为10％～100％进行性能计数器与能效表现相关指标的采集。3.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述负载分类模型的训练过程中，使用特征筛选算法获取cpu、内存、磁盘负载上最显著的特征，然后采用k最近邻算法记录每个基准负载的数据记录；所述负载分类模型的输入为性能计数器，输出为相似度评分；所述性能预测模型的输入为性能计数器，输出为数值；所述最大性能评估模型的输入为cpu、内存、磁盘相关的系统可调节参数，输出为最大性能预测值；所述能效预测模型的输入为cpu、内存、磁盘相关的系统可调节参数以及估算性能值，输出为能效预测值；估算性能值为性能预测值与最大性能预测值中的更小者。4.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述后台持续运行基于能效曲线的快速dvfs方法完成细粒度的cpu频率调优，具体为：基于不同基准负载的能效曲线确定每个cpu频率的最优能效利用率区间(u
lower
,u
upper
)；根据当前逻辑核的利用率u
cur
依次调节每个cpu逻辑核的频率：若低于最优能效利用率下界u
lower
则降低频率，若u
cur
∈(u
lower
，u
upper
)则频率不变，若高于最优能效利用率上界u
upper
则升高频率，若u
cur
达到最大值则大幅提升频率。5.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分的步骤具体为：
读取离线训练好的k最近邻模型；利用k最近邻模型计算出当前负载数据点与不同基准的距离；选出cpu、内存、磁盘三个类别中距离当前负载数据点最接近的基准负载；将所选的三个基准负载与当前负载数据点的距离进行线性转换得到权重向量w＝{w
cpu
，w
mem
，w
io
}，其中w
cpu
，w
mem
，w
io
分别为计算密集型、内存密集型、io密集型权重；使用相应基准负载的性能预测模型获取性能预测值作为负载偏好度向量p＝{p
cpu
，p
mem
，p
io
}，其中p
cpu
，p
mem
，p
io
分别为计算密集型、内存密集型、io密集型负载偏好度；对权重向量和负载偏好度向量执行按位相乘操作，得到相似度评分向量c＝{w
cpu
*p
cpu
，w
mem
*p
mem
，w
io
*p
io
}。6.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述通过能效预测模型和相似度评分计算出服务器综合能效评分，具体为：采用负载分类模型输出的相似度评分向量c与对应基准负载的能效预测向量e进行点积运算得到服务器的综合能效评分，如下式所示：f
efficiency
＝c
·
e＝c
type
*e
type
，type∈{cpu，mem，io}。7.根据权利要求1所述、面向混合负载的多基准驱动调参服务器能效调优方法，其特征在于，所述在线阶段利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优，具体为：利用综合能效评分来构建参数搜索算法的目标函数，并通过参数搜索算法进行参数调优，参数搜索算法的目标得分函数score如下式所示：以获得的相似度评分向量c为依据，对不同密集型负载的参数调优时间进行分配，最后单独划分出t
x
秒时间，对所有参数进行迭代调优。8.面向混合负载的多基准驱动调参服务器能效调优系统，其特征在于，应用于权利要求1-7中任一项所述的面向混合负载的多基准驱动调参服务器能效调优方法，包括离线模型训练模块和在线能效调优模块，所述离线模型训练模块为在线能效调优模块提供模型支持；所述离线模型训练模块包括运行数据采集单元、第一模型构建单元以及第二模型构建单元；所述运行数据采集单元，用于采集服务器运行各单一基准负载时的能效表现和性能计数器数值，得到的不同类别负载的运行数据并作为训练集；所述第一模型构建单元，用于建立多标签负载分类模型实现混合负载与多基准间的映射；所述第二模型构建单元，用于为各基准建立性能预测模型、最大性能评估模型和能效预测模型，使用训练集训练性能预测模型、最大性能评估模型、能效预测模型，针对不同类别负载的数据分别采用多种回归拟合算法训练出模型，并对预测精度最高的三个模型进行组合作为最终预测模型，取三个模型的预测均值作为结果；所述在线能效调优模块包括细粒度调优单元、相似度评分单元、综合能效评分单元以及参数调优单元；
所述细粒度调优单元，用于后台持续运行基于能效曲线的快速dvfs方法完成细粒度的cpu频率调优；所述相似度评分单元，用于使用负载分类模型和性能预测模型对服务器当前运行的负载进行分类获取相似度评分；所述综合能效评分单元，用于通过能效预测模型和相似度评分计算出服务器综合能效评分；所述参数调优单元，用于利用综合能效评分指导参数搜索算法的完成粗粒度的系统参数调优。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序指令，所述计算机程序指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1-7中任意一项所述的面向混合负载的多基准驱动调参服务器能效调优方法。10.一种计算机可读存储介质，存储有程序，其特征在于，所述程序被处理器执行时，实现权利要求1-7任一项所述的面向混合负载的多基准驱动调参服务器能效调优方法。

技术总结
本发明公开了一种面向混合负载的多基准驱动调参的服务器能效调优方法及装置，方法包括离线模型训练和在线能效调优两个阶段；离线阶段，收集多个基准的运行时数据，建立多标签负载分类模型实现混合负载与多基准间的映射，同时为各基准构建性能预测模型、最大性能评估模型、能效预测模型；在线阶段，基于不同参数的特性实现双粒度的优化策略：利用模型识别混合负载的资源需求及服务器实时能效状态，执行有针对性的系统参数调优；同时，基于能效曲线和CPU利用率实现细粒度的频率调节，解决寻优延迟导致的调优滞后问题。本发明能够自适应地识别混合负载的资源需求，并选择特定参数组合值进行优化，从而提高服务器运行复杂混合负载时的能效表现。的能效表现。的能效表现。


技术研发人员：林伟伟 罗潇轩 李俊祺
受保护的技术使用者：华南理工大学
技术研发日：2023.04.24
技术公布日：2023/9/13