一种数据中心虚拟化服务器负载均衡调度方法与流程

摘要: 本技术涉及服务器负载调度的领域,尤其是涉及一种数据中心虚拟化服务器负载均衡调度方法。背景技术:1、随着云计算和数据中心规模的持续扩大,虚拟化服务器集群中的负载均...
一种数据中心虚拟化服务器负载均衡调度方法与流程

本技术涉及服务器负载调度的领域,尤其是涉及一种数据中心虚拟化服务器负载均衡调度方法。

背景技术:

1、随着云计算和数据中心规模的持续扩大,虚拟化服务器集群中的负载均衡调度成为保障资源利用率和业务性能的关键技术。现有负载均衡调度方法主要依赖操作系统层可观测的宏观资源指标,例如cpu使用率、内存占用率、网络吞吐量和磁盘io队列长度等,采用轮询、最小连接数、动态加权或阈值触发等方式,将虚拟机迁移或部署至负载相对较低的宿主机上,以追求集群内各宿主机资源利用的均衡化。部分方案进一步引入硬件性能计数器采集底层运行数据进行性能监测,但其调度决策仍以宏观资源指标为主要依据,尚未将微架构层面的资源争用信息纳入负载均衡调度体系。

2、然而,在虚拟化环境中,多台虚拟机共享同一物理宿主机的末级缓存、内存带宽、缓存一致性协议处理单元及tlb等微架构资源。仅依赖宏观资源指标进行调度,无法发现虚拟机之间因共享微架构资源而产生的隐性争用关系。实际运行中常出现如下情况:宿主机cpu利用率等宏观指标显示正常,但某台虚拟机因缓存敏感型负载与高末级缓存未命中率负载共存,导致另一台虚拟机的业务尾延迟显著升高,形成“宏观指标正常、业务性能劣化”的隐性过载问题。现有调度方法既无法在调度前量化目标虚拟机与候选宿主机上已有虚拟机之间的微架构争用风险,也无法在争用发生后准确识别造成性能干扰的噪声源虚拟机,通常只能被动迁移受影响的虚拟机或反复尝试迁移,调度针对性差,易引发调度震荡,无法有效保障延迟敏感型业务的性能稳定。

3、为此,本技术提出一种数据中心虚拟化服务器负载均衡调度方法,旨在从微架构资源争用感知角度解决现有调度方法中隐性争用不可见、不可预判和不可定位的技术问题,提升虚拟化服务器集群的负载均衡调度精度与业务性能保障能力。

技术实现思路

1、为了解决上述问题,本技术提供一种数据中心虚拟化服务器负载均衡调度方法,采用如下的技术方案:

2、一种数据中心虚拟化服务器负载均衡调度方法,包括以下步骤:

3、s1、在每台宿主机上通过硬件性能计数器按预设采样周期采集各虚拟机的微架构级运行指标,所述微架构级运行指标包括末级缓存未命中率、内存带宽消耗量、缓存行失效频率、tlb未命中率、分支预测器争用指数和指令退役率退化指数;

4、s2、获取各虚拟机的稳态基线,所述稳态基线通过以下方式获取:选取宿主机整体负载低于预设负载阈值的采样窗口作为稳态窗口,对各稳态窗口内该虚拟机的各微架构指标取预设分位值作为所述稳态基线;基于所述稳态基线对各微架构指标进行归一化处理,构建各虚拟机的微架构争用指纹向量,并根据历史运行行为将各虚拟机标记为施压型或敏感型;

5、s3、对每台宿主机上共存的虚拟机对,基于时序因果检验和时延互信息分析,构建跨虚拟机的微架构争用关系图;所述微架构争用关系图以虚拟机为节点,以有向边表征一台虚拟机对另一台虚拟机的微架构资源压制方向,以边权重表征压制强度;

6、s4、当需要迁移或部署目标虚拟机时,获取所有候选宿主机的现有虚拟机集合,基于所述微架构争用关系图查询所述目标虚拟机与各候选宿主机中现有虚拟机之间的既有争用边权重,并结合既有争用边权重与争用指纹相似度,综合计算所述目标虚拟机与各候选宿主机之间的调度前争用风险值;若不存在既有争用边,则将该边权重记为零,并以争用指纹相似度作为主要计算依据;

7、s5、根据所述调度前争用风险值将各候选宿主机划分为高风险、中风险和低风险三个等级;高风险候选宿主机直接剔除,若剔除后候选宿主机集合为空,则按预设降级策略处理;中风险候选宿主机在同步配置资源隔离策略的前提下,保留参与评分资格,低风险候选宿主机正常参与评分;

8、s6、将经分级处理后的候选宿主机的争用风险值与负载均衡评分联合构成调度决策函数,对各候选宿主机评分排序,选择综合得分最高的候选宿主机作为所述目标虚拟机的迁移或部署目标;

9、s7、调度执行后持续监测各虚拟机的微架构指标,当监测到的微架构指标满足预设争用异常条件时,定位性能受损的受害虚拟机,基于所述微架构争用关系图定位噪声源虚拟机,优先迁移所述噪声源虚拟机而非受害虚拟机,并根据实际争用结果反向更新所述微架构争用关系图的边权重。

10、优选的,步骤s2中,所述预设负载阈值为宿主机整体负载低于30%,所述预设分位值为95分位;并且,所述稳态窗口还满足以下条件:结合虚拟机业务层监测数据,该虚拟机在该稳态窗口内的业务请求到达率波动幅度小于预设波动阈值,且未发生虚拟机迁移、快照或备份操作。

11、优选的,步骤s3中,所述时序因果检验采用格兰杰因果检验,所述时延互信息分析按以下方式执行:

12、对宿主机上共存的虚拟机对(vm_i,vm_j),计算vm_i的末级缓存未命中率变化量与vm_j的指令退役率退化指数之间的时延互信息,扫描预设延迟范围,取使互信息值最大的延迟作为最优延迟,并以该最大互信息值作为边权重初值;当格兰杰因果检验的p值低于预设显著性阈值且该互信息值超过预设互信息阈值时,建立从vm_i指向vm_j的有向边,边权重通过所述p值和所述互信息值的加权归一化得到。

13、优选的,步骤s4中,所述争用指纹相似度按以下方式计算:

14、当所述微架构争用关系图中不存在所述目标虚拟机与候选宿主机中某一现有虚拟机之间的既有争用边时,计算该目标虚拟机的微架构争用指纹向量与该候选宿主机中已标记为敏感型的现有虚拟机的历史被压制时的微架构争用指纹特征之间的余弦相似度;若余弦相似度超过预设相似度阈值,则根据该余弦相似度和该敏感型虚拟机的历史被压制强度计算相似度争用风险值,并将该相似度争用风险值计入所述调度前争用风险值;所述历史被压制时的微架构争用指纹特征为该敏感型虚拟机在历史争用事件发生时段内的微架构争用指纹向量的统计特征。

15、优选的,步骤s5中,所述中风险候选宿主机在同步配置资源隔离策略的前提下,保留参与评分资格,具体为:

16、对中风险候选宿主机,生成基于缓存分配技术的资源隔离策略,所述资源隔离策略包括为所述目标虚拟机分配末级缓存路数上限8路和内存带宽上限40%;将所述资源隔离策略随调度决策一并下发执行。

17、优选的,当所有候选宿主机经分级后均属于高风险等级时,不拒绝调度,而是选取争用风险值最低的高风险候选宿主机作为调度目标,并对该宿主机强制下发所述资源隔离策略,其中所述资源隔离策略中的末级缓存路数上限为4路、内存带宽上限为20%。

18、优选的,步骤s4中,在计算所述调度前争用风险值时,利用所述目标虚拟机的历史争用指纹时间序列预测该目标虚拟机在未来预设时间窗口内的预测争用指纹,基于所述预测争用指纹执行争用指纹相似度计算,并结合既有争用边权重综合计算调度前争用风险值。

19、优选的,步骤s3中,所述微架构争用关系图采用两级更新机制:

20、第一级为同宿主机实时增量更新:每个采样周期完成后,仅对该宿主机内共存虚拟机对之间的边权重执行指数衰减更新,新争用事件连续出现的次数超过预设次数阈值后正式加入新边,旧边权重衰减至预设移除阈值以下时移除该边;

21、第二级为全集群周期全量计算:按预设长周期对全集群范围内所有活跃虚拟机对重新执行时序因果检验和时延互信息分析,重建争用关系图。

22、优选的,步骤s7中,所述噪声源虚拟机的定位方式为:

23、在所述微架构争用关系图中查找指向受害虚拟机的全部入边,取边权重超过预设噪声阈值的有向边所对应的源虚拟机构成噪声源候选集合;对噪声源候选集合中的各虚拟机分别计算迁移代价,选择迁移代价与争用强度加权求和后综合得分最高的噪声源虚拟机执行迁移;当噪声源候选集合为空或所有噪声源虚拟机的迁移代价均高于所述受害虚拟机的迁移代价时,改为迁移所述受害虚拟机。

24、优选的,步骤s7中,所述反向更新按以下方式执行:

25、将调度后的实际争用结果与调度前争用风险预判进行对比:预判争用风险高且实际发生争用时,强化对应有向边权重;预判争用风险低但实际发生争用时,记录漏判事件并补充对应争用边;预判争用风险高但实际未发生争用时,对对应有向边权重执行加速衰减;每次更新后,对已更新边权重进行归一化,确保边权重保持在预设区间内。

26、综上所述,本技术包括以下至少一种有益技术效果:

27、通过硬件性能计数器采集末级缓存未命中率、内存带宽消耗量、缓存行失效频率、tlb未命中率、分支预测器争用指数及指令退役率退化指数等微架构级运行指标,并基于时序因果检验和时延互信息分析构建跨虚拟机的微架构争用关系图,使虚拟机之间在共享微架构资源层面的隐性争用关系从不可见变为可见、可量化,解决了现有技术仅依赖操作系统层宏观指标无法发现“宏观负载正常、微观性能打架”的隐性过载问题。

28、通过在调度执行前查询目标虚拟机与候选宿主机中现有虚拟机之间的既有争用边权重,并结合争用指纹相似度计算调度前争用风险值,使得在虚拟机迁移或部署之前即可预判目标宿主机上可能发生的微架构争用风险,而非在过载或性能劣化已经发生之后才被动响应,从根源上减少调度后业务性能劣化的概率。

29、通过调度后持续监测并基于微架构争用关系图定位噪声源虚拟机、优先迁移噪声源而非受害虚拟机,改变了现有技术中被动迁移性能受损虚拟机的做法,避免了因噪声源未消除而导致的反复迁移和调度震荡问题,同时减少了受害虚拟机不必要的迁移停机开销。

30、通过将调度前争用风险值划分为高风险、中风险和低风险三个等级,并对中风险候选宿主机同步配置基于缓存分配技术的资源隔离策略,在无法完全规避争用风险的场景下仍能通过限制噪声源的末级缓存路数和内存带宽来保障延迟敏感型业务的性能,弥补了现有调度方法中“要么迁移、要么放任”的决策空白。

31、通过调度后实际争用结果与调度前争用风险预判的对比,对争用关系图边权重执行强化、新增、加速衰减或正常衰减等反向更新操作,使争用关系图随集群运行持续迭代优化,对新工作负载和周期性争用模式的识别能力逐步增强,漏判率随时间下降。

32、通过对微架构争用关系图采用同宿主机实时增量更新与全集群周期全量计算相结合的两级更新机制,在保证争用关系图时效性的前提下,将日常维护所需的计算开销从全量计算的o(n²)级别降至与活跃宿主机数量相关的线性级别,满足大规模虚拟化集群的工程部署要求