一种云数据中心虚拟机负载预测与智能迁移调度方法与流程

摘要: 本发明涉及云计算,尤其涉及一种云数据中心虚拟机负载预测与智能迁移调度方法。背景技术:1、云计算技术领域涉及在云端融合应用运行支撑平台中对计算资源、存储资源和任务...
一种云数据中心虚拟机负载预测与智能迁移调度方法与流程

本发明涉及云计算,尤其涉及一种云数据中心虚拟机负载预测与智能迁移调度方法。

背景技术:

1、云计算技术领域涉及在云端融合应用运行支撑平台中对计算资源、存储资源和任务执行状态进行调度和管理的软件实现方式。其中,云数据中心虚拟机负载预测是指云管理服务器周期性采集物理主机和虚拟机的处理器占用率、内存占用率、磁盘读写量和网络流量数据,并按照时间序列记录、阈值规则或历史负载统计结果生成虚拟机负载状态。

2、现有云数据中心虚拟机调度多依据实时监控和固定阈值触发,物理机负载判断滞后于业务波动、资源指标之间相关性利用不足,突发峰值容易演化为拥塞,虚拟机迁移选择偏重单项占用或人工经验,业务优先级、亲和约束、迁移代价与历史迁移频次缺少协同权衡,目标主机匹配多以剩余容量为中心,碎片化资源难以充分释放,调度参数长期固定、易引发频繁迁移、资源失衡和服务等级违约风险。

技术实现思路

1、本发明的目的在于提供一种云数据中心虚拟机负载预测与智能迁移调度方法,通过对物理机和虚拟机多维资源指标进行时序预测、过载风险概率判断、迁移虚拟机选择、目标物理机匹配以及调度策略反馈调整,使虚拟机迁移调度能够结合预测负载变化、实时运行状态、资源碎片情况和迁移稳定性因素进行决策,从而使云数据中心内虚拟机迁移过程与资源负载变化相适配。

2、为了实现上述目的,本发明提供一种云数据中心虚拟机负载预测与智能迁移调度方法,包括以下步骤:

3、步骤s1、获取云数据中心内物理机和虚拟机的中央处理器、内存、磁盘io和网络带宽的资源指标,并将资源指标按时间顺序形成资源时间序列,利用堆叠式lstm模型对资源时间序列进行预测,得到中央处理器利用率预测序列。

4、进一步地,中央处理器利用率预测序列的生成过程包括:获取云数据中心内物理机和虚拟机对应的中央处理器利用率、内存占用量、磁盘io吞吐量以及网络带宽占用量,按照统一时间粒度对不同资源指标进行时间对齐,并依据物理机标识、虚拟机标识以及采集时间建立资源指标关联关系,生成与各物理机和虚拟机对应的资源时间序列;将资源时间序列输入堆叠式lstm模型,利用多个循环层对不同时间尺度下的资源变化特征进行提取,并依据历史资源变化关系输出对应时间范围内的中央处理器利用率预测值,得到中央处理器利用率预测序列。

5、步骤s2、根据中央处理器利用率预测序列确定预测峰值和负载波动率,并将预测峰值、负载波动率、实时负载、虚拟机数量和资源碎片率输入贝叶斯网络,得到物理机过载概率,根据物理机过载概率确定过载风险等级。

6、进一步地,物理机过载概率的确定过程包括:获取中央处理器利用率预测序列、实时负载、虚拟机数量以及资源碎片率,根据中央处理器利用率预测序列中的最大预测值确定预测峰值,并根据连续预测值之间的变化关系确定负载波动率,将预测峰值、负载波动率、实时负载、虚拟机数量以及资源碎片率建立与物理机状态对应的风险输入关系;将风险输入关系输入贝叶斯网络,根据各风险输入参数之间的条件关联关系确定物理机发生过载状态的概率值,生成物理机过载概率。

7、进一步地,过载风险等级的确定过程包括:获取物理机过载概率以及预设风险等级区间,将物理机过载概率与各风险等级区间进行比较;当物理机过载概率达到紧急过载区间时,将对应物理机确定为紧急过载状态;当物理机过载概率达到预警区间时,将对应物理机确定为预警状态;当物理机过载概率未达到预警区间时,将对应物理机确定为正常状态,得到过载风险等级。

8、步骤s3、针对过载风险等级为紧急过载或预警状态的物理机,根据资源占用、业务优先级、迁移成本、规格匹配、亲和性和历史迁移次数确定虚拟机迁移评分,按照虚拟机迁移评分筛选迁移虚拟机。

9、进一步地,迁移虚拟机的筛选过程包括:获取过载风险等级为紧急过载或预警状态的物理机对应的虚拟机运行清单,并分别确定虚拟机资源占用参数、业务优先级参数、迁移成本参数、规格匹配参数、亲和性约束参数以及历史迁移次数参数,依据各参数与过载释放需求之间的关联方向计算单虚拟机候选评分;按照单虚拟机候选评分对虚拟机运行清单进行降序排序,并在满足迁移数量上限和释放资源下限的条件下筛选至少一个虚拟机,生成迁移虚拟机。

10、进一步地,单虚拟机候选评分的生成过程包括:获取风险评分权重表,风险评分权重表记录资源占用参数、业务优先级参数、迁移成本参数、规格匹配参数、亲和性约束参数以及历史迁移次数参数对应的评分权重;当过载风险等级为紧急过载时,提高资源占用参数和迁移成本参数的权重占比;当过载风险等级为预警状态时,提高业务优先级参数和亲和性约束参数的权重占比,并依据调整后的评分权重进行加权计算,得到单虚拟机候选评分。

11、步骤s4、根据迁移虚拟机,根据集群内中央处理器、内存、磁盘io和网络带宽的可用资源确定维度权重,并在硬件兼容约束、容量约束和反亲和约束下确定综合资源评分,按照综合资源评分确定目标物理机。

12、进一步地,目标物理机的确定过程包括:获取迁移虚拟机的规格需求以及集群内各候选物理机对应的中央处理器、内存、磁盘输入输出和网络带宽的可用资源,根据各资源维度的剩余比例和迁移虚拟机在对应资源维度上的需求占比确定维度权重,并在硬件兼容约束、容量约束和反亲和约束均满足时,将各资源维度的匹配结果与维度权重进行加权处理,生成综合资源评分;按照综合资源评分对各候选物理机进行排序,并将排序结果中满足迁移接收条件的候选物理机确定为目标物理机。

13、附加地,目标物理机的确定过程还包括:获取迁移虚拟机的当前迁入任务数量、网络链路占用状态以及历史迁移失败记录,根据当前迁入任务数量确定迁移并发压力,根据网络链路占用状态确定链路接收压力,并根据历史迁移失败记录确定接收稳定性状态;当迁移并发压力或链路接收压力达到设定压力阈值时,降低对应候选物理机的综合资源评分,并依据调整后的综合资源评分确定目标物理机。

14、步骤s5、根据目标物理机确定迁移方案,并根据资源利用率变化、碎片化程度、迁移次数和服务等级违约事件,通过遗传算法和强化学习调整调度策略参数。

15、进一步地,迁移方案的确定过程包括:获取目标物理机、迁移虚拟机、源端物理机和迁移窗口配置,按照迁移虚拟机与目标物理机之间的对应关系确定迁移对象顺序,并依据目标物理机剩余容量、网络链路占用状态以及迁移并发上限生成单次迁移任务;根据单次迁移任务之间的源端物理机和目标物理机关联关系设置执行先后关系,并将执行先后关系写入迁移任务队列,得到迁移方案。

16、进一步地,调度策略参数的调整过程包括:获取迁移执行后的资源利用率变化、碎片化程度、迁移次数以及服务等级违约事件,根据资源利用率变化和碎片化程度确定资源整理评价结果,并根据迁移次数和服务等级违约事件确定迁移稳定评价结果;将资源整理评价结果和迁移稳定评价结果作为遗传算法的适应度评价进行输入,对调度策略参数组合进行选择、交叉和变异处理,并从处理后的调度策略参数候选组合中确定调度策略参数。

17、与现有技术相比,本发明的优点和积极效果在于:

18、围绕资源时序预测、风险概率推断、迁移对象筛选、目标物理机匹配与策略自适应调整形成连续闭环,将中央处理器、内存、磁盘io和网络带宽指标按时间关联后预判峰值和波动趋势,再结合实时负载、虚拟机数量和碎片化状态刻画过载风险,使迁移动作从事后抢占转向提前疏导,候选虚拟机筛选同步权衡资源占用、业务优先级、迁移成本、规格匹配、亲和关系和历史频次,目标选择依据多维可用资源和约束条件减少碎片,配合遗传算法与强化学习持续修正策略参数,降低拥塞、迁移抖动和服务等级违约风险。