一种面向高校的多云资源动态调度方法及系统
本发明涉及资源调度,具体涉及一种面向高校的多云资源动态调度方法及系统。
背景技术:
1、随着教育数字化转型的深入,高校教学、科研及行政办公对云资源的依赖日益增强,但高校特有的学期与假期周期性负载波动、多部门资源错配以及安全合规高标准,使得多云环境下的资源调度面临前所未有的挑战,亟需一种契合高校业务特征的动态资源管理方案。
2、目前,现有方法中,通用多云管理平台通常基于固定配额或简单阈值规则为租户分配资源,并依赖人工审批流程完成资源发放,部分系统引入了基于历史均值的负载预测模块,通过监控资源使用率触发预设的运维动作,同时提供基础的操作日志记录功能。
3、上述现有技术中,资源配置策略独立于高校校历周期,无法将开学季、考试周、寒暑假等业务高峰期与低谷期纳入调度决策,导致资源分配与业务负载长期错配,资源利用率低与运营成本高的问题长期并存。
技术实现思路
1、针对相关技术中存在的不足之处,本发明的目的在于提供了一种面向高校的多云资源动态调度方法及系统,以解决现有技术中资源分配与高校校历周期脱节、无法根据学期与假期负载波动进行动态调度,导致资源利用率低且运营成本高的技术问题。
2、本发明提供一种面向高校的多云资源动态调度方法,包括:
3、资源配置步骤:获取多云异构资源,基于所述多云异构资源创建资源池,按高校部门划分组织,基于所述资源池为所述组织设置资源配额上限,生成组织配额表;
4、申请校验步骤:获取用户提交的资源申请,基于所述组织配额表对所述资源申请进行多维度校验,校验通过后生成标准化资源申请单;
5、负载预测步骤:获取当前校历周期和历史负载数据,从所述历史负载数据中提取周期性分量,基于所述历史负载数据和所述周期性分量的差值得到残差序列,对所述残差序列和所述当前校历周期进行自回归和滑动平均拟合,得到残差预测值,将所述残差预测值与所述周期性分量叠加,得到各所述资源池的预测负载;
6、资源匹配步骤:获取各所述资源池的单位成本,基于所述标准化资源申请单中的业务优先级、所述单位成本和所述预测负载,计算各所述资源池的综合评分,选取所述综合评分最高的资源池为最优资源池,将所述资源申请分配至所述最优资源池并触发自动化部署;
7、资源调度步骤:自动化部署后,实时采集资源利用率,若所述资源利用率满足所述当前校历周期对应的可用容量调整条件,则调整所述最优资源池的可用容量。
8、通过获取多云异构资源构建资源池并设置组织配额,实现底层资源的统一归集与部门级消费边界的确权;通过获取用户申请并进行多维度校验,确保申请在资源供给、配额约束和费用层面均具备可执行性;通过校历周期感知机制提取历史负载中的周期性分量,使负载预测能够反映学期、假期、考试周等固有节律;
9、通过自回归和滑动平均拟合残差序列捕捉非周期性波动,将预测值与周期分量叠加后形成量化负载基准;在资源匹配阶段以优先级、成本和预测负载三维度构建综合评分,实现多约束下最优部署位置的量化筛选;
10、运行时基于实时利用率与校历周期对应的容量调整条件进行比对,仅在满足条件时才触发容量变更,避免频繁震荡影响运行稳定性。通过上述机制协同,从根本上解决了资源配置与校历周期脱节所导致的资源利用率低和成本高问题。
11、本发明一些实施例中,所述申请校验步骤具体为:
12、对所述资源申请进行多维度校验包括:
13、基于所述资源申请中的资源类型和规格,查询各所述资源池的资源供给状态,判断所述资源供给状态是否满足预设资源需求;
14、基于所述资源申请中的组织,查询所述组织配额表中对应组织的资源配额上限,判断所述资源申请是否超出所述资源配额上限;
15、基于所述资源申请中的规格和租用周期,匹配预设资源计费单价,计算所述资源申请的应付费用,基于所述应付费用,判断所述组织的当前可用余额是否满足扣费要求;
16、若上述所有条件均满足,则判定校验通过。
17、通过以资源类型和规格为输入查询资源池供给状态,确保资源池具备可分配的物理或虚拟资源;以组织为索引查询配额上限并判断是否超出,防止单一组织过度占用公共资源;以申请规格和租用周期匹配计费单价计算应付费用并判断余额是否满足扣费要求;只有当供给能力、配额和费用全部满足时才判定校验通过,从源头上剔除了因资源不足、配额超限或余额不足导致的无效申请,避免调度引擎对不可执行请求进行无意义计算,提升了整体调度效率。
18、本发明一些实施例中,所述负载预测步骤具体为:
19、通过快速傅里叶变换算法对所述历史负载数据进行变换得到频域谱,在所述频域谱中识别频率分量,提取所述频率分量对应的傅里叶系数;
20、基于所述傅里叶系数,通过逆傅里叶变换将所述频率分量重构为周期性分量。
21、通过快速傅里叶变换将历史负载数据从时域转换至频域,在频域谱中识别周期性频率分量并提取傅里叶系数,再通过逆傅里叶变换重构为时域上的周期性分量,将历史负载中固有的周期规律以数学形式显式表达;
22、由于高校负载受学期、假期、考试周等固定周期事件支配,无需依赖人工经验设定周期参数,而是通过数据驱动方式自动识别真实周期,避免了主观设定带来的偏差,为后续残差分离和负载预测提供了准确的基准参照。
23、本发明一些实施例中,所述负载预测步骤还包括:
24、读取所述当前校历周期中的校历事件,基于所述校历事件中的每个时间点生成多维特征向量;
25、将所述残差序列作为因变量、所述多维特征向量作为外生变量输入预训练的arimax模型,经所述arimax模型拟合后,输出所述残差预测值。
26、通过读取校历周期中的学期起止、假期、考试周等事件,将每个时间点映射为多维特征向量,使校历周期以结构化数值形式供模型使用;将残差序列作为因变量、多维特征向量作为外生变量输入预训练模型进行拟合,使模型在捕捉残差自相关性的同时额外接收校历事件的驱动影响;将残差预测值与周期性分量叠加后,得到既包含固有周期规律又包含校历事件影响的完整预测结果,提高了负载预测在校历关键节点前后的准确度。
27、本发明一些实施例中,所述负载预测步骤还包括:
28、获取历史残差序列和历史多维特征向量,基于所述历史残差序列和所述历史多维特征向量,估算所述arimax模型的模型参数,以对所述arimax模型进行训练,得到训练后的arimax模型;
29、基于所述训练后的arimax模型对所述历史残差序列中的验证数据进行预测,得到预测残差,计算所述预测残差与所述验证数据之间的预测误差,若所述预测误差超过预设误差阈值,则调整所述模型参数,得到预训练的arimax模型。
30、通过以历史残差序列和历史多维特征向量为输入估算模型参数,使模型从历史数据中学习残差的自相关结构和校历特征的影响权重;在此基础上从历史残差序列中预留验证数据并进行预测,通过计算预测误差量化模型泛化能力,误差超阈值则调整参数重新训练,确保模型在在线预测前具备足够的拟合精度和泛化性能,避免了未经充分验证的模型因过拟合或欠拟合而产生偏差较大的预测结果。
31、本发明一些实施例中,所述负载预测步骤还包括:
32、将所述预测负载与预设预测阈值进行比较,得到比较结果,基于所述比较结果生成预警等级和调度建议,结合所述预警等级和所述调度建议,得到调度决策信号。
33、通过将预测负载与预设预测阈值进行比较,根据比较结果生成预警等级和调度建议,将预测数值转化为具有明确操作指向的决策信号;该机制将预测结果与判断标准相关联,使负载高低被量化为不同预警等级和对应调度建议,缩短了从预测到动作之间的决策链路;预警等级反映负载偏离程度,调度建议明确调整方向,两者共同构成的决策信号为后续资源调度提供了清晰的操作指引,避免了人工解读预测数据带来的主观偏差和延时。
34、本发明一些实施例中,所述负载预测步骤还包括:
35、若所述预测负载大于第一预测阈值且小于第二预测阈值,则生成第一预警等级,并生成维持所述最优资源池的调度建议;
36、若所述预测负载大于或等于所述第二预测阈值且小于第三预测阈值,则生成第二预警等级,并生成对所述最优资源池进行自动扩容的调度建议;
37、若所述预测负载大于或等于所述第三预测阈值,则生成第三预警等级,并生成对所述最优资源池进行强制扩容的调度建议;
38、若所述预测负载小于第四预测阈值且所述当前校历周期为预设周期,则生成对所述最优资源池进行缩容的调度建议。
39、通过将预测负载与四个预测阈值进行分段比较,生成四种不同场景下的预警等级和调度建议:正常区间生成维持建议,偏高区间生成自动扩容建议,极高区间生成强制扩容建议,低负载且处于预设周期时生成缩容建议;该分段机制使调度建议与负载偏离程度精确对应,为每种负载状态匹配了差异化的处理策略,避免对所有偏离情况采用同一策略,提高了调度建议的针对性和有效性。
40、本发明一些实施例中,所述资源调度步骤还包括:
41、若所述资源利用率大于或等于所述当前校历周期对应的预设利用率阈值,且对应的持续时长满足定第一时长阈值,则判定为满足所述可用容量调整条件,基于所述调度建议对所述最优资源池进行扩容操作,并调整所述最优资源池的可用容量;
42、若所述资源利用率小于预设缩容阈值,且对应的持续时长满足第二时长阈值,则判定为满足所述可用容量调整条件,基于所述调度建议对所述最优资源池进行缩容操作,并调整所述最优资源池的可用容量。
43、通过将实时采集的资源利用率分别与校历周期对应的利用率阈值和独立预设的缩容阈值进行比对,同时引入持续时长作为判定条件,只有当利用率满足阈值且持续时长达到要求时才触发容量变更,有效避免了因瞬时负载波动而引发的频繁扩缩容操作;扩容阈值与校历周期关联使高峰时段自动收紧响应灵敏度,缩容阈值独立设置使资源回收保持固定标准,两种判定的分离避免了共用单一阈值带来的判定偏差。
44、本发明一些实施例中,所述资源匹配步骤具体为:
45、基于预设优先级映射关系,将所述业务优先级映射为优先级适配分;
46、基于各所述资源池的预测负载计算预测剩余可用容量,基于所述预测剩余可用容量与预设安全阈值,确定负载适配分;
47、基于各所述资源池的单位成本确定成本适配分;
48、对所述优先级适配分、所述负载适配分和所述成本适配分进行加权计算,得到所述综合评分。
49、通过预设映射关系将业务优先级转化为优先级适配分,使业务重要性以分值参与决策;通过预测负载计算剩余可用容量并与安全阈值比较确定负载适配分,使资源池未来可用空间以分值表达;通过单位成本确定成本适配分,使经济性纳入考量;通过加权计算将三个维度合成为综合评分并选取最高分资源池,使分配决策同时兼顾业务重要性、运行稳定性与经济性三个目标,避免了单一维度决策导致的顾此失彼。
50、本发明一些实施例进一步提供一种面向高校的多云资源动态调度系统,包括:
51、资源配置模块,获取多云异构资源,基于所述多云异构资源创建资源池,按高校部门划分组织,基于所述资源池为所述组织设置资源配额上限,生成组织配额表;
52、申请校验模块,获取用户提交的资源申请,基于所述组织配额表对所述资源申请进行多维度校验,校验通过后生成标准化资源申请;
53、负载预测模块,获取当前校历周期和历史负载数据,从所述历史负载数据中提取周期性分量,基于所述历史负载数据和所述周期性分量的差值得到残差序列,对所述残差序列和所述当前校历周期进行自回归和滑动平均拟合,得到残差预测值,将所述残差预测值与所述周期性分量叠加,得到各所述资源池的预测负载;
54、资源匹配模块,获取各所述资源池的单位成本,基于所述标准化资源申请单中的业务优先级、所述单位成本和所述预测负载,计算各所述资源池的综合评分,选取所述综合评分最高的资源池为最优资源池,将所述资源申请分配至所述最优资源池并触发自动化部署;
55、资源调度模块,自动化部署后,实时采集资源利用率,若所述资源利用率满足所述当前校历周期对应的可用容量调整条件,则调整所述最优资源池的可用容量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com