云计算环境下存储与网络资源的动态调度方法及系统与流程
本发明涉及云计算,尤其涉及云计算环境下存储与网络资源的动态调度方法及系统。
背景技术:
1、在云计算环境下,存储资源与网络资源的调度通常采用分离式或分阶段处理的方式。现有常规做法中,资源管理系统分别管理存储集群和网络拓扑,针对用户的资源请求,先由存储调度模块根据存储容量、读写性能等指标选择目标存储节点,再由网络调度模块根据所选存储节点的位置,动态分配网络路径以满足带宽和延迟需求。这种串行调度流程在结构上清晰,便于独立优化各自的指标,因而被多数云计算平台采用。
2、然而,分离式调度忽视了存储资源与网络资源之间的强耦合关系。存储节点的选择直接影响网络路径的可用性与传输效率,而网络链路的状态变化又可能反向制约存储节点的负载分布。当存储调度优先选择负载较低的节点时,该节点可能位于网络瓶颈区域,导致后续网络调度难以找到低延迟路径,最终造成整体资源利用率下降或服务质量受损。此外,现有调度策略多为静态或半静态配置,缺乏对运行时资源使用状态变化的自适应能力。一旦完成初次分配,便很少依据实时的负载波动或网络拥塞情况调整绑定关系,使得资源调度方案在环境变化后迅速偏离最优状态,引发局部过载或资源闲置。
3、另一个常见缺陷是资源约束关系的建模过于简化。传统方法通常以单个节点的剩余容量或单条链路的剩余带宽作为约束条件,忽略了节点间协作和链路间干扰对整体调度可行性的影响。例如,多条虚拟链路同时争夺同一物理端口时,仅考虑单一链路的带宽限制可能低估实际传输冲突,导致调度方案在实施时遭遇性能瓶颈。这种局限性使得生成的资源分配方案往往缺乏鲁棒性,难以满足高并发或动态变化的云计算业务需求。
技术实现思路
1、本发明实施例提供云计算环境下存储与网络资源的动态调度方法及系统,能够解决现有技术中的问题。
2、本发明实施例的第一方面,提供云计算环境下存储与网络资源的动态调度方法,包括:
3、获取云计算环境中的资源请求;
4、基于所述资源请求中的存储资源需求与网络资源需求,生成包含存储节点与网络路径的资源拓扑模型,并根据所述资源拓扑模型中各节点的负载状态与链路传输能力确定资源约束关系,得到资源约束关系集合;
5、根据所述资源约束关系集合,将所述资源请求与云计算环境中的可用存储节点和可用网络路径进行关联映射,生成候选资源组合;
6、根据所述候选资源组合与预设调度策略,生成包含目标存储节点与目标网络路径的绑定关系的资源分配方案;
7、基于所述资源分配方案对所述资源请求执行资源调度操作,并采集调度操作执行过程中的资源使用状态数据,利用所述资源使用状态数据对所述资源约束关系集合与所述预设调度策略进行动态更新。
8、基于所述资源请求中的存储资源需求与网络资源需求,生成包含存储节点与网络路径的资源拓扑模型,并根据所述资源拓扑模型中各节点的负载状态与链路传输能力确定资源约束关系,得到资源约束关系集合,包括:
9、对所述资源请求中的存储资源需求与网络资源需求进行解析,确定云计算环境中的存储节点集合与连接所述存储节点集合的网络路径集合;
10、将所述存储节点集合中的各存储节点与所述网络路径集合中的各网络路径进行拓扑关联,生成资源拓扑模型;
11、获取所述资源拓扑模型中各存储节点的负载状态与各网络路径的链路传输能力;
12、基于所述资源拓扑模型中的拓扑关联关系,识别存储节点的负载状态变化对所连接网络路径的链路传输能力产生的第一影响关系,以及网络路径的链路传输能力变化对所连接存储节点的负载状态产生的第二影响关系;
13、根据所述第一影响关系和所述第二影响关系确定关联约束条件,并将所述关联约束条件作为资源约束关系形成资源约束关系集合。
14、将所述存储节点集合中的各存储节点与所述网络路径集合中的各网络路径进行拓扑关联,生成资源拓扑模型,包括:
15、获取所述存储节点集合中各存储节点的负载特征与所述网络路径集合中各网络路径的传输特征;
16、根据网络路径的连接信息确定各网络路径所连接的存储节点,建立存储节点与网络路径之间的连接映射关系;
17、针对所述连接映射关系中的每一存储节点,识别连接所述存储节点的多条网络路径,分析所述多条网络路径的传输特征对所述存储节点的负载特征产生的叠加效应;
18、针对所述连接映射关系中的每一存储节点,分析所述存储节点的负载特征对连接所述存储节点的多条网络路径的传输特征产生的分配效应;
19、根据所述叠加效应与所述分配效应,确定存储节点与网络路径之间的双向耦合关系,并基于所述连接映射关系与所述双向耦合关系构建拓扑关联结构;
20、根据所述拓扑关联结构生成资源拓扑模型,所述资源拓扑模型中的存储节点与网络路径通过携带双向耦合关系的拓扑边进行连接。
21、根据所述资源约束关系集合,将所述资源请求与云计算环境中的可用存储节点和可用网络路径进行关联映射,生成候选资源组合,包括:
22、从所述资源约束关系集合中提取存储节点与网络路径之间的约束条件,根据所述约束条件识别云计算环境中满足所述约束条件的可用存储节点与可用网络路径,得到满足约束条件的资源候选集合;
23、解析所述资源请求中的存储资源需求量与网络资源需求量;
24、针对所述资源候选集合中的每一可用存储节点,根据所述约束条件确定与所述可用存储节点连接的可用网络路径,对所述可用存储节点与所述可用网络路径进行关联映射,确定关联映射关系;
25、基于所述关联映射关系,获取所述可用存储节点的可用容量与所述可用网络路径的可用带宽,判断所述可用存储节点与所述可用网络路径的组合是否满足所述存储资源需求量与所述网络资源需求量;
26、将满足所述存储资源需求量与所述网络资源需求量的可用存储节点与可用网络路径的组合作为候选资源组合。
27、针对所述资源候选集合中的每一可用存储节点,根据所述约束条件确定与所述可用存储节点连接的可用网络路径,对所述可用存储节点与所述可用网络路径进行关联映射,确定关联映射关系,包括:
28、针对所述资源候选集合中的每一可用存储节点,解析所述约束条件中与所述可用存储节点相关的负载约束规则与连接约束规则;
29、根据所述连接约束规则,从所述资源候选集合中筛选出与所述可用存储节点存在连接关系的可用网络路径;
30、针对筛选出的每一可用网络路径,根据所述负载约束规则验证所述可用存储节点的负载状态与所述可用网络路径的传输状态是否满足所述负载约束规则;
31、将满足所述负载约束规则的可用存储节点与可用网络路径进行配对,建立所述可用存储节点与所述可用网络路径之间的关联映射;
32、对所述关联映射进行标注,所述标注包含所述负载约束规则与所述连接约束规则对所述可用存储节点与所述可用网络路径之间关联的约束信息;
33、根据所述标注确定关联映射关系,所述关联映射关系表征所述可用存储节点与所述可用网络路径在满足负载约束规则与连接约束规则条件下的关联结构。
34、根据所述候选资源组合与预设调度策略,生成包含目标存储节点与目标网络路径的绑定关系的资源分配方案,包括:
35、基于所述预设调度策略确定调度目标函数与调度约束条件,所述调度目标函数表征存储节点与网络路径协同调度的优化方向,所述调度约束条件表征存储节点与网络路径协同调度需满足的限制规则;
36、针对所述候选资源组合中的每一组合,获取所述组合中可用存储节点的负载状态与可用网络路径的传输状态;
37、根据所述负载状态与所述传输状态,计算所述组合在所述调度目标函数下的评估值;
38、筛选出满足所述调度约束条件的组合得到符合约束的组合集合,从所述符合约束的组合集合中选择评估值最大的目标组合;
39、将所述目标组合中的可用存储节点确定为目标存储节点,并将所述目标组合中的可用网络路径确定为目标网络路径;
40、建立所述目标存储节点与所述目标网络路径之间的绑定关系,并根据所述目标存储节点、所述目标网络路径与所述绑定关系,生成资源分配方案。
41、基于所述资源分配方案对所述资源请求执行资源调度操作,并采集调度操作执行过程中的资源使用状态数据,利用所述资源使用状态数据对所述资源约束关系集合与所述预设调度策略进行动态更新,包括:
42、根据所述资源分配方案中的目标存储节点与目标网络路径,对所述资源请求执行资源调度操作;
43、在所述资源调度操作的执行过程中,采集所述目标存储节点的负载变化数据与所述目标网络路径的传输变化数据,并根据所述负载变化数据与所述传输变化数据,生成资源使用状态数据;
44、基于所述资源使用状态数据确定约束关系更新信息与调度策略更新信息,所述约束关系更新信息用于表征所述目标存储节点与所述目标网络路径之间实际发生的约束关系偏差,所述调度策略更新信息用于表征所述预设调度策略在实际执行过程中的效果偏差;
45、根据所述约束关系更新信息对所述资源约束关系集合进行更新,并根据所述调度策略更新信息对所述预设调度策略中的调度目标函数与调度约束条件进行调整。
46、本发明实施例的第二方面,提供一种云计算环境下存储与网络资源的动态调度系统,包括:
47、请求获取单元,用于获取云计算环境中的资源请求;
48、约束构建单元,用于基于所述资源请求中的存储资源需求与网络资源需求,生成包含存储节点与网络路径的资源拓扑模型,并根据所述资源拓扑模型中各节点的负载状态与链路传输能力确定资源约束关系,得到资源约束关系集合;
49、组合映射单元,用于根据所述资源约束关系集合,将所述资源请求与云计算环境中的可用存储节点和可用网络路径进行关联映射,生成候选资源组合;
50、方案绑定单元,用于根据所述候选资源组合与预设调度策略,生成包含目标存储节点与目标网络路径的绑定关系的资源分配方案;
51、调度更新单元,用于基于所述资源分配方案对所述资源请求执行资源调度操作,并采集调度操作执行过程中的资源使用状态数据,利用所述资源使用状态数据对所述资源约束关系集合与所述预设调度策略进行动态更新。
52、本发明实施例的第三方面,提供一种电子设备,包括:
53、处理器;
54、用于存储处理器可执行指令的存储器;
55、其中,所述处理器被配置为调用所述存储器存储的指令,以执行前述所述的方法。
56、本发明实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现前述所述的方法。
57、在云计算环境中,资源拓扑模型与资源约束关系集合的构建使得本发明能够精确反映存储节点负载状态和链路传输能力,基于该约束关系进行的资源请求与可用资源的关联映射使得候选资源组合与真实环境高度匹配。这种精准匹配显著降低了资源分配过程中的冲突概率,避免了存储与网络资源的不协调分配,从而大幅提升云计算平台的资源整体利用率。同时,对负载状态和传输能力的实时考量确保了分配结果不会导致局部过载,提升了系统的稳定性和可靠性。
58、本发明通过将候选资源组合与预设调度策略相结合,生成的资源分配方案实现了目标存储节点与目标网络路径的绑定关系,这种绑定保证了数据存储与网络传输的端到端一致性,消除了存储与网络分离调度可能出现的性能瓶颈。在复杂多变的云计算环境中,该方案能够有效降低数据传输延迟,提高应用的响应速度。此外,绑定关系的明确使得后续的资源调度操作具有更强的可预测性,有助于规划资源使用和容量管理,为用户提供更稳定的服务体验。
59、本发明通过资源调度操作执行过程中实时采集的资源使用状态数据被反馈至资源约束关系集合与预设调度策略,使得约束关系和调度策略能够根据实际运行状态动态更新,自动适应负载波动与节点性能变化。长期运行中系统持续优化调度决策,避免资源闲置或过载,增强了平台的自适应能力和鲁棒性。同时动态更新降低了人工干预需求,减少了运维成本,为大规模云计算环境的自动化管理提供了有力支持,使本发明具备持续演进和优化的能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com