计算资源调度方法、装置、设备及存储介质与流程
本申请涉及资源调度,尤其涉及一种计算资源调度方法、装置、设备及存储介质。
背景技术:
1、现有方案选择任务执行设备时依据的是设备剩余计算容量,不考虑该设备在当前网络拓扑中所在的位置以及到达该设备需经过链路的实时负载。这导致任务可能被分配到计算容量最充裕但网络路径处于拥塞状态的设备上,数据传输耗时远超计算本身,整体效率反而不如放置在网络路径畅通但计算容量略低的设备上。
技术实现思路
1、本申请的主要目的在于提供一种计算资源调度方法、装置、设备及存储介质,旨在解决现有选择任务执行设备时依据设备剩余计算容量,不考虑链路的实时负载,导致整体效率低下的技术问题。
2、为实现上述目的,本申请提出一种计算资源调度方法,所述的方法包括:
3、获取就绪队列中的待调度任务,所述待调度任务的所有前驱任务已执行完毕,所述待调度任务的属性包括所述前驱任务的输出数据的位置信息;
4、基于所述待调度任务和计算集群的当前状态,构建系统状态图;
5、将所述系统状态图输入图神经网络中,输出图状态向量;
6、将所述图状态向量投影为前缀令牌序列,并将所述前缀令牌序列输入大语言模型中,输出调度决策,以将所述待调度任务分配至对应的目标资源节点。
7、可选地,所述获取就绪队列中的待调度任务之前,还包括:
8、获取用户输入的有向无环图工作流,所述有向无环图工作流中包括多个计算任务及所述计算任务之间的数据依赖关系;
9、遍历所述有向无环图工作流,当所述计算任务的所有前驱任务执行完毕时,将所述计算任务从所述有向无环工作流中解耦,得到待调度任务;
10、将所述前驱任务的输出数据的位置信息封装为所述待调度任务的属性,并将所述待调度任务添加进就绪队列中。
11、可选地,所述系统状态图包括任务节点和资源节点,所述基于所述待调度任务和计算集群的当前状态,构建系统状态图,包括:
12、将所述待调度任务作为任务节点,并将所述待调度任务的任务属性以及所述前驱任务的输出数据的位置信息编码为所述任务节点的第一属性;
13、将所述计算集群中的各计算设备作为资源节点,并将各所述计算设备的当前状态以及设备类型编码为所述资源节点的第二属性;
14、基于所述位置信息,在所述任务节点与所述资源节点之间建立第一类边;
15、基于所述计算设备的物理连接关系,在所述资源节点之间建立第二类边,所述第二类边的属性中包括对应链路的链路带宽和实时利用率;
16、根据所述任务节点、所述资源节点、所述第一类边和所述第二类边构建系统状态图。
17、可选地,所述将所述系统状态图输入图神经网络中,输出图状态向量,包括:
18、将所述系统状态图输入图神经网络中执行多层消息传递,以使所述任务节点与所述资源节点通过边更新信息;
19、在消息传递完成后,通过全局池化对所述系统状态图中所有节点的信息进行聚合,生成图特征向量。
20、可选地,所述将所述图状态向量投影为前缀令牌序列,并将所述前缀令牌序列输入大语言模型中,输出调度决策,以将所述待调度任务分配至对应的目标资源节点,包括:
21、通过线性投影层将所述图状态向量转换为前缀令牌序列;
22、将所述前缀令牌序列输入大语言模型中,输出隐藏状态表示;
23、将所述隐藏状态表示输入第一决策头中,输出表征各候选资源节点被选中的第一概率分布;
24、将所述隐藏状态表示输入第二决策头中,输出表征各候选计算精度被选中的第二概率分布;
25、根据所述第一概率分布和所述第二概率分布确定调度决策,以将所述待调度任务分配至对应的目标资源节点,所述调度决策包括目标资源节点和目标计算精度。
26、可选地,所述通过线性投影层将所述图状态向量转换为前缀令牌序列之后,还包括:
27、通过价值评估网络读取所述图状态向量;
28、通过所述价值评估网络中的浅层网络对所述图状态向量进行处理,输出状态价值估计。
29、可选地,所述根据所述第一概率分布和所述第二概率分布确定调度决策,以将所述待调度任务分配至对应的目标资源节点之后,还包括:
30、获取所述待调度任务执行的实际周转时间,并根据所述实际周转时间计算奖励信号,所述奖励信号与所述实际周转时间呈负相关;
31、基于所述奖励信号和价值评估网络输出的状态价值估计,确定广义优势估计值;
32、根据所述广义优势估计值,采用近端策略优化算法更新所述线性投影层及所述大语言模型中的参数。
33、此外,为实现上述目的,本申请还提出一种计算资源调度装置,所述计算资源调度装置包括:
34、获取模块,用于获取就绪队列中的待调度任务,所述待调度任务的所有前驱任务已执行完毕,所述待调度任务的属性包括所述前驱任务的输出数据的位置信息;
35、构建模块,用于基于所述待调度任务和计算集群的当前状态,构建系统状态图;
36、输出模块,用于将所述系统状态图输入图神经网络中,输出图状态向量;
37、决策模块,用于将所述图状态向量投影为前缀令牌序列,并将所述前缀令牌序列输入大语言模型中,输出调度决策,以将所述待调度任务分配至对应的目标资源节点。
38、此外,为实现上述目的,本申请还提出一种计算资源调度设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的计算资源调度方法的步骤。
39、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的计算资源调度方法的步骤。
40、本申请中通过获取包含前驱任务输出数据位置信息的待调度任务,并基于待调度任务和计算集群当前状态构建系统状态图,再经图神经网络编码后由大语言模型输出调度决策,实现了计算资源选择与网络状态感知的联合优化。将网络链路状态纳入调度依据,使调度决策能够同时考量计算设备匹配度和网络路径通畅度,有效避免了将任务分配到计算容量充裕但网络路径拥塞的设备上,从而提升了集群整体任务处理效率。
1.一种计算资源调度方法,其特征在于,所述计算资源调度方法包括:
2.如权利要求1所述的计算资源调度方法,其特征在于,所述获取就绪队列中的待调度任务之前,还包括:
3.如权利要求1所述的计算资源调度方法,其特征在于,所述系统状态图包括任务节点和资源节点,所述基于所述待调度任务和计算集群的当前状态,构建系统状态图,包括:
4.如权利要求1所述的计算资源调度方法,其特征在于,所述将所述系统状态图输入图神经网络中,输出图状态向量,包括:
5.如权利要求1所述的计算资源调度方法,其特征在于,所述将所述图状态向量投影为前缀令牌序列,并将所述前缀令牌序列输入大语言模型中,输出调度决策,以将所述待调度任务分配至对应的目标资源节点,包括:
6.如权利要求5所述的计算资源调度方法,其特征在于,所述通过线性投影层将所述图状态向量转换为前缀令牌序列之后,还包括:
7.如权利要求5所述的计算资源调度方法,其特征在于,所述根据所述第一概率分布和所述第二概率分布确定调度决策,以将所述待调度任务分配至对应的目标资源节点之后,还包括:
8.一种计算资源调度装置,其特征在于,所述装置包括:
9.一种计算资源调度设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至7中任一项所述的计算资源调度方法的步骤。
10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的计算资源调度方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com