基于数字孪生仿真的算力资源动态分配方法、系统及设备与流程
本发明涉及算力调度,特别是基于数字孪生仿真的算力资源动态分配方法、系统及设备。
背景技术:
1、随着高性能计算、人工智能训练和异构算力集群的发展,计算任务对中央处理器、图形处理器、显存、内存带宽及节点间通信带宽等计算资源的并发需求持续增强,算力资源调度逐渐由固定配额配置向运行状态感知和动态分配方向发展;现有算力调度通常结合任务依赖图、任务执行阶段、资源利用率、等待队列及检查点信息描述计算任务运行过程,并依据资源负载状态调整任务部署及计算资源配置;近年来,数字孪生逐步应用于算力基础设施管理,通过建立物理计算节点与虚拟状态空间之间的状态映射,对计算节点运行状态、任务执行状态、资源占用状态及任务依赖关系进行持续表征,为复杂算力环境下的运行状态建模和资源调度研究提供技术基础。
2、现有算力资源动态分配技术在存在任务依赖关系的资源竞争场景下,对计算资源释放、后继计算任务取得资源以及原计算任务恢复资源占用之间的时序耦合关系刻画不足;尤其当后继计算任务停留于任务依赖屏障前,而其所需计算资源仍被当前计算任务持续占用时,资源让渡时点、临时占用持续范围及资源回收时点相互制约,若缺少针对该时序约束关系的统一协调,容易形成资源交换边界不确定,难以获得稳定且满足任务依赖约束的资源交换关系,进而限制算力资源动态分配的可执行性。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了基于数字孪生仿真的算力资源动态分配方法解决难以获得稳定且满足任务依赖约束的资源交换关系的问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明提供了基于数字孪生仿真的算力资源动态分配方法,其包括,
5、将计算节点群的任务执行阶段及资源占用状态按采样时序同步至数字孪生空间,依据任务依赖次序和检查点状态校正任务执行阶段的起止位置及资源占用状态的资源释放位置,形成算力孪生状态集;
6、从算力孪生状态集中定位同一计算资源被当前计算任务占用且后继计算任务停留于任务依赖屏障前的资源冲突位置,将当前计算任务设为资源持有智能体,将后继计算任务设为资源等待智能体,通过多智能体博弈算法驱动资源持有智能体调整资源让渡区段和资源回收边界,驱动资源等待智能体调整资源进入次序和临时占用区段,形成博弈交换序列,所述多智能体博弈算法包括共享约束广义纳什博弈和动作屏蔽;
7、对博弈交换序列中的不同资源交换关系分别执行资源交换动作,形成对照推演分支,通过仿真大模型沿任务依赖关系推演对照推演分支中的任务执行状态,比较不同对照推演分支的资源释放次序与后继计算任务启动次序,截断出现资源等待闭合关系的推演路径,形成可执行交换分支;
8、所述仿真大模型推演过程为,沿任务依赖关系递推对照推演分支中的任务执行状态,在任务执行阶段发生转换时同步改写资源占用状态和资源释放位置,并按照资源释放次序推进后继计算任务继续演化,当后继计算任务停留于任务依赖屏障前时,沿未释放计算资源逆向追踪任务执行状态,定位占用未释放计算资源的计算任务;
9、对可执行交换分支中参与资源交换的计算任务实施计算资源让渡与回收,按照资源让渡与回收后计算任务的任务执行状态更新计算资源占用关系,形成算力资源动态分配结果。
10、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述形成算力孪生状态集,具体为,
11、按照采样时序排列计算节点群的任务执行阶段及资源占用状态,形成时序状态记录;
12、将时序状态记录同步至数字孪生空间,沿任务依赖次序排布任务执行阶段与资源占用状态,形成孪生状态序列,所述任务依赖次序是计算任务之间依据前序计算任务完成状态排列的执行先后顺序;
13、依据任务依赖次序和检查点状态校正孪生状态序列中任务执行阶段的起止位置及资源占用状态的资源释放位置,形成校正孪生状态并完成汇集,生成算力孪生状态集,所述检查点状态是计算任务到达检查点位置时对应的任务执行阶段及资源占用状态。
14、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述将当前计算任务设为资源持有智能体,将后继计算任务设为资源等待智能体,具体为,
15、从算力孪生状态集中沿任务依赖次序筛出停留于任务依赖屏障前的后继计算任务,并读取后继计算任务等待释放的计算资源及资源占用状态,形成屏障等待记录;
16、根据屏障等待记录回溯同一计算资源的占用状态,当同一计算资源仍被当前计算任务占用时,将计算资源的占用位置与后继计算任务的等待位置共同标记为资源冲突位置;
17、将资源冲突位置中持续占用同一计算资源的当前计算任务设为资源持有智能体,将资源冲突位置中停留于任务依赖屏障前并等待同一计算资源释放的后继计算任务设为资源等待智能体。
18、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述任务依赖屏障是后继计算任务等待前序计算任务完成期间所处的停留位置;
19、所述当前计算任务是在资源冲突位置持续占用同一计算资源的计算任务;
20、所述后继计算任务是按照任务依赖次序等待前序计算任务完成后继续推进的计算任务。
21、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述形成博弈交换序列,具体为,
22、将资源持有智能体的资源让渡区段和资源回收边界与资源等待智能体的资源进入次序和临时占用区段,按照资源冲突位置中的同一计算资源组成博弈动作组;
23、对博弈动作组实施动作屏蔽,排除资源等待智能体在资源让渡区段起始位置之前取得同一计算资源的博弈动作,并截去临时占用区段越过资源回收边界的区段,形成可行博弈动作组;
24、通过共享约束广义纳什博弈对可行博弈动作组中的资源持有智能体和资源等待智能体进行轮次博弈,分别更新资源持有智能体的资源让渡区段和资源回收边界,以及资源等待智能体的资源进入次序和临时占用区段,记录同一计算资源从资源持有智能体释放至资源等待智能体取得的时序变化,形成资源交换关系;
25、利用轮次博弈更新后的资源让渡区段和资源回收边界限定资源等待智能体下一轮的资源进入次序和临时占用区段,利用轮次博弈更新后的资源进入次序和临时占用区段反向限定资源持有智能体下一轮的资源让渡区段和资源回收边界,形成双向博弈关系;
26、按照双向博弈关系继续进行轮次博弈,直至资源持有智能体的资源让渡区段和资源回收边界保持不变,且资源等待智能体的资源进入次序和临时占用区段保持不变,保留资源交换关系,并沿任务依赖次序排列资源交换关系,形成博弈交换序列。
27、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述形成可执行交换分支,具体为,
28、将博弈交换序列中的不同资源交换关系分别施加于相同任务执行状态,按照资源进入次序将资源让渡区段内的同一计算资源分配至后继计算任务,并在资源回收边界恢复当前计算任务的资源占用状态,形成对照推演分支;
29、通过仿真大模型对各对照推演分支中的任务执行状态分别进行推演,沿任务依赖关系持续更新资源占用状态与资源释放位置,直至后继计算任务越过当前任务依赖屏障并到达下一任务依赖屏障;
30、按照各对照推演分支的资源释放位置先后排列资源释放次序,并依据推演过程中后继计算任务的启动先后排列后继计算任务启动次序,形成分支次序记录;
31、比较不同分支次序记录中的资源释放次序与后继计算任务启动次序,沿出现次序变化的位置追踪未释放计算资源及等待同一计算资源的后继计算任务,形成资源等待关系;
32、沿资源等待关系继续追踪占用同一计算资源的计算任务,当资源等待关系返回已追踪的计算任务时,将资源等待关系首尾闭合,形成资源等待闭合关系;
33、截断形成资源等待闭合关系的推演路径,保留未形成资源等待闭合关系的对照推演分支作为可执行交换分支。
34、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述资源等待关系是后继计算任务等待未释放计算资源时,与占用同一计算资源的计算任务之间形成的等待关系。
35、作为本发明所述基于数字孪生仿真的算力资源动态分配方法的一种优选方案,其中:所述形成算力资源动态分配结果,具体为,
36、从可执行交换分支中读取参与资源交换的计算任务及资源交换关系,按照资源进入次序将资源让渡区段内的同一计算资源分配至参与资源交换的计算任务,形成让渡任务执行状态;
37、按照资源交换关系推进参与资源交换的计算任务,直至计算任务到达资源回收边界,将临时占用区段内的同一计算资源归还至资源持有智能体,形成回收任务执行状态;
38、将让渡任务执行状态与回收任务执行状态按任务执行阶段归并,形成任务执行状态记录;
39、基于任务执行状态记录更新计算资源占用关系,生成资源分配状态,沿任务依赖次序汇集资源分配状态,形成算力资源动态分配结果。
40、第二方面,本发明提供了基于数字孪生仿真的算力资源动态分配系统,包括,
41、校正模块,用于将计算节点群的任务执行阶段及资源占用状态按采样时序同步至数字孪生空间,依据任务依赖次序和检查点状态校正任务执行阶段的起止位置及资源占用状态的资源释放位置,形成算力孪生状态集;
42、驱动模块,用于从算力孪生状态集中定位同一计算资源被当前计算任务占用且后继计算任务停留于任务依赖屏障前的资源冲突位置,将当前计算任务设为资源持有智能体,将后继计算任务设为资源等待智能体,通过多智能体博弈算法驱动资源持有智能体调整资源让渡区段和资源回收边界,驱动资源等待智能体调整资源进入次序和临时占用区段,形成博弈交换序列,所述多智能体博弈算法包括共享约束广义纳什博弈和动作屏蔽;
43、推演模块,用于对博弈交换序列中的不同资源交换关系分别执行资源交换动作,形成对照推演分支,通过仿真大模型沿任务依赖关系推演对照推演分支中的任务执行状态,比较不同对照推演分支的资源释放次序与后继计算任务启动次序,截断出现资源等待闭合关系的推演路径,形成可执行交换分支;
44、所述仿真大模型推演过程为,沿任务依赖关系递推对照推演分支中的任务执行状态,在任务执行阶段发生转换时同步改写资源占用状态和资源释放位置,并按照资源释放次序推进后继计算任务继续演化,当后继计算任务停留于任务依赖屏障前时,沿未释放计算资源逆向追踪任务执行状态,定位占用未释放计算资源的计算任务;
45、更新模块,用于对可执行交换分支中参与资源交换的计算任务实施计算资源让渡与回收,按照资源让渡与回收后计算任务的任务执行状态更新计算资源占用关系,形成算力资源动态分配结果。
46、第三方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中:所述计算机程序被处理器执行时实现如本发明第一方面所述的基于数字孪生仿真的算力资源动态分配方法的任一步骤。
47、本发明有益效果为:通过双向约束博弈,提高了资源交换边界的稳定性。基于数字孪生空间中确定的资源冲突位置,对资源持有智能体与资源等待智能体的资源让渡区段、资源回收边界、资源进入次序和临时占用区段进行相互限制,使计算资源的释放、取得、临时占用及回收具有连续且明确的时序边界;通过轮次更新逐步压缩不可行的资源交换范围,可减少资源提前进入、临时占用越界及资源回收冲突,提高资源交换关系在任务依赖约束下的协调程度;稳定后的资源交换关系能够保持计算资源占用主体转换与任务执行阶段变化之间的对应关系,为后续资源交换执行提供确定的时序依据,提高了算力资源动态分配结果的可执行性、稳定性和可追溯性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com