一种基于负载预测的智算平台算力动态调度优化系统的制作方法
本发明涉及算力优化,具体为一种基于负载预测的智算平台算力动态调度优化系统。
背景技术:
1、随着智算平台承载的模型训练、模型推理以及多任务混合计算需求不断增加,平台中的计算资源、显存资源以及资源之间的拓扑连接关系对任务调度结果具有重要影响。不同计算任务通常不仅要求一定数量的计算资源和显存资源,还可能要求资源在拓扑结构上具有较好的连续性,以降低跨节点通信开销并提高任务运行稳定性。因此,智算平台在进行算力调度时,通常需要结合任务队列、资源占用、资源释放以及资源拓扑状态等信息,对平台内资源进行动态分配。
2、智算平台通常会根据任务提交情况和资源使用情况进行动态调度。例如,在检测到任务队列增长或未来存在资源需求时,平台可以基于负载预测结果对部分资源进行预留,或者对即将释放的资源进行释放控制,以便为后续任务提供资源;又如,在平台中存在较多分散空闲资源时,可以通过资源迁移、资源整理或资源合并等方式,将分散资源整理为较大的连续资源块,从而提高资源分配效率。
3、但是,在负载变化较快或者任务对拓扑连续性要求较高的场景下,仅依据资源空闲状态或资源释放时刻进行调度,可能难以保证目标任务到达时能够获得满足计算资源数量、显存容量以及拓扑连续性要求的资源块。部分资源虽然在时间上即将释放,但其拓扑位置可能无法与已预留资源形成连续连接;部分空闲资源虽然能够参与重构,但其重构过程可能改变后续可用资源的空间分布;部分延迟释放资源如果处理不当,也可能导致原本可形成连续资源块的资源被提前打散。由此,在预测负载到达和资源释放变化过程中,平台仍可能出现目标时间点可用资源数量充足但空间分布离散、资源释放时序与任务需求不匹配、连续资源块形成不稳定等情况,影响智算平台对高拓扑连续性任务的动态承载能力。
技术实现思路
1、本发明的目的在于提供了一种基于负载预测的智算平台算力动态调度优化系统,以解决上述背景技术中提出的问题,具体解决在负载预测调度场景下,难以在目标任务的预计到达时段形成同时满足计算资源数量、显存容量及拓扑连续性要求的连续算力资源块的问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于负载预测的智算平台算力动态调度优化系统,包括负载采集模块、负载相位可信画像生成模块、算力提前占位与延迟释放模块、算力碎片预测重构模块、协同反馈模块、协同策略生成模块和调度执行模块;
3、负载采集模块用于采集智算平台的平台负载状态数据;具体包括:
4、采集任务队列数据、资源占用数据、资源释放数据、资源拓扑数据和任务迁移属性数据;
5、从任务队列数据中提取任务标识、任务提交时间、目标计算资源数量、目标显存数量和目标拓扑连续性需求;
6、从资源占用数据和资源释放数据中提取资源标识、资源占用开始时间、资源占用结束时间、资源绑定任务标识、算力使用率、显存使用率、剩余运行时长、资源释放时间和空闲资源的持续空闲时间;
7、从资源拓扑数据中提取资源拓扑位置和资源连通关系,从任务迁移属性数据中提取资源可迁移标记;
8、以资源标识、任务标识和资源拓扑位置作为关联字段,对同一采集周期内的数据记录进行绑定,生成平台负载状态数据。
9、负载采集模块通过采集任务队列数据、资源占用数据、资源释放数据、资源拓扑数据和任务迁移属性数据,并以资源标识、任务标识和资源拓扑位置作为关联字段生成平台负载状态数据,使智算平台中任务需求、资源使用进程、资源释放节奏以及资源拓扑分布之间形成可关联的数据基础,从而为后续识别目标任务的预计到达时段内可形成的资源条件提供支撑,有利于提高对连续算力资源块形成条件的判定准确性。
10、负载相位可信画像生成模块用于根据平台负载状态数据生成负载相位可信画像,负载相位可信画像包括负载相位标识、趋势可信范围和资源时空约束信息;其中:
11、负载相位标识的生成过程具体包括:
12、按照资源拓扑位置对平台负载状态数据进行归组,生成负载分析单元;
13、读取负载分析单元中的任务队列长度、算力使用率、显存使用率、资源释放时间、剩余运行时长和空闲资源的持续空闲时间;
14、根据任务队列长度、算力使用率、显存使用率、资源释放时间、剩余运行时长和空闲资源的持续空闲时间的变化情况,确定负载分析单元对应的上升相位、峰值相位、下降相位或者平稳相位;
15、当同一负载分析单元同时满足多个相位写入条件时,按照峰值相位、上升相位、下降相位、平稳相位的顺序保留一个负载相位标识。
16、趋势可信范围的生成过程具体包括:
17、读取任务提交时间形成任务进入时间序列,读取剩余运行时长并结合当前采集时间换算资源释放时间形成资源释放时间序列;
18、将任务进入时间序列和资源释放时间序列写入同一时间轴;
19、在时间轴上登记目标计算资源数量、目标显存数量、目标拓扑连续性需求、可释放计算资源数量、可释放显存数量和可释放资源对应的资源拓扑位置;
20、当可释放计算资源数量达到目标计算资源数量、可释放显存数量达到目标显存数量,并且可释放资源对应的资源拓扑位置满足目标拓扑连续性需求时,确定连续对应时间段;
21、将连续对应时间段的起始时间写入可信开始时间,将连续对应时间段的结束时间写入可信结束时间,并将可信开始时间至可信结束时间对应的时间段写入可信持续时长,以生成趋势可信范围。
22、资源时空约束信息的生成过程具体包括:
23、从平台负载状态数据中读取资源占用数据、资源释放数据、资源拓扑数据、任务迁移属性数据和任务队列数据;
24、按照资源标识提取资源占用开始时间、资源占用结束时间、资源释放时间、资源绑定任务标识、资源拓扑位置和资源连通关系;
25、按照任务标识提取资源可迁移标记、目标计算资源数量、目标显存数量和目标拓扑连续性需求;
26、以资源标识和任务标识作为关联键,对提取结果进行合并,生成资源时空约束信息。
27、负载相位可信画像生成模块基于平台负载状态数据生成包含负载相位标识、趋势可信范围和资源时空约束信息的负载相位可信画像,使平台负载变化趋势、资源释放可能时段以及资源数量、显存容量和拓扑连续性之间的约束关系得到统一表达,从而能够为目标任务的预计到达时段提供更具针对性的时序判断和空间约束依据,有利于提升连续算力资源块形成时机与形成条件的可预判性。
28、算力提前占位与延迟释放模块用于根据负载相位可信画像中的负载相位标识确定调度触发阶段,根据趋势可信范围确定预测调度时间边界,并根据资源时空约束信息确定待占位资源范围和待释放资源范围,以生成占位释放控制信息;具体包括:
29、根据负载相位标识确定提前占位触发阶段、占位保持触发阶段、延迟释放触发阶段或者常规保持触发阶段;
30、根据趋势可信范围中的可信开始时间、可信结束时间和可信持续时长确定预测调度时间边界;
31、根据资源时空约束信息,在预测调度时间边界内确定待占位资源范围和待释放资源范围;
32、将满足目标计算资源数量、目标显存数量和目标拓扑连续性需求的连续资源块写入占位资源标识和占位拓扑位置;
33、将能够与待占位资源范围形成连续资源块的待释放资源写入延迟释放资源标识,将不能与待占位资源范围形成连续资源块的待释放资源写入释放资源标识;
34、对同时进入待释放资源范围和待占位资源范围的资源写入释放保护状态,并在延迟释放结束时间到达后转写为占位状态;
35、根据占位资源标识、占位开始时间、占位结束时间、释放资源标识、释放执行时间、延迟释放资源标识、延迟释放结束时间、占位拓扑位置和资源占用边界,生成占位释放控制信息。
36、算力提前占位与延迟释放模块根据负载相位标识确定调度触发阶段,根据趋势可信范围确定预测调度时间边界,并根据资源时空约束信息生成占位释放控制信息,使满足目标计算资源数量、目标显存数量和目标拓扑连续性需求的资源能够在目标任务预计到达前进行提前占位,同时使与连续资源块形成相关的待释放资源在适当时段实施延迟释放或即时释放,从而有利于在目标任务的预计到达时段保留或形成可用的连续算力资源块。
37、算力碎片预测重构模块用于根据占位释放控制信息限定的资源占用边界,并根据资源时空约束信息确定可重构资源范围、重构时间窗口和资源拓扑位置,以生成碎片重构控制信息;具体包括:
38、根据占位释放控制信息中的资源占用边界,从资源时空约束信息中筛选位于资源占用边界之外的候选重构资源记录;
39、根据候选重构资源记录生成候选重构拓扑位置;
40、将空闲状态的资源写入空闲重构资源表,将被任务占用且任务写有资源可迁移标记并能够释放候选重构拓扑位置中间位置或边缘位置的资源写入迁移重构资源表,以形成可重构资源范围;
41、根据趋势可信范围确定重构候选时间段,并删除占位开始时间至占位结束时间对应的保护时间段以及延迟释放结束时间之前的释放保护时间段,得到重构时间窗口;
42、按照资源连通关系对可重构资源范围进行排列,确定目标重构拓扑位置、待迁移任务记录和待合并资源记录;
43、根据重构资源标识、重构开始时间、重构结束时间、资源迁移目标位置、资源合并目标位置、待迁移任务记录、待合并资源记录、重构后连续资源块标识和重构占用范围,生成碎片重构控制信息。
44、算力碎片预测重构模块在占位释放控制信息限定的资源占用边界基础上,结合资源时空约束信息确定可重构资源范围、重构时间窗口和资源拓扑位置,并生成碎片重构控制信息,使位于资源占用边界之外的空闲资源和可迁移资源能够围绕目标重构拓扑位置进行整理、迁移和合并,从而有利于减少资源离散分布对连续算力资源块形成的影响,并提升目标任务预计到达时段内可用资源块在拓扑上的连续程度。
45、协同反馈模块用于根据碎片重构控制信息相对于占位释放控制信息的资源冲突状态和资源碎片状态,生成策略修正信息;具体包括:
46、根据占位释放控制信息中的占位开始时间、占位结束时间、延迟释放资源标识、占位拓扑位置和资源占用边界,以及碎片重构控制信息中的重构资源标识、重构开始时间、资源迁移目标位置和重构占用范围,检测资源冲突状态;
47、当重构资源标识落入资源占用边界内时生成重构剔除修正信息,当重构开始时间进入占位开始时间至占位结束时间对应的时间段时生成重构时间后移修正信息,当资源迁移目标位置进入占位拓扑位置时生成迁移目标改址修正信息,当延迟释放资源标识出现在重构资源标识中时生成延迟释放保护修正信息;
48、根据碎片重构控制信息中的重构后连续资源块标识、资源合并目标位置和重构占用范围,以及占位释放控制信息中的占位拓扑位置和延迟释放结束时间,并结合资源时空约束信息中的目标计算资源数量、目标显存数量、目标拓扑连续性需求和资源连通关系,检测资源碎片状态;
49、当重构后连续资源块标识未满足目标计算资源数量或者目标显存数量时生成二次合并修正信息,当重构后连续资源块标识未满足目标拓扑连续性需求或者与占位拓扑位置之间缺少资源连通关系时生成拓扑补齐修正信息,当重构占用范围导致延迟释放资源无法在延迟释放结束时间之后转写为占位状态时生成释放时间调整修正信息;
50、将修正类型、对应资源标识、修正时间、原资源迁移目标位置、新资源迁移目标位置和修正原因写入策略修正信息,并在资源冲突状态和资源碎片状态均正常时写入空修正标记。
51、协同反馈模块通过检测碎片重构控制信息相对于占位释放控制信息的资源冲突状态和资源碎片状态,生成策略修正信息,使占位释放动作与碎片重构动作之间在资源范围、执行时序和拓扑位置上的影响关系得到识别,并对可能影响连续算力资源块形成的重构剔除、时间后移、迁移目标改址、延迟释放保护、二次合并、拓扑补齐以及释放时间调整等情形进行反馈,从而有利于降低调度过程对目标资源块形成结果的干扰。
52、协同策略生成模块用于根据策略修正信息对占位释放控制信息和碎片重构控制信息进行协同修正,形成协同调度策略;具体包括:
53、根据策略修正信息,按照先冲突修正后碎片修正的顺序,对占位释放控制信息和碎片重构控制信息进行修正;
54、当存在重构剔除修正信息时,删除落入资源占用边界内的重构资源标识及其对应的资源迁移目标位置和资源合并目标位置;
55、当存在重构时间后移修正信息时,将重构开始时间调整到占位结束时间之后,并同步调整重构结束时间;
56、当存在迁移目标改址修正信息时,在资源占用边界之外选择新的资源迁移目标位置替换原资源迁移目标位置;
57、当存在延迟释放保护修正信息时,删除延迟释放资源标识对应的重构动作,并保留延迟释放结束时间;
58、当存在二次合并修正信息时,继续选取与重构后连续资源块标识相邻的空闲资源写入待合并资源记录;
59、当存在拓扑补齐修正信息时,根据资源连通关系生成拓扑补齐动作,并对资源合并目标位置之间的网络链路写入网络链路预留状态;
60、当存在释放时间调整修正信息时,调整释放执行时间,使延迟释放资源在延迟释放结束时间之后直接转写为占位状态,并与占位资源标识对应的连续资源块形成连续连接关系;
61、根据修正后的占位释放控制信息和修正后的碎片重构控制信息,生成提前占位动作、延迟释放动作、即时释放动作、资源迁移动作、资源合并动作和拓扑补齐动作,并按照延迟释放动作、提前占位动作、即时释放动作、资源迁移动作、资源合并动作和拓扑补齐动作的顺序生成协同调度策略。
62、协同策略生成模块根据策略修正信息对占位释放控制信息和碎片重构控制信息进行修正,形成协同调度策略,使提前占位动作、延迟释放动作、即时释放动作、资源迁移动作、资源合并动作和拓扑补齐动作能够围绕目标任务所需的计算资源数量、显存容量及拓扑连续性要求进行有序组织,从而有利于将分散的资源释放、占位和重构过程收敛到同一目标资源块形成方向上,提高目标任务预计到达时段内形成连续算力资源块的适配程度。
63、调度执行模块用于根据协同调度策略执行算力调度动作;具体包括:
64、按照协同调度策略中的调度执行顺序依次读取延迟释放动作、提前占位动作、即时释放动作、资源迁移动作、资源合并动作和拓扑补齐动作;
65、调用资源管理组件对延迟释放资源标识对应的资源写入释放保护状态,在延迟释放结束时间之前保持延迟释放资源与占位资源标识对应的连续资源块的绑定关系,并禁止延迟释放资源分配给非目标调度任务;
66、调用资源管理组件对占位资源标识对应的资源写入占位状态,在占位开始时间至占位结束时间内保持占位资源对应的占位拓扑位置,并禁止占位资源分配给非目标调度任务;
67、调用资源管理组件对释放资源标识对应的资源写入空闲状态,更新资源释放时间,并清除原资源绑定任务标识;
68、调用任务管理组件将待迁移任务记录对应的任务从原资源拓扑位置迁移至资源迁移目标位置,并更新资源绑定任务标识、资源占用开始时间和资源拓扑位置;
69、调用资源管理组件将待合并资源记录对应的多个空闲资源写入同一重构后连续资源块标识,并将资源合并目标位置写入重构后连续资源块标识对应的资源拓扑位置,更新参与合并资源的空闲状态和资源连通关系;
70、调用网络管理组件对资源合并目标位置之间的网络链路写入网络链路预留状态,并更新重构后连续资源块标识对应的资源连通关系;
71、将释放保护状态、占位状态、空闲资源状态、资源释放时间、任务绑定状态、资源占用开始时间、资源拓扑位置、重构后连续资源块标识、资源合并目标位置、网络链路预留状态和资源连通关系写入平台运行状态缓存区。
72、调度执行模块根据协同调度策略执行算力调度动作,并将释放保护状态、占位状态、空闲资源状态、任务绑定状态、资源拓扑位置、重构后连续资源块标识和资源连通关系等内容写入平台运行状态缓存区,使前述占位、释放、迁移、合并和拓扑补齐结果能够落实到实际资源管理过程中,从而有利于在目标任务的预计到达时段形成并维持同时满足计算资源数量、显存容量及拓扑连续性要求的连续算力资源块。
73、与现有技术相比,本发明的有益效果是:
74、1、本发明基于对现有技术问题的进一步分析和研究,认识到在负载预测调度场景下,影响目标任务按时获得可用资源的关键因素并不仅是空闲资源数量是否充足,还包括资源释放时序、资源占位边界、显存容量分布以及资源拓扑位置之间是否能够在目标任务的预计到达时段共同形成可用的连续算力资源块;基于该认识,本发明通过负载采集模块采集任务队列数据、资源占用数据、资源释放数据、资源拓扑数据和任务迁移属性数据,生成平台负载状态数据;再通过负载相位可信画像生成模块生成包括负载相位标识、趋势可信范围和资源时空约束信息的负载相位可信画像,使负载变化阶段、资源释放时间范围和资源拓扑约束能够被统一表达;
75、在此基础上,算力提前占位与延迟释放模块根据负载相位可信画像生成占位释放控制信息,使满足目标计算资源数量、目标显存数量和目标拓扑连续性需求的资源能够被提前占位,并使能够参与形成连续资源块的待释放资源得到延迟释放保护;同时,算力碎片预测重构模块在占位释放控制信息限定的资源占用边界之外确定可重构资源范围、重构时间窗口和资源拓扑位置,并生成碎片重构控制信息,对分散空闲资源和可迁移资源进行重构;随后通过协同反馈模块和协同策略生成模块对占位释放控制信息和碎片重构控制信息进行修正,形成协同调度策略,并由调度执行模块执行对应的延迟释放动作、提前占位动作、即时释放动作、资源迁移动作、资源合并动作和拓扑补齐动作;
76、由此,本发明能够围绕目标任务的预计到达时段,对资源的时间释放关系、空间拓扑关系和资源占用边界进行预测性组织,使目标任务到达时更容易获得同时满足计算资源数量、显存容量及拓扑连续性要求的连续算力资源块,从而改善现有技术中仅基于空闲资源或单一负载预测进行调度时,容易出现资源数量满足但拓扑不连续、资源释放时机不匹配或者连续资源块形成不稳定的问题。
77、2、进一步地,本发明通过协同反馈模块检测碎片重构控制信息相对于占位释放控制信息的资源冲突状态和资源碎片状态,并根据检测结果生成重构剔除修正信息、重构时间后移修正信息、迁移目标改址修正信息、延迟释放保护修正信息、二次合并修正信息、拓扑补齐修正信息或者释放时间调整修正信息,再由协同策略生成模块据此修正占位释放控制信息和碎片重构控制信息,使重构动作不易占用已被占位或释放保护的资源,使迁移目标位置不易破坏占位拓扑位置,并使重构后连续资源块能够进一步向目标计算资源数量、目标显存数量和目标拓扑连续性需求靠拢。由此,在资源动态变化或预测结果存在波动的情况下,本发明能够对已经生成的调度控制信息进行反馈修正,有利于提高连续算力资源块形成过程的稳定性和可执行性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com