一种基于深度学习的算力资源优化方法及系统与流程

本发明涉及算力资源调度，具体涉及一种基于深度学习的算力资源优化方法及系统。

背景技术：

1、随着人工智能训练、云计算服务、边缘计算应用和大规模数据处理任务的快速增长，算力资源池中的任务类型、资源需求和运行状态呈现出明显的动态变化特征。不同任务对cpu、gpu、内存、网络链路和容器实例资源的依赖程度不同，部分任务具有高并发、高显存占用或低时延执行要求，若仍采用固定规则、静态阈值或人工配置方式进行资源分配，容易出现节点负载不均衡、任务等待时间过长、gpu资源空闲与拥塞并存、实例扩缩不及时以及跨节点迁移开销过大的问题。

2、现有算力资源调度方法通常根据任务优先级、节点剩余资源量或预设负载阈值进行调度决策，虽然能够满足基础资源分配需求，但难以同时考虑任务需求、节点状态、链路状态、容器实例状态和执行反馈之间的关联关系。当算力资源池规模扩大、任务类型增多或节点状态频繁变化时，传统方法难以及时生成适应当前运行环境的优化策略，容易造成局部资源过载、任务执行时延升高和系统服务稳定性下降。

3、深度强化学习能够通过与环境交互学习调度策略，适合处理动态资源优化问题。但普通a3c模型直接应用于算力调度场景时，仍存在状态表达不充分、不可行动作探索过多、资源约束反馈滞后以及奖励权重固定的问题，导致模型训练效率低、调度策略不稳定，甚至在任务迁移和实例扩缩过程中产生资源冲突。

4、因此，如何提供一种基于深度学习的算力资源优化方法及系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于深度学习的算力资源优化方法及系统，本发明充分利用了深度强化学习、状态注意力编码、动作掩码约束和闭环反馈更新技术，详细实现了算力资源状态采集、多维调度状态向量构建、算力资源调度交互环境建立、改进a3c多线程深度强化学习资源调度模型生成候选策略、多任务组合校验、调度执行以及模型在线更新过程，能够在任务需求、节点负载、链路状态和实例运行状态动态变化的情况下，自适应生成算力资源优化方案，具备资源利用率高、任务调度稳定、不可行动作探索少、跨节点调度冲突低和模型持续优化能力强的优点。

2、根据本发明实施例的一种基于深度学习的算力资源优化方法及系统，包括如下步骤：

3、s1、采集节点、任务、链路和实例数据，经同步、清洗、修正和归一化后得到算力资源状态数据集；

4、s2、对算力资源状态数据集进行节点状态、任务需求、链路实例和调度约束编码，得到多维调度状态向量；

5、s3、基于多维调度状态向量构建算力资源调度交互环境，设置调度动作空间和奖励反馈集合，得到训练环境；

6、s4、将多维调度状态向量输入改进a3c多线程深度强化学习资源调度模型，通过任务适配状态注意力编码处理、异步actor分组探索处理、动作掩码预屏蔽处理、critic价值评估处理和资源约束反馈修正处理，得到候选算力资源优化策略集合；

7、s5、对候选算力资源优化策略集合进行组合可行性校验、全局负载均衡校正、跨节点时延校验和动作冲突消解，得到算力资源优化方案；

8、s6、按照算力资源优化方案执行节点分配、配额调整、任务迁移、实例扩缩和队列重排，得到调度执行结果；

9、s7、基于调度执行结果生成闭环奖励反馈样本，并在线更新改进a3c多线程深度强化学习资源调度模型，得到更新后的算力资源优化模型。

10、可选的，所述s2包括如下步骤：

11、s21、将节点剩余算力、内存资源、负载波动和健康状态融合为节点状态向量；

12、s22、将任务计算量、优先级、等待时长、输入数据规模和服务等级约束融合为任务需求向量；

13、s23、将链路带宽、传输时延、拥塞状态、实例资源配额和实例健康状态编码为链路实例联合向量；

14、s24、将节点状态向量、任务需求向量和链路实例联合向量进行调度约束融合，加入资源上限、任务时延、迁移次数和实例稳定约束，得到多维调度状态向量。

15、可选的，所述s3包括如下步骤：

16、s31、基于多维调度状态向量建立状态空间，表征算力供给、任务需求、链路传输和实例运行状态；

17、s32、对目标节点选择、资源配额调整、迁移目标选择、实例副本变化和资源上限调整进行动作编码，得到综合动作空间；

18、s33、配置资源利用率奖励、任务完成奖励、时延惩罚、迁移开销惩罚、负载失衡惩罚和服务稳定奖励，得到训练环境。

19、可选的，所述s4包括如下步骤：

20、s41、构建改进a3c多线程深度强化学习资源调度模型，模型采用全局共享参数、异步actor线程、critic价值评估网络、动作掩码预屏蔽处理、资源约束反馈修正处理和奖励权重修正处理协同生成策略；

21、s42、以任务需求向量为查询对象，计算其与节点状态向量、链路实例联合向量的匹配权重，得到任务节点适配特征、任务链路传输特征和任务实例承载特征；

22、s43、将上述特征融合为调度决策特征并输入多个异步actor线程并行探索，得到多组候选资源优化动作；

23、s44、对多组候选资源优化动作进行动作掩码预屏蔽处理，删除违反资源、时延、链路、迁移次数和实例健康约束的单个动作，得到可行候选动作集合；

24、s45、对可行候选动作集合进行critic价值评估处理和资源约束反馈修正处理，根据动作价值和约束风险修正动作选择概率，得到候选算力资源优化策略集合。

25、可选的，所述s43包括如下步骤：

26、s431、根据任务预计算力占用量、显存占用量、输入数据规模和最大允许时延，得到任务类型划分结果；

27、s432、根据节点资源剩余量、负载波动、健康状态、温度变化和历史故障记录，得到节点状态划分结果；

28、s433、根据任务类型划分结果和节点状态划分结果，为不同异步actor线程分配探索子环境，生成对应候选资源优化动作；

29、s434、对各异步actor线程输出的动作进行异步汇聚，删除重复动作、互斥动作和执行对象冲突动作，得到多组候选资源优化动作。

30、可选的，所述s44包括如下步骤：

31、s441、根据任务最低算力需求、最大等待时长、最大执行时延、数据规模和允许迁移次数，生成任务约束集合；

32、s442、根据目标节点剩余算力、剩余内存、节点健康状态和承载任务数量，生成节点可用资源集合；

33、s443、将候选资源优化动作与任务约束集合、节点可用资源集合和链路状态匹配，屏蔽资源不足、时延越界、链路拥塞、迁移次数越界、实例异常和配额冲突的单个动作，得到可行候选动作集合。

34、可选的，所述s45包括如下步骤：

35、s451、对可行候选动作执行后的资源利用率、任务时延、等待时长和节点负载变化进行价值评估，得到动作基础价值；

36、s452、计算可行候选动作对应的资源占用风险、迁移开销风险、链路拥塞风险和实例稳定风险，得到约束风险值；

37、s453、将约束风险值作为价值修正项和惩罚项，对动作基础价值进行修正，得到动作约束修正价值；

38、s454、根据动作约束修正价值对可行候选动作进行排序和筛选，得到候选算力资源优化策略集合。

39、可选的，所述s5包括如下步骤：

40、s51、将多个候选策略组合执行后的算力占用量、内存占用量和实例副本数量与算力资源池剩余资源状态进行匹配，得到组合资源校验结果；

41、s52、删除导致单一节点持续高负载、节点间负载差异扩大、跨节点时延越界或服务等级约束不满足的候选策略组合，得到组合校正结果；

42、s53、识别多任务占用同一资源配额、多迁移动作指向同一节点以及扩缩动作与迁移动作相互影响的冲突情况，得到组合冲突消解结果；

43、s54、根据组合资源校验结果、组合校正结果和组合冲突消解结果综合筛选，得到算力资源优化方案。

44、可选的，所述s7包括如下步骤：

45、s71、采集资源利用率、任务时延、等待时长、迁移开销、节点负载波动、实例健康变化和服务稳定性数据，得到调度反馈数据集；

46、s72、将调度反馈数据集与调度前的多维调度状态向量比对，得到资源利用率变化、任务时延变化、迁移开销变化、负载均衡变化和服务稳定性变化；

47、s73、对资源利用率提升且任务时延降低的动作赋予正向奖励，对任务时延升高、迁移开销过高、负载失衡和实例稳定性下降的动作赋予惩罚反馈，得到复合奖励结果；

48、s74、基于复合奖励结果执行奖励权重修正处理，根据连续调度周期内的时延升高、迁移开销升高或稳定性下降情况修正对应惩罚权重；

49、s75、将复合奖励结果和惩罚权重回传至异步actor线程、critic价值评估网络和全局共享参数，更新策略梯度、状态价值误差、动作掩码参数和资源约束反馈参数，得到更新后的算力资源优化模型。

50、根据本发明实施例的一种基于深度学习的算力资源优化系统，包括如下模块：

51、资源状态采集模块，采集算力资源池中的算力节点运行数据、任务队列数据、网络链路数据和容器实例数据，对采集到的数据进行时间同步、字段清洗、异常字段修正和归一化处理，生成算力资源状态数据集；

52、调度状态编码模块，对算力资源状态数据集进行节点状态编码、任务需求编码、链路实例编码和调度约束编码处理，生成多维调度状态向量；

53、调度环境构建模块，基于多维调度状态向量构建算力资源调度交互环境，设置调度动作空间和奖励反馈集合，生成训练环境；

54、a3c策略生成模块，将多维调度状态向量输入改进a3c多线程深度强化学习资源调度模型，通过任务适配状态注意力编码处理、异步actor分组探索处理、动作掩码预屏蔽处理、critic价值评估处理和资源约束反馈修正处理，生成候选算力资源优化策略集合；

55、策略筛选校正模块，对候选算力资源优化策略集合进行组合可行性校验、全局负载均衡校正、跨节点时延校验和动作冲突消解，生成算力资源优化方案；

56、调度执行模块，按照算力资源优化方案执行节点分配、配额调整、任务迁移、实例扩缩和队列重排，生成调度执行结果；

57、闭环更新模块，基于调度执行结果生成闭环奖励反馈样本，并基于闭环奖励反馈样本更新改进a3c多线程深度强化学习资源调度模型，生成更新后的算力资源优化模型。

58、本发明的有益效果是：本发明通过采集算力节点运行数据、任务队列数据、网络链路数据和容器实例数据，并对上述数据进行同步、清洗、修正和归一化处理，形成统一的算力资源状态数据集，使系统能够在同一状态表达框架下综合反映节点资源余量、任务计算需求、链路传输条件和实例运行情况，解决了现有调度方法状态来源分散、资源感知不完整的问题。

59、本发明通过节点状态编码、任务需求编码、链路状态编码、实例运行编码和调度约束编码构建多维调度状态向量，并利用任务适配状态注意力编码层提取任务与节点、链路、实例之间的匹配关系，使改进a3c模型能够根据不同任务的实际资源需求确定更适配的调度特征，相比仅依据节点剩余资源进行分配的方法，提高了任务与算力节点之间的匹配准确性。

60、本发明通过异步actor分组探索机制，根据任务类型和节点状态为不同actor线程分配探索子环境，使多个actor线程能够并行学习不同算力场景下的资源分配、任务迁移和实例扩缩策略，减少了单一策略网络对复杂调度环境的适应压力，提高了候选资源优化动作的生成效率和调度策略覆盖能力。

61、本发明通过动作掩码层对资源不足、时延越界、链路拥塞、迁移次数越界、实例健康异常和资源配额冲突的单个动作进行预屏蔽，减少了强化学习模型对不可行动作的无效探索，避免了调度策略在执行前产生明显违反资源约束的动作，从而提高了策略生成过程的可行性和训练稳定性。

62、本发明通过资源约束反馈层计算资源占用风险、迁移开销风险、链路拥塞风险和实例稳定风险，并将约束风险值作为critic价值网络的价值修正项和奖励反馈集合的惩罚项，使高风险动作在价值评估和后续模型更新中被降低选择概率，解决了普通a3c模型资源约束反馈滞后、策略更新与实际执行风险脱节的问题。

63、本发明通过对候选算力资源优化策略集合进行多任务组合可行性校验、全局负载均衡校正、跨节点时延约束校验和组合动作冲突消解，能够识别多个候选策略同时执行时产生的资源竞争、迁移冲突和实例扩缩冲突，避免单个动作可行但组合执行后引起全局资源失衡的问题，提高了算力资源优化方案的整体可执行性。

64、本发明通过采集调度执行结果生成闭环奖励反馈样本，并根据连续调度周期内的时延升高、迁移开销升高或稳定性下降情况修正对应惩罚权重，使改进a3c多线程深度强化学习资源调度模型能够随算力资源池运行状态持续更新，相比固定奖励函数的调度模型，提升了动态任务场景下的自适应优化能力和长期服务稳定性。