基于强化学习的分层动态资源分配方法

摘要: 本技术涉及智能调度与资源分配,特别是涉及一种基于强化学习的分层动态资源分配方法。背景技术:1、在工业调度、云计算资源管理、交通控制及应急指挥等众多复杂系统中,普...
基于强化学习的分层动态资源分配方法

本技术涉及智能调度与资源分配,特别是涉及一种基于强化学习的分层动态资源分配方法。

背景技术:

1、在工业调度、云计算资源管理、交通控制及应急指挥等众多复杂系统中,普遍存在一类动态资源分配问题。其核心挑战在于:系统需要根据实时变化的环境状态与任务需求,将有限的资源单元动态地分配给多个竞争性的目标任务,以最大化整体效能或最小化系统损失。此类问题通常具有高度的动态性(任务到达时间、资源状态持续变化)、强约束性(资源容量、时间窗口、任务优先级)以及组合爆炸特性,使得实时获取最优分配策略极具挑战性。

2、当前,解决动态资源分配问题的主流方法可分为两类。一类是运筹优化方法,如整数规划、启发式搜索或滚动时域优化,它们通过在有限决策时域内构建并求解带约束的优化模型来生成分配方案。这类方法的优点是解的质量有理论保证,但其计算复杂度通常随问题规模(如资源单元数量与目标任务数量的乘积)呈指数增长。在高动态场景下,系统状态频繁变化,这类方法难以及时完成重规划,无法满足实时性要求。

3、另一类是近年来兴起的基于强化学习的方法。强化学习通过与环境交互,将决策策略直接映射为状态到动作的映射函数,能够在在线阶段实现毫秒级响应,展现出良好的动态适应潜力。然而,现有强化学习方法大多采用端到端的方式,直接将系统当前状态映射为完整的细粒度资源分配动作。当资源单元和目标任务数量增多时,联合动作空间急剧膨胀,导致策略在训练初期极易产生大量不可行分配、资源冲突或低效分配动作。这不仅显著降低了样本利用效率,还使得训练过程极难收敛。为抑制此类无效动作,现有技术往往需要额外设计复杂的惩罚项,但这又可能引发奖励稀疏或不稳定等问题,进一步增加了策略学习的难度。

4、此外,许多现有方法在决策时缺乏对历史已分配但尚未完成任务的资源(例如,已下发但未反馈结果的指令)的显式建模,容易导致资源重复投入或优先级倒置,从而降低了整体资源利用效率。

5、综上所述,如何在保持强化学习快速响应优势的同时,有效压缩决策动作空间、减少无效探索、提升训练稳定性与资源利用效率,是当前动态资源分配技术领域亟待解决的关键问题。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够有效压缩决策动作空间,显著降低单步决策复杂度的基于强化学习的分层动态资源分配方法。

2、一种基于强化学习的分层动态资源分配方法,所述方法包括:

3、获取当前时刻的系统状态信息,所述系统状态信息包括各目标任务的任务状态信息以及各可用资源单元的资源状态信息;

4、利用上层策略网络根据所述系统状态信息,生成各目标任务对应的资源配额;

5、利用下层分配算法,在当前可用资源单元集合中为各目标任务分配具体的资源单元,生成当前时刻的资源分配方案,其中,所述下层分配算法在各目标任务的资源配额约束下,优先选择净边际贡献值为正且最大的候选资源单元进行分配,直至各目标任务已分配数量达到对应配额或无正边际贡献候选单元;

6、执行所述资源分配方案,获取环境反馈的奖励信号和下一时刻的系统状态信息,将所述系统状态信息、所述资源配额、所述奖励信号和所述下一时刻的系统状态信息作为一条经验轨迹存储至经验缓存中;

7、从所述经验缓存中采样经验轨迹,基于所述奖励信号计算累积回报,并根据所述累积回报更新所述上层策略网络的网络参数。

8、在其中一实施例中,在所述下层分配算法中,待求解的目标函数由各目标任务的未完成损失期望与各资源单元的消耗成本构成;

9、其中,任一目标任务的未完成损失期望根据目标任务的损失权重、目标任务在当前时刻分配开始前的初始未完成概率、以及当前时刻分配给这个目标任务的全部资源单元的服务失败概率的乘积确定;

10、所述初始未完成概率根据当前时刻之前已分配给这个目标任务但尚未完成服务的资源单元的服务成功率确定。

11、在其中一实施例中,所述下层分配算法采用边际贡献贪心算法;

12、在所述边际贡献贪心算法中,任一目标任务的未完成概率在每次分配后按照乘性规则递减,其更新方式为:更新后的未完成概率等于更新前的未完成概率乘以当前所分配资源单元的服务失败率。

13、在其中一实施例中,所述净边际贡献值为将候选资源单元分配给对应目标任务后,所述目标任务的未完成损失期望的减少量与所述候选资源单元的消耗成本之差。

14、在其中一实施例中,所述下层分配算法根据各目标任务的优先级确定各目标任务的分配顺序,按照所述分配顺序依次为各目标任务分配资源单元;其中,所述优先级基于所述目标任务的任务状态信息确定。

15、在其中一实施例中,更新所述上层策略网络的网络参数,包括:

16、从所述经验缓存中采样经验轨迹,基于所述奖励信号计算累积回报;

17、基于所述累积回报,采用近端策略优化的裁剪目标函数更新所述策略网络的参数;

18、以及,基于所述累积回报与价值网络预测值之间的误差更新所述价值网络的参数。

19、在其中一实施例中,所述上层策略网络输出各目标任务对应的资源配额之前,还包括:

20、根据所述系统状态信息构建动作掩码,所述动作掩码用于屏蔽不可执行目标任务的非法配额动作;

21、所述上层策略网络在所述动作掩码约束下输出所述资源配额。

22、本技术还提出了一种基于强化学习的分层动态资源分配装置,所述装置包括:

23、实时状态获取模块,用于获取当前时刻的系统状态信息,所述系统状态信息包括各目标任务的任务状态信息以及各可用资源单元的资源状态信息;

24、上层决策模块,用于利用上层策略网络根据所述系统状态信息,生成各目标任务对应的资源配额;

25、下层分配模块,用于利用下层分配算法,在当前可用资源单元集合中为各目标任务分配具体的资源单元,生成当前时刻的资源分配方案,其中,所述下层分配算法在各目标任务的资源配额约束下,优先选择净边际贡献值为正且最大的候选资源单元进行分配,直至各目标任务已分配数量达到对应配额或无正边际贡献候选单元;

26、执行交互模块,用于执行所述资源分配方案,获取环境反馈的奖励信号和下一时刻的系统状态信息,将所述系统状态信息、所述资源配额、所述奖励信号和所述下一时刻的系统状态信息作为一条经验轨迹存储至经验缓存中;

27、策略更新模块,用于从所述经验缓存中采样经验轨迹,基于所述奖励信号计算累积回报,并根据所述累积回报更新所述上层策略网络的网络参数。

28、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述基于强化学习的分层动态资源分配方法中的具体步骤。

29、一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现实现上述基于强化学习的分层动态资源分配方法中的具体步骤。

30、上述基于强化学习的分层动态资源分配方法,通过利用上层策略网络根据系统状态信息生成各目标任务对应的资源配额,将原始细粒度资源分配动作压缩为目标级配额动作,显著降低了单步决策的动作空间规模,再通过下层分配算法在各目标任务的资源配额约束下,优先选择净边际贡献值为正且最大的候选资源单元进行分配,使具体资源指派在配额边界内以收益最大化为导向执行,避免了端到端强化学习中大量非法动作和低效探索导致的样本效率低下与训练不稳定问题;同时,通过执行分配方案获取环境反馈并更新上层策略网络,实现策略在动态环境下的持续优化。由此,本方法能够有效压缩决策动作空间、降低单步决策复杂度,并提升动态资源分配场景下的决策效率和训练稳定性。