排程优化方法、装置、电子设备及计算机程序产品与流程

本申请属于生产，尤其涉及一种排程优化方法、排程优化装置、电子设备及计算机程序产品。

背景技术：

1、排程是指在资源和时间受限的条件下，根据任务要求及相关约束，为各项任务分配资源和时间，以获得满足预定目标的排程方案。目前，可采用强化学习对排程问题进行求解，即将排程环境的状态信息作为模型输入，将相应的排程操作作为模型输出，并通过模型与排程环境之间的交互不断更新模型参数。

2、然而，在实际生产场景中，排程问题通常涉及数量较多的任务和资源，并具有复杂的工艺约束及优化目标，使得排程环境的状态空间和动作空间较大。现有强化学习模型往往需要在排程环境中进行大量试错探索，训练过程容易出现收敛速度慢和/或训练结果波动等情况，因而难以稳定且高效地训练出能够生成符合预期的排程方案的模型。

技术实现思路

1、本申请提供了一种排程优化方法、排程优化装置、电子设备及计算机程序产品，可以稳定且高效地训练出能够生成符合预期的排程方案的模型，从而提升排程方案的可靠性。

2、第一方面，本申请提供了一种排程优化方法，包括：

3、获取多个课程阶段训练数据集，其中，每个课程阶段训练数据集均对应一个课程阶段，并包括排程环境数据以及与排程环境数据对应的专家状态-动作数据，且每个课程阶段训练数据集对应一种排程复杂度，多个课程阶段训练数据集对应的排程复杂度依次递增，排程复杂度最低的课程阶段为初始课程阶段；

4、基于初始课程阶段对应的课程阶段训练数据集中的专家状态-动作数据，对策略网络进行行为克隆训练，得到初始策略网络；

5、以初始策略网络为训练起点，按照排程复杂度由低至高的顺序，依次基于各课程阶段训练数据集，采用行为克隆和强化学习进行阶段训练，并在阶段训练中对行为克隆损失和强化学习损失进行动态加权融合，得到目标策略网络；

6、基于目标策略网络对待排程数据进行处理，得到排程方案。

7、第二方面，本申请提供了一种排程优化装置，包括：

8、获取模块，用于获取多个课程阶段训练数据集，其中，每个课程阶段训练数据集均对应一个课程阶段，并包括排程环境数据以及与排程环境数据对应的专家状态-动作数据，且每个课程阶段训练数据集对应一种排程复杂度，多个课程阶段训练数据集对应的排程复杂度依次递增，排程复杂度最低的课程阶段为初始课程阶段；

9、初始化模块，用于基于初始课程阶段对应的课程阶段训练数据集中的专家状态-动作数据，对策略网络进行行为克隆训练，得到初始策略网络；

10、训练模块，用于以初始策略网络为训练起点，按照排程复杂度由低至高的顺序，依次基于各课程阶段训练数据集，采用行为克隆和强化学习进行阶段训练，并在阶段训练中对行为克隆损失和强化学习损失进行动态加权融合，得到目标策略网络；

11、处理模块，用于基于目标策略网络对待排程数据进行处理，得到排程方案。

12、第三方面，本申请提供了一种电子设备，上述电子设备包括存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时实现如上述第一方面的方法的步骤。

13、第四方面，本申请提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现如上述第一方面的方法的步骤。

14、第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面的方法的步骤。

15、本申请与现有技术相比存在的有益效果是：本申请方案根据排程复杂度依次递增的多个课程阶段训练数据集开展策略网络训练，并先利用初始课程阶段训练数据集中的专家状态-动作数据进行行为克隆训练，使得到的初始策略网络具备基础排程能力，减少训练初期的盲目探索；在此基础上，按照排程复杂度由低至高的顺序，依次采用行为克隆和强化学习进行阶段训练，使策略网络能够在专家排程经验的引导下逐步探索并适应复杂度更高的排程环境。由此，能够提高策略网络训练的收敛速度和稳定性，进而提高所生成排程方案的可靠性。

16、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

1.一种排程优化方法，其特征在于，包括：

2.如权利要求1所述的排程优化方法，其特征在于，针对多个所述课程阶段中的任一当前课程阶段，所述阶段训练包括：

3.如权利要求2所述的排程优化方法，其特征在于，所述根据所述强化学习轨迹数据和所述当前课程阶段对应的课程阶段训练数据集中的专家状态-动作数据，采用行为克隆和强化学习对所述当前策略网络进行训练，包括：

4.如权利要求3所述的排程优化方法，其特征在于，所述对所述行为克隆损失和所述强化学习损失进行加权融合，得到混合训练损失，包括：

5.如权利要求4所述的排程优化方法，其特征在于，所述相对性能按照预设评估周期确定，所述阶段训练还包括：

6.如权利要求4所述的排程优化方法，其特征在于，所述相对性能按照预设评估周期确定，所述阶段训练还包括：

7.如权利要求1所述的排程优化方法，其特征在于，所述多个课程阶段训练数据集通过以下步骤构建：

8.一种排程优化装置，其特征在于，包括：

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被一个或多个处理器执行时实现如权利要求1至7任一项所述的方法。