一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法

本发明涉及智能车间调度和仿真优化，特别是涉及一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法。

背景技术：

1、共享瓶颈重入制造系统广泛存在于大型装备制造、离散制造和多工序协同生产场景中。以风机塔筒制造车间为例，四辊卷圆机既承担首次卷圆工序又承担重入校圆工序，形成共享瓶颈工艺环节。这类系统具有订单动态释放、产品动态到达、设备动态空闲、重入返回等待以及订单中途取消等复杂动态特征，生产调度面临多目标协调优化的突出挑战。订单交期、设备利用率和订单交付率相互制约，同时共享瓶颈设备面临首次加工产品和重入加工产品两类任务的资源竞争，增大了调度决策的难度。因此，如何在上述复杂动态条件下实现高效、鲁棒的调度方案，是共享瓶颈重入制造系统需要解决的核心技术问题。

2、现有技术中，解决制造车间调度问题通常采用以下几种技术手段。一类是基于调度规则的方法，例如先到先服务、最早交期优先或者最短加工时间优先等启发式规则，由人工或系统按固定规则执行派工。另一类是基于数学规划或元启发式搜索的方法，例如遗传算法、粒子群优化和模拟退火等，通过离线优化生成静态排程计划。近年来，深度强化学习技术被引入调度领域，通过将调度问题建模为马尔可夫决策过程，由智能体在与环境的交互中学习调度策略。典型的实现方式包括，采用深度q网络或近端策略优化算法，以车间状态为输入、调度规则或机器分配为动作输出，以最大完工时间或设备利用率等生产指标作为奖励信号的依据进行训练。数字孪生技术在制造领域也得到了广泛应用，通过构建与物理车间对应的虚拟模型，实现对生产过程的仿真、监测和可视化展示。

3、然而，上述现有技术手段在面对共享瓶颈重入制造系统的动态调度时仍然存在以下不足。第一，公开号为cn117669984b的中国专利公开了基于数字孪生及知识图谱的强化学习的车间调度方法，该方案利用数字孪生模型提供状态表示，结合知识图谱增强决策可解释性，但其强化学习奖励信号仍然依赖于静态规则计算，所采用的数字孪生环境充当状态供给和性能验证角色，并不承担派工动作的实际执行任务，也不会在动作执行后统计运行结果并反馈至训练过程，因此奖励信号与实际生产推进效果之间存在脱节。第二，公开号为cn116821223b的中国专利公开了基于数字孪生的工业可视化控制平台及方法，该方案以数字孪生技术实现工业场景的可视化展示和报警提示，数字孪生模型仅用于监控和展示目的，未与强化学习训练形成闭环，未将被控对象的运行结果作为训练反馈参与智能体策略更新，限制了数字孪生对复杂动态制造过程的建模优势在训练中的发挥。第三，公开号为cn119740681a的中国专利公开了数字孪生柔性作业车间的动态调度方法，该方案采用多智能体ppo算法在虚拟车间中进行训练和调度，但训练过程和评估过程未做显式隔离，模型在评估时仍可能发生参数更新，导致不同调度策略或不同训练阶段的性能结果难以在同等条件下进行客观比较，削弱了模型评估的可信度。因此，需要设计一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法来解决上述问题。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法，旨在克服现有强化学习调度训练中奖励信号与实际运行过程脱节、数字孪生环境仅用于展示而未参与动作执行和反馈训练以及共享瓶颈重入场景下订单释放和多资源协同难以同步建模的技术问题，具有将数字孪生运行端作为派工动作执行与运行增量统计的闭环反馈环境、使训练奖励基于实际运行结果构造并与缩短完工时间提高瓶颈设备利用率降低订单取消率的核心目标保持一致的特点。

2、为实现上述技术方案，本发明采用的技术方案为：

3、一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法，包括如下步骤：

4、s1，由强化学习训练端生成共享瓶颈重入制造系统的订单场景；

5、s2，由数字孪生运行端加载订单场景，并按照订单释放时间动态创建订单和产品；

6、s3，由数字孪生运行端推进生产过程，并在共享候选队列非空且共享瓶颈设备存在空闲设备时触发派工决策请求；

7、s4，由数字孪生运行端生成全局聚合状态和候选产品实时快照，并发送至强化学习训练端；

8、s5，由强化学习训练端根据全局聚合状态输出动态权重；

9、s6，由数字孪生运行端根据动态权重执行候选产品派工动作并推进生产过程；

10、s7，由数字孪生运行端统计派工动作执行后的运行增量，并将新状态和运行增量发送至强化学习训练端；

11、s8、由强化学习训练端根据运行增量计算即时奖励，并根据全局聚合状态、动态权重、即时奖励和新状态更新强化学习模型。

12、进一步地，所述订单场景包括订单编号、产品编号、工艺路线、各工序加工时间、订单交期、订单释放时间、订单规模、交期压力参数和随机种子信息。

13、优选地，所述数字孪生运行端按照订单释放时间动态创建订单和产品，并根据产品当前工序状态控制产品依次进入前处理工序、首次瓶颈加工工序、中间处理工序、重入瓶颈加工工序和后续处理工序；所述共享瓶颈重入制造系统包括依次连接的前处理工序、首次瓶颈加工工序、中间处理工序、重入瓶颈加工工序和后续处理工序，其中所述首次瓶颈加工工序和所述重入瓶颈加工工序使用同一组共享瓶颈设备，产品在完成中间处理工序后返回所述共享瓶颈设备组执行重入瓶颈加工工序。

14、进一步地，所述数字孪生运行端在推进生产过程时，通过离散事件仿真机制模拟订单和产品在所述共享瓶颈重入制造系统中的流转过程，具体包括：

15、按照当前仿真时间扫描各工序的设备占用状态和队列状态；

16、对于设备加工完成事件，将产品从当前设备释放至下一工序的等待队列，并更新该设备状态为空闲；

17、对于非瓶颈工序，在设备空闲时从该工序的等待队列中按先进先出规则选取产品进行加工；

18、对于共享瓶颈工序，在设备空闲且共享候选队列非空时触发派工决策请求，由所述强化学习训练端输出的动态权重决定产品的加工顺序；

19、以派工动作执行或设备加工事件完成作为时间推进的驱动事件，将仿真时间推进至下一事件发生时刻。

20、优选地，训练过程中强化学习训练目标围绕以下三个核心优化指标展开：

21、以表示最小化最大完工时间，其中表示最大完工时间；

22、以表示最大化共享瓶颈设备利用率，其中表示共享瓶颈设备利用率；

23、以表示最小化订单取消率，其中表示取消订单数，表示初始订单数。

24、进一步地，所述全局聚合状态包括当前时间、完成率、共享队列长度、首次瓶颈加工等待数量、重入瓶颈加工等待数量、重入瓶颈加工等待占比、高风险订单占比、平均等待时间、最大等待时间、共享瓶颈设备空闲率、共享瓶颈设备利用率和下游饥饿度。

25、进一步地，所述候选产品实时快照包括交期压力、取消风险、等待状态、重入状态、当前工序优先级、产品贡献、下游饥饿度和瓶颈适配度。

26、优选地，所述强化学习训练端采用软演员—评论家强化学习模型，根据所述全局聚合状态输出固定维度的动态权重，所述动态权重用于供所述数字孪生运行端对候选产品进行动作解码和派工执行；

27、软演员—评论家强化学习模型包括策略网络、第一q网络、第二q网络和温度参数；所述策略网络以所述全局聚合状态为输入，经多层全连接网络映射为各维度动作的均值和对数标准差，通过重参数化采样得到所述固定维度的动态权重；所述第一q网络和所述第二q网络分别估计状态-动作价值并取两者中较小值以抑制过估计；所述温度参数用于调节策略熵正则化的强度，在训练过程中由所述强化学习训练端通过最小化熵目标函数自动调节或设为预设固定值；所述策略网络在训练阶段以随机采样方式输出动态权重以维持探索，在评估阶段以均值输出方式输出动态权重以实现确定性派工；

28、数字孪生运行端根据所述动态权重对候选产品进行评分排序，并按照排序结果将候选产品分配至空闲共享瓶颈设备。

29、优选地，述运行增量包括派工动作执行后至下一派工决策点之间的新增取消订单数、时间推进量和共享瓶颈设备空闲能力面积；运行增量还包括共享瓶颈设备数量、共享瓶颈设备累计忙时、共享瓶颈设备累计空闲面积、当前共享瓶颈设备利用率、当前仿真时间或最大完工时间、完成订单数和取消订单数中的至少一种。

30、优选地，即时奖励根据如下方式计算：

31、根据新增取消订单数与初始订单数之比得到取消损失增量：

32、；

33、根据第个决策区间的时间推进量与单位订单平均加工工作量之比得到时间推进损失增量：

34、；

35、根据共享瓶颈设备空闲能力面积与共享瓶颈设备数量及单位订单平均加工工作量乘积之比得到空闲损失增量：

36、；

37、单位订单平均加工工作量为场景总加工工作量与初始订单数之比，即；

38、根据所述取消损失增量、所述时间推进损失增量和所述空闲损失增量的加权负值确定即时奖励：

39、；

40、其中、和为非负权重系数。

41、优选地，所述第个决策区间的起始时刻为所述数字孪生运行端触发派工决策请求的时刻，终止时刻为所述数字孪生运行端执行派工动作后推进生产过程至满足以下任一条件的最早时刻：存在共享瓶颈设备再次空闲且共享候选队列非空、所有订单加工完毕、或达到预设仿真终止时间。

42、进一步地，所述非负权重系数、和通过超参数搜索或基于各运行增量的量级归一化确定，所述量级归一化为将各运行增量除以其在全训练场景中的统计均值，使三个损失增量处于同一量级。

43、进一步地，重入等待时间、平均拖期、总拖期、共享队列平均等待时间和重入等待面积作为辅助评价指标或机制分析指标进行统计，而不作为所述即时奖励的主奖励项。

44、优选地，所述强化学习训练端将当前全局聚合状态、动态权重、即时奖励、新全局聚合状态和场景终止标识构成经验样本，并将所述经验样本写入经验回放缓存，以用于更新软演员—评论家强化学习模型。

45、优选地，数字孪生运行端与所述强化学习训练端之间通过包含事件编号、当前时间、全局聚合状态、候选产品编号、候选产品实时快照、模型版本、动态权重、派工序列和运行增量的通信协议进行数据交互，并通过事件编号进行幂等校验，当所述数字孪生运行端与所述强化学习训练端之间发生通信中断后，根据最近一次确认的事件编号、场景状态和模型版本恢复训练过程。

46、优选地，训练过程和评估过程相互隔离，训练过程允许强化学习模型参数更新，评估过程加载指定模型参数并在不更新模型参数的情况下执行调度策略评价。

47、进一步地，还包括一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练系统，包括：

48、订单场景生成模块，用于生成共享瓶颈重入制造系统的订单场景；

49、数字孪生订单释放模块，与订单场景生成模块连接，用于接收所述订单场景并按照订单释放时间动态创建订单和产品；

50、数字孪生生产推进模块，与数字孪生订单释放模块连接，用于接收已创建的订单和产品，并模拟产品加工、设备占用、队列等待、重入返回和订单完成；

51、状态与快照采集模块，与数字孪生生产推进模块连接，用于从生产推进过程中采集数据并生成全局聚合状态和候选产品实时快照；

52、强化学习动作生成模块，与状态与快照采集模块连接，用于接收所述全局聚合状态并输出动态权重；

53、动作执行模块，分别与强化学习动作生成模块和数字孪生生产推进模块连接，用于接收所述动态权重并执行派工动作，以及将派工结果反馈至数字孪生生产推进模块；

54、运行增量统计模块，与数字孪生生产推进模块连接，用于接收生产推进数据并统计新增取消订单数、时间推进量和共享瓶颈设备空闲能力面积；

55、奖励计算模块，与运行增量统计模块连接，用于接收所述运行增量并计算即时奖励；

56、经验回放与模型更新模块，分别与奖励计算模块和强化学习动作生成模块连接，用于接收所述即时奖励、构建经验样本、写入经验回放缓存并更新强化学习模型；

57、通信协议与异常恢复模块，分别与状态与快照采集模块、强化学习动作生成模块和运行增量统计模块连接，用于实现消息交互、幂等校验和断线恢复。

58、进一步地，一种电子设备，包括处理器和存储器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时实现所述的一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法。

59、进一步地，一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的一种基于数字孪生运行反馈的共享瓶颈重入调度强化学习训练方法。

60、本发明的有益效果为：

61、1，本发明通过构建强化学习训练端与数字孪生运行端的闭环训练框架，实现了调度动作在数字孪生环境中执行并由运行结果产生训练反馈，解决了传统方法中奖励信号与实际生产运行脱节的问题，使训练反馈与缩短最大完工时间、提高共享瓶颈设备利用率和降低订单取消率的核心目标保持一致。具体而言，强化学习训练端负责生成统一订单场景和输出动态权重，数字孪生运行端负责按订单释放时间动态创建产品和执行派工动作，数字孪生运行端在每次派工后统计新增取消订单数、时间推进量和共享瓶颈设备空闲能力面积等运行增量，强化学习训练端根据这些运行增量构造即时奖励并更新模型，从而使奖励计算基于动作执行后的实际运行结果而非人工预设的规则评价，提高了训练过程与制造系统运行目标之间的一致性。

62、2，本发明通过基于新增取消订单数、时间推进量和共享瓶颈设备空闲能力面积的运行增量构造即时奖励，解决了传统奖励函数难以统一协调多个优化目标的问题，使最大完工时间缩短、瓶颈设备利用率提高和订单取消率降低三个核心目标能够被统一纳入训练优化过程。具体而言，取消损失增量引导模型减少订单取消行为，时间推进损失增量引导模型缩短生产周期，空闲损失增量引导模型提高共享瓶颈设备的利用效率，三个损失增量通过加权求和取负值形成统一的即时奖励信号，使强化学习模型在一个综合的奖励框架下同时优化多个生产运行指标。辅助评价指标如重入等待时间和平均拖期等作为机制分析手段用于解释调度策略的内部协调效果，但不参与主奖励计算，从而避免了多目标间耦合干扰对训练收敛性的负面影响。

63、3，本发明通过训练过程与评估过程的隔离机制以及数字孪生运行端与强化学习训练端之间的事件编号通信协议，解决了模型效果难以可靠比较和交互过程稳定性不足的问题，提高了长周期训练任务的可靠性和结果可比性。具体而言，训练过程允许强化学习模型通过经验回放和参数更新持续优化策略，评估过程加载指定模型版本并以确定性方式输出动态权重，在完成完整场景仿真后统计各项评价指标，不更新模型参数。数字孪生运行端与强化学习训练端之间通过包含事件编号的通信协议进行派工请求、动作响应和运行反馈三类消息交互，通过事件编号进行幂等校验防止重复执行，在通信中断时根据最近一次确认的事件编号、场景状态和模型版本恢复训练过程，降低了通信异常对训练连续性造成的影响。