一种基于深度强化学习的PCB钻孔车间智能排程方法与流程

本发明涉及智能制造与生产调度优化，具体涉及一种基于深度强化学习的pcb钻孔车间智能排程方法。

背景技术：

1、pcb钻孔车间排程属于典型的离散制造调度问题，设备数量多、工单属性复杂、加工过程受设备精度、板材型号、孔数、面积、最小孔径、板厚以及叠板工艺等多种因素共同影响，而具有明显的高维、动态和强约束特征。

2、在实际生产过程中，不同精度等级的钻机设备可加工的工单类型不同，高精度设备能够向下兼容普通工单，而普通设备不能加工高精度工单，同时不同板型之间存在换型时间、同板型之间存在换板时间，工单加工时间又受总需求孔数、钻轴数量及叠板数量共同影响，这使得排程决策具有显著的非线性和时变性。

3、目前车间排程仍普遍依赖人工经验或简单规则，难以同时兼顾总钻孔产出、设备利用率、急单交付率、换型损失以及可避免空闲时间等多个目标，且在多台设备同时空闲、候选工单数量庞大和实时插单等场景下，传统方法难以快速生成高质量排程方案。

4、此外，若直接将全部待加工工单输入调度模型，会导致状态空间和动作空间迅速膨胀，降低求解效率；若不将设备兼容性、工单状态和计划时间上限等规则显式纳入决策过程，还容易产生违规分配或低效分配问题。

技术实现思路

1、本文设计一种基于深度强化学习的pcb钻孔车间智能排程方法，包括以下步骤：

2、为解决pcb钻孔车间中设备精度等级不同、工单属性多样、叠板工艺导致加工时间非线性、换型换板频繁以及人工排程耗时长且精度低的问题，获取pcb钻孔车间中的设备信息与待加工工单信息，建立面向多设备并行分配场景的多目标排程数学模型，将车间排程过程抽象为马尔可夫决策过程，针对当前空闲设备生成候选工单集合并构造动作集合，依据候选工单状态、设备精度匹配关系及计划时限构建动作掩码，采用dueling-dqn网络对当前设备进行动作价值评估，在同一时刻存在多台空闲设备时对空闲设备集合进行随机打乱并逐台决策，在当前时刻全部空闲设备完成决策后推进系统时间并更新智能体策略，从而得到满足设备兼容约束和工艺约束的排程方案；

3、所述的获取pcb钻孔车间中的设备信息与待加工工单信息是指：获取设备精度等级、设备运行状态、设备空闲状态、当前剩余加工时间和设备加工能力，以及工单的型号、优先级、面积、板材厚度、最小钻咀直径、总需求孔数、交期、最早可加工时间和精度要求；

4、所述的建立多目标排程数学模型是指：根据pcb钻孔车间的工艺特征，以总钻孔产出、设备利用率、换型时长、急单交付率和可避免空闲时间为优化目标，并设置设备兼容约束、叠板数范围约束、加工时间约束、设备容量约束和最早完成时间约束。

5、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，所述的建立多目标排程数学模型，所述pcb钻孔车间满足如下建模假设：

6、车间内所有钻机设备具有相同的单轴钻孔速度和相同的钻轴数量；

7、设备只考虑计划性维护；

8、工单一旦开始加工则不可中断；

9、工单实际加工时间受叠板数量影响；

10、同种板型切换时换板时长固定；

11、不同板型之间换型时长固定；

12、多目标排程数学模型中的参数至少包括：

13、工单总需求孔数、工单面积、工单优先级、工单板材厚度、工单最小钻咀直径、单轴基准钻孔速度、单台设备最大钻轴数、规划时间周期、工单交期、工单最早可加工时间以及设备从工单切换到工单的换型耗时；

14、数学模型中的优化目标包括：

15、最大化总钻孔数，其表达式为：

16、，其中，为工单是否完成的二元变量；

17、最大化设备利用率，其表达式为：

18、，其中，为工单是否在设备上加工的二元变量，为工单换型或换板时长；

19、最小化总换型时长，其表达式为：

20、，其中，为单位时间换型惩罚，表示设备上工单和工单之间的换型或换板耗时；

21、最大化急单交付率，其表达式为：

22、；

23、最小化总可避免空闲时间，其表达式为：

24、，其中，为设备在时刻的空闲状态指示变量，为待加工队列非空指示变量；

25、多目标排程数学模型满足如下约束：设备兼容约束，用于限制高精度工单不能被分配给精度未达标设备；

26、叠板数范围约束表示为：

27、，且：，其中，为工单的叠板数，为工单的最大叠板数；

28、加工时间约束表示为：

29、，其中，为工单的加工时长；

30、设备容量约束表示为：，最早完成时间约束表示为：，其中，为工单的完成时间；

31、数学模型通过加权方式构成综合优化目标，其表达式为：

32、

33、，其中，、、、和分别为五个子目标对应的权重系数，权重系数由实际公司打分得出。

34、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，

35、所述的将车间排程过程抽象为马尔可夫决策过程是指：构建包含全局状态和增强状态的状态空间、包含分配候选工单动作及no-op动作的动作空间以及与排程效果对应的奖励函数；

36、所述的生成候选工单集合并构造动作集合是指：针对当前空闲设备，从当前可加工工单中生成候选工单集合，并依据候选工单集合构造包括分配某一候选工单以及不分配工单的no-op动作在内的动作集合；

37、所述的构建动作掩码是指：依据候选工单是否为空、工单是否处于待加工状态、设备精度是否满足工单精度要求以及分配后完成时间是否超过日计划上限，对不可行动作进行屏蔽，以保证动作选择仅在可行动作范围内进行；

38、所述的马尔可夫决策过程表示为，其中为状态空间，为动作空间，为奖励函数，为折扣因子；

39、所述全局状态表示为：

40、，其中，表示日内时间进度，表示不同精度设备空闲占比，表示优先级的待加工孔数占比，表示待加工孔数占总孔数的比例；

41、所述增强状态表示为：

42、，其中，为设备的精度等级，为第个候选工单的特征向量；

43、所述候选工单特征向量表示为：

44、，其中，为可行性位，为设备与工单匹配指示变量，为孔数归一化值，为工单优先级，为工单精度等级，为面积归一化值；

45、所述动作空间表示为：

46、，其中，动作为no-op动作，表示本次不对设备分配任何工单，动作至动作分别对应候选工单集合中的第至第个工单。

47、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，

48、所述设备在时刻的候选工单集合表示为，所述候选工单集合通过对可加工工单按照优先级、匹配度和面积进行启发式排序后截断得到。

49、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，

50、所述动作掩码表示为：

51、，所述不可行动作至少包括：候选位为空、工单不处于pending状态、设备精度不能满足工单精度要求以及分配后完成时间超过日计划上限；

52、动作选择规则表示为：

53、，从而保证仅在可行动作集中进行最优选择。

54、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，

55、所述奖励函数包括分配阶段奖励、时间推进阶段奖励和完成度奖励：

56、所述分配阶段奖励用于评价单次分配行为的可行性与优先级合理性；

57、所述时间推进阶段奖励用于反映忙碌设备占比、可避免空闲占比和换型设备占比；

58、所述完成度奖励用于在回合结束时基于高优先级订单完成率、总体孔数完成率和面积完成率进行奖励结算。

59、所述分配阶段奖励表示为：

60、，其中，表示当前选择工单与候选集中最佳优先级工单之间的优先级差值。

61、所述时间推进阶段奖励表示为：

62、，其中，为忙碌设备占比，为可避免空闲设备占比，为换型设备占比，为下一事件时刻与当前时刻的时间差。

63、所述完成度奖励表示为：

64、，其中，为高优先级工单实际完成孔数，为高优先级工单需求孔数，为总完成孔数，为总需求孔数，为总完成面积，为总需求面积；

65、其总奖励函数可表示为:

66、。

67、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，

68、所述的构建dueling-dqn智能排程算法，具体如下：

69、所述的构建dueling-dqn智能排程算法是指：所述算法包括候选工单生成、增强状态构造、动作价值评估、多空闲设备逐台决策、时间推进、经验回放和策略更新；

70、所述dueling-dqn网络包括共享特征层、价值分支、优势分支和聚合层，所述价值分支输出状态价值，所述优势分支输出动作优势，通过聚合层得到各动作的q值。标准q函数定义为：

71、，其中为未来折扣回报；

72、所述价值分支输出状态价值，表示当前状态的好坏程度；

73、所述优势分支输出动作优势，表示选择某动作相对于平均水平的优势；

74、所述聚合层根据状态价值和动作优势得到各动作的q值，其表达式为：

75、，所述dueling-dqn网络架构细节，duelingdqn定义为：

76、，

77、具体网络层定义：

78、特征层：

79、，

80、价值流（value stream）：

81、，

82、优势流（advantage stream）：

83、，

84、其中；

85、输入维度：全局状态维度+设备特征维度+候选工单特征维度；

86、输出维度：（no-op + n个候选工单）；

87、网络初始化：采用均匀xavier初始化，确保初始q值估计的无偏性；

88、训练过程中采用经验回放机制和目标网络机制：

89、所述经验回放机制通过存储状态转移样本于经验回放池并随机采样进行训练，以打破时间相关性并提高样本效率；

90、定义五元组转移

91、，其中为下一状态的动作掩码，回放池存储容量为b,

92、，当缓冲满时，采用fifo（先进先出），经验回放池有以下作用：打破时间相关性，具体而言相邻时刻的状态转移高度相关，直接用其训练会导致网络过拟合当前轨迹。回放池随机采样一批数据，破坏相关性，使网络学习更一般的规律；提高样本效率，也就是说同一条转移可能被采样多次，有效增加了样本量，尤其在早期探索时少量高质量转移可被反复利用。

93、差分目标进行参数更新，其目标值表示为：

94、，

95、其中，是policy_net的延迟复制，损失函数表示为：

96、，并采用adam优化器进行梯度下降更新。

97、进一步的，一种基于深度强化学习的pcb钻孔车间智能排程方法，

98、所述的对空闲设备集合进行随机打乱并逐台决策是指：当同一时刻存在多台空闲设备时，对空闲设备集合进行随机排序，并按随机顺序逐台执行候选工单刷新、动作掩码计算、状态构造和动作选择，以降低固定设备顺序导致的资源分配偏差；

99、所述多台空闲设备的决策顺序采用随机打乱方式实现，其中空闲设备集合表示为，对该集合随机打乱后逐台决策；

100、在同一时刻对多台空闲设备逐台决策时，每次在设备决策前重新获取当前可用工单集合，以实现动态候选集刷新，避免后续设备重复选择已被前序设备占用的工单；

101、所述的推进系统时间并更新智能体策略是指：在当前时刻全部空闲设备完成决策后推进系统时间，并依据分配阶段奖励、时间推进阶段奖励和完成度奖励更新智能体策略，从而得到满足工艺约束和设备兼容约束的智能排程方案。

102、本发明的有益效果：将复杂的pcb钻孔车间排程过程抽象为马尔可夫决策过程（mdp），并采用dueling-dqn网络进行智能决策。该方法能够实现毫秒级的排程响应，减少对人工经验的依赖，不仅大幅缩短了排程时间，还避免了人为疏漏，显著提升了排程结果的准确性与科学性。在模型中精准设置了设备兼容、叠板数范围、加工时间、设备容量和最早完成时间等多维约束。通过将叠板等非线性因素纳入考量，确保了生成的排程方案完全符合实际生产工况，避免了不可行方案导致的现场执行冲突。构建了包含全局状态和增强状态的状态空间，并在动作空间中创新性地引入了no-op（空操作）动作。同时，通过动作掩码机制实时过滤受限于设备容量和工艺约束的不可行动作。这不仅极大缩小了智能体的动作搜索空间，避免了无效探索，加速了强化学习模型的收敛速度，还允许智能体在无合适加工任务时主动让渡设备，避免了强行分配带来的效率损失。构建了包含总钻孔产出、设备利用率、换型时长、急单交付率和可避免空闲时间的多目标并行机排程模型。通过多设备随机顺序决策和带掩码的时序差分更新，智能体能够在多个相互冲突的优化目标之间自主寻找最优平衡点，既保证了高产岀和高稼动率，又有效减少了频繁换型换板带来的时间损失。