一种面向多模块配置可重构产线的调度方法及系统

本发明属于车间制造过程中的智能调度相关，更具体地，涉及一种面向多模块配置可重构产线的调度方法及系统。

背景技术：

1、可重构产线能够根据产品类型、加工任务和产能需求的变化，对加工设备结构、功能模块和加工能力进行快速调整，是面向多品种、小批量和快速响应制造场景的重要生产组织形式。在该类产线中，可重构加工设备通常由基础模块和多个辅助模块组合形成不同配置，不同配置对应不同加工能力。与传统柔性制造系统相比，可重构产线的调度不仅需要确定订单工序的加工顺序和设备分配，还需要同步确定设备配置选择、配置切换时机以及辅助模块占用与释放关系。

2、在实际可重构产线中，一个有效配置往往并非由单一辅助模块决定，而是由多个辅助模块共同组成。辅助模块通常来自共享且数量有限的模块池，同一模块副本在同一时刻只能服务于一个配置。当多个订单工序同时竞争相同配置或者多个配置同时竞争相同辅助模块时，调度方案的可行性会受到强烈影响。轻微的编码扰动或者动作选择偏差就可能导致模块冲突、配置不可用、资源等待甚至调度死锁。因此，多模块配置可重构产线调度问题呈现出明显的高维度、强耦合和可行性敏感特征。

3、现有调度方法中，启发式规则通常依赖人工设定的优先级，难以根据订单进度、配置竞争和辅助模块占用状态进行自适应调整；传统元启发式算法虽然具有一定全局搜索能力，但在多模块配置场景下需要复杂的编码修复和可行性判定，容易产生大量不可行解并增加计算开销；单纯基于深度强化学习的方法能够以序贯决策方式避免显式编码，但如果状态表示不能充分捕获订单工序、配置和辅助模块之间的异构关系，则策略网络难以识别影响可行性和完工时间的关键耦合因素。

4、进一步地，多模块配置可重构产线调度状态天然具有异构图结构：订单工序之间存在工艺先后约束，订单工序与配置之间存在加工兼容关系，不同配置之间可能因处理同一工序而产生竞争，不同配置还可能因共享辅助模块而产生模块资源竞争，同一配置内部的多个辅助模块之间又存在协作关系。若将上述关系压缩为普通向量或单一同构图，容易丢失关系语义，使策略网络无法准确判断动作可行性和调度质量。

5、因此，亟需一种能够统一描述订单工序、配置和辅助模块耦合关系，能够在序贯决策过程中保持动作可行性，并能够兼顾策略学习稳定性和全局探索能力的可重构产线调度方法及系统。

技术实现思路

1、针对现有技术的以上缺陷或改进需求，本发明提供了一种面向多模块配置可重构产线的调度方法及系统，其旨在解决如何在多模块配置可重构产线调度中，更精准地表征工序、配置与辅助模块间的复杂耦合约束关系，并克服单一强化学习算法易陷入局部最优的问题，从而在保证调度可行性的基础上获得更高质量的调度方案的问题。

2、为实现上述目的，按照本发明的一个方面，提供了一种面向多模块配置可重构产线的调度方法，包括以下步骤：

3、（1）将多模块配置可重构产线的调度问题模型映射为三维配置耦合异构析取图，所述三维配置耦合异构析取图包括工序节点、配置节点、辅助模块节点、订单工序顺序弧、工序与配置之间的分配边、配置与辅助模块之间的需求边及通过起始虚拟节点和终止虚拟节点表征调度过程的起止边界；

4、（2）将多模块配置可重构产线调度问题表征为马尔可夫决策过程：在系统时间到达存在就绪工序且存在可行配置的决策点时，通过所述三维配置耦合异构析取图编码得到该决策点的当前状态，根据当前状态从可行动作集合中选择由订单工序和设备配置组成的动作，并在执行该动作后更新系统时间、配置状态、辅助模块占用状态、订单工序状态和图状态，得到下一决策点的状态；

5、（3）基于所有决策点的状态，采用关系感知异构图融合网络对所述三维配置耦合异构析取图进行表示学习：将三维配置耦合异构析取图分解为表征工序先后关系、配置对同一工序的竞争关系、配置对共享辅助模块的竞争关系以及同一配置内辅助模块协作关系的多个元路径子图，并通过边增强图注意力机制和多路径融合机制对多个元路径子图进行处理以获得工序节点、配置节点、辅助模块节点及全局系统状态的嵌入表示；

6、（4）基于所述嵌入表示构建强化学习策略网络和价值网络，将候选动作对应的工序嵌入、配置嵌入以及辅助模块上下文向量进行拼接后输入强化学习决策网络，以得到候选动作的优先级分数，并通过归一化函数对候选动作的优先级分数进行处理以得到可行动作概率分布，基于可行动作概率分布以贪心选择或采样方式确定调度动作，同时利用价值网络基于所述嵌入表示输出用于评估该调度动作的状态价值；

7、（5）基于得到的调度动作及状态价值，结合近端策略优化算法与人工蜂群算法对所述关系感知异构图融合网络、所述强化学习策略网络和所述价值网络进行参数优化：通过近端策略优化算法对所述关系感知异构图融合网络、策略网络和价值网络执行基于环境交互的策略梯度更新后，通过人工蜂群算法对所述关系感知异构图融合网络、所述强化学习策略网络和所述价值网络执行种群式参数搜索以得到满足配置、辅助模块和工序约束的策略网络；进而基于所述策略网络得到最佳调度方案。

8、进一步地，多个元路径子图包括

oo、

coc、

cac和

aca四类元路径子图，其中

oo子图表征订单工序之间的先后约束关系，

coc子图表征多个配置对同一未完成订单工序的竞争关系，

cac子图表征多个配置对共享辅助模块的竞争关系，

aca子图表征同一配置内多个辅助模块之间的协作关系。

9、进一步地，对

coc子图引入基于共享订单工序集合得到的工序级竞争特征，对

cac子图引入基于共享辅助模块集合得到的模块级竞争特征。

10、进一步地，在可行动作集合构建过程中，当存在就绪订单工序但由于辅助模块冲突导致不存在可行配置时，触发虚拟释放机制，将空闲可重构加工设备当前占用的辅助模块临时视为可用，进而重新判定配置可行性。

11、进一步地，通过近端策略优化算法到人工蜂群算法的个体注入以及人工蜂群算法到近端策略优化算法的自适应概率软更新实现近端策略优化算法与人工蜂群算法的双向协同。

12、进一步地，参数优化过程中，采用xavier初始化方法初始化所述关系感知异构图融合网络的参数，采用kaiming初始化方法初始化基于多层感知机的决策网络和价值网络的参数，得到近端策略优化网络参数向量，并将该网络参数向量作为人工蜂群种群中的第一初始化个体，其余个体通过在该网络参数向量上叠加服从零均值高斯分布的扰动生成。

13、进一步地，人工蜂群算法按照雇佣蜂阶段、观察蜂阶段和侦察蜂阶段搜索策略参数空间，并以调度方案最大完工时间作为适应度指标评价个体优劣。

14、进一步地，所述强化学习策略网络采用演员-评论家结构中的演员网络；所述价值网络采用多层感知机。

15、本发明还提供了一种面向多模块配置可重构产线的调度系统，所述系统包括存储器及处理器，所述存储器储存有计算机程序，所述处理器执行所述计算机程序时执行如上所述的面向多模块配置可重构产线的调度方法。

16、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的面向多模块配置可重构产线的调度方法。

17、总体而言，通过本发明所构思的以上技术方案与现有技术相比，本发明提供的面向多模块配置可重构产线的调度方法及系统主要具有以下有益效果：

18、1. 本发明以三维配置耦合异构析取图统一表征订单工序、配置和辅助模块之间的工艺顺序、加工兼容、模块需求、配置竞争和模块协作关系，使调度方案能够充分体现多模块配置可重构产线的结构特征；采用关系感知异构图融合网络能够针对不同关系语义分别学习邻域信息，并对配置节点的多源竞争信息进行融合，从而提升策略网络对配置竞争和辅助模块竞争的识别能力；通过近端策略优化算法和人工蜂群算法进行双向协同，使梯度式策略更新与种群式全局搜索相互补充，在提升学习稳定性的同时降低策略陷入局部最优的概率，从而在保证调度可行性的基础上获得质量较高的调度方案。

19、2. 本发明通过可行动作集合和虚拟释放机制约束动作选择，在序贯决策过程中能够避免明显不可行的订单工序-配置匹配，减少后续修复成本。

20、3. 在关系感知异构图融合网络中，对

coc子图引入基于共享订单工序集合得到的工序级竞争特征，对

cac子图引入基于共享辅助模块集合得到的模块级竞争特征，使图注意力权重不仅依赖节点特征，还依赖配置之间的实际竞争强度。

21、4. 在可行动作集合构建过程中，当存在就绪订单工序但由于辅助模块冲突导致不存在可行配置时，触发虚拟释放机制，将空闲可重构加工设备当前占用的辅助模块临时视为可用，进而重新判定配置可行性，由此降低因资源占用状态滞后造成的死锁风险。