基于动态奖励机制Q-learning的晶圆制造调度方法及系统

本发明属于微电子，尤其涉及一种晶圆制造调度方法及系统，可用于晶圆制造的生产调度优化，为半导体晶圆制造系统调度提供一套搭载动态奖励机制的 q-learning 智能调度方案。

背景技术：

1、在现代微电子制造体系中，半导体晶圆的生产加工是决定芯片良率与产能的最核心环节。随着制造工艺向高精度演进，晶圆加工设备逐渐向高度自动化的组合式集群工具发展。这类系统不仅涉及多阶段工序的严格串行，还伴随着高度频繁的晶圆重入现象以及苛刻的晶圆驻留时间限制。这些严苛的物理与时序条件，使得晶圆制造调度成为一个典型的np-hard问题。为了精确描述系统内部复杂的并发执行、资源抢占及死锁规避机制，时间petri网因其严密的数学基础和拓扑表达优势，被广泛应用于复杂晶圆调度的底层数学建模。

2、近年来，随着人工智能技术的突破，以q-learning为代表的强化学习算法开始被引入调度领域，以期通过智能体与制造环境的动态试错交互，自主学习出高质量的初始调度策略。

3、申请号为cn202311513142.3的专利文献，公开了一种基于深度强化学习的车间调度方法、装置和系统，其将动态柔性作业车间调度问题转化为马尔可夫决策过程，并通过状态特征、复合调度规则及深度q网络实现自适应调度。但该方法主要面向一般动态柔性车间，奖励设计侧重机器利用率，未针对晶圆制造中长变迁序列、重入加工和驻留时间约束下的奖励稀疏、无效绕路及低质量路径筛选问题进行优化。

4、申请号为cn202210406935.4的专利文献，公开了一种基于深度强化学习的作业车间自适应调度方法，其通过改进近端策略优化算法并结合图神经网络提取车间状态特征，实现作业车间的自适应调度。但该方法主要适用于一般作业车间调度，未结合时间petri网描述晶圆制造系统中的并发、资源竞争和死锁约束，也未针对q-learning在长序列调度中的奖励反向衰减和低效路径保留问题设置动态奖励机制。

5、综上，标准q-learning强化学习在这种涉及较长变迁序列且强约束的晶圆制造调度场景中暴露出以下缺陷：

6、其一，奖励稀疏与无效循环问题。标准q-learning往往对中间状态给予固定奖励，导致智能体为了积累即时奖励而在设备间进行无效流转与冗余操作即绕路刷分，迟迟无法向最小化全局完成时间的目标推进；其二，目标奖励反向衰减过快。在长路径序列中，传统的折扣因子设定使得智能体到达终点时获得的完成奖励，在反向传播到初始状态时急剧衰减，导致算法在调度初期极易陷入策略迷失；其三，缺乏优胜劣汰的动态评估机制。标准算法只要到达目标状态即给予固定正反馈，无法区分高质量调度路径与低效冗余路径，导致生成的q-table充斥着平庸策略，进而造成输出的初始调度解集合质量参差不齐。

7、因此，亟需在时间petri网调度框架下，提出一种具备动态奖励调整与防绕路机制的强化学习初始化方法，以充分发挥强化学习自适应决策的优势，并克服长序列调度下的收敛缺陷，有效提升复杂晶圆制造系统的全局优化能力与求解效率。

技术实现思路

1、本发明的目的在于克服上述现有技术的不足，提出一种基于动态奖励机制q-learning的晶圆制造调度方法及系统，以避免使用标准q-learning强化学习算法在应对长序列调度时易出现的奖励稀疏、目标衰减及冗余绕路，有效提升复杂晶圆制造系统的全局优化能力与求解效率。

2、实现本发明目的的技术思路是：基于晶圆加工过程中的设备资源、工序约束及驻留时间限制进行时间petri网模型建立；在此基础上，引入动态奖励机制改进q-learning训练过程，通过时间消耗负反馈抑制冗余绕路问题，通过动态破纪录奖励强化优质完整路径并缓解长序列调度中的奖励稀疏问题，通过高维折扣因子增强终止奖励在长变迁序列中的反向传播能力并优化目标奖励衰减问题，从而生成高质量q-table；再基于所述q-table批量构造可行初始调度解集合，并将其输入进化算法进行二次全局寻优，最终获得满足晶圆制造约束且完工时间较优的调度方案。

3、根据上述思路，本发明的技术方案包括：

4、1.一种基于动态奖励机制q-learning的晶圆制造调度方法，其特征在于，包括：

5、（1）基于晶圆的加工过程，构建具备时间约束的petri网模型；

6、（2）基于时间petri网模型，通过智能体与制造环境的交互迭代更新状态-动作质量评估值q值，生成存储各状态-动作对应质量评估值的表格q-table；

7、（3）利用质量评估值的表格q-table进行搜索，生成初始调度解；

8、（4）循环执行所述（2）和（3），得到初始调度解集合，并对其进行二次深度寻优，输出全局最优调度路径。

9、进一步，所述（2）中基于时间petri网模型，通过智能体与制造环境的交互迭代更新状态-动作质量评估值，生成存储各状态-动作对应质量评估值的表格q-table，其实现包括：

10、2a）根据状态是否终止、动作时间消耗、当前调度结果与历史最优结果的比较关系以及当前调度结果与目标值之间的差距，构建动态奖励函数，得到即时状态奖励值；

11、2b）在状态-动作质量评估值q的更新过程中，针对即时状态奖励值，引入高维折扣因子抑制目标奖励值的反向衰减，同时采用动态探索率衰减策略降低后期随机探索概率；

12、2c）输出当前更新后的用于记录各状态-动作对应的质量评估值的q-table。

13、进一步，所述（3）中利用质量评估值的表格q-table进行搜索，生成初始调度解，其实现包括：

14、3a）获取当前标识状态下所有合法变迁动作，得到候选变迁集合；

15、3b）依据质量评估值的表格q-table，对候选变迁集合中的动作变迁进行降序排列；

16、3c）通过贪心策略优先选择高状态-动作质量评估值q动作进行状态扩展，并基于该动作变迁生成下一标识，；

17、3d）对下一标识进行时间约束和禁忌约束的校验：

18、若下一标识通过校验，则将变迁集合中的该动作变迁加入到当前调度序列，并将该标识更新为新的当前标识；

19、若下一标识未通过校验，则从候选变迁集合中继续选取下一变迁动作进行状态扩展；

20、3e）重复上述3a）到3d），直至到达目标标识状态，记录变迁动作构成的完整调度序列，作为一个初始调度解。

21、2.一种基于动态奖励机制q-learning的晶圆制造调度系统，其特征在于，包括：

22、模型构建模块，用于根据晶圆加工流程中的顺序执行关系和并行执行关系，构建时间petri网模型；

23、奖励函数构建模块，用于根据状态是否终止、动作时间消耗、当前调度结果与历史最优结果的比较关系以及当前调度结果与目标值之间的差距，构建动态奖励函数；

24、质量评估值q更新模块，用于基于动态奖励函数计算即时奖励，并引入高维折扣因子和动态探索率衰减策略，对状态-动作质量评估值进行更新；

25、质量评估表q-table生成模块，用于在状态-动作质量评估值q收敛后，生成用于记录各状态-动作对应质量评估值q的质量评估表q-table；

26、初始调度解生成模块，用于依据所述q-table对候选变迁动作进行排序和扩展，得到初始调度解集合；

27、全局寻优模块，用于将初始调度解集合输入到进化算法中，以最小化全局完成时间为目标进行二次全局寻优，输出全局最优调度路径。

28、本发明与现有技术相比，具有如下优点：

29、本发明由于在时间petri网模型基础上引入动态奖励机制，针对非终止状态，引入时间消耗负反馈抑制冗余动作和无效绕路，针对终止状态，结合动态破纪录大奖与目标差距衰减机制调整完整调度路径的奖励强度。相比固定奖励方式，本发明能够区分高质量路径与低效路径，强化优质完整调度路径，削弱低质量可行路径对状态-动作质量评估表q-table的影响，从而提升状态-动作质量评估值q的区分度和q-learning算法的有效性。

30、其二，本发明由于在状态-动作质量评估值q的更新过程中引入高维折扣因子和动态探索率衰减策略，使初期的状态-动作仍能获得远期目标奖励的有效引导，缓解长序列晶圆调度中的奖励稀疏和目标信号衰减问题，同时使智能体在探索初期保持较高随机探索概率，在探索后期逐步降低随机探索概率，更多依据q-table选择高质量变迁动作，因而能够兼顾全局探索与局部利用，减少后期无效随机动作对收敛过程的干扰，提高长路径调度场景下的学习稳定性和收敛效果。

31、其三，本发明由于利用收敛后的状态-动作质量评估表q-table对候选变迁动作进行排序和贪心扩展，并结合时间约束与禁忌约束校验生成初始调度解，使初始解不再依赖完全随机生成，而是由收敛后的状态-动作质量评估信息进行引导。故提高了初始调度解集合的整体质量和可行性，为后续进化算法的二次全局寻优提供更优的初始搜索基础。