基于图强化学习的动态集成工艺规划与调度方法
本发明涉及智能制造,具体的说是一种基于图强化学习的动态集成工艺规划与调度方法。
背景技术:
1、可重构矩阵式制造车间中由多个可重构制造单元、若干具备不同岗位角色和技能等级的工人,以及随时间动态释放或到达的生产作业构成。其中,可重构制造单元并非具有固定加工能力的静态资源,而是能够依据生产任务需求在不同能力状态之间进行切换;工人也并非仅作为制造单元的附属资源参与生产,而是以满足特定岗位角色和技能要求的工人团队形式,与制造单元共同完成工序执行。基于上述特点,可将该类问题抽象为考虑可重构制造单元与工人协作的动态集成工艺规划与调度问题;
2、在实际生产中,调度开始时通常已有部分作业等待加工,后续作业还会陆续到达。每个作业包含若干工序,工序之间存在先后约束;某道工序只有在其全部前序工序完成后,才可以进入候选集合;同时,还需要具备相应能力的制造单元和满足岗位、技能要求的工人团队均处于可用状态,该工序才能被安排执行;
3、可重构制造单元可以配置一种或多种制造能力。当下一道任务所需能力与制造单元当前能力不一致时,需要进行能力切换,并产生相应的重构时间或准备时间。生产过程中还可能出现制造单元故障。发生故障时,正在加工的任务被中断;维修完成后,制造单元恢复可用,未完成任务再根据当时的车间状态重新进入调度流程。
4、工人资源具有岗位角色和技能等级差异。对于需要特定岗位的工序,可以由一名工人完成,也可以由多名同角色工人协同完成。不同技能等级会影响实际处理效率,也会影响后续资源占用。因此,调度决策不能只决定“哪道工序先做、用哪个制造单元做”,还需要确定工人团队的选择方式,在加工效率、高技能工人保留和工作负荷均衡之间取得折中。
技术实现思路
1、针对现有技术的不足,本发明的目的是提供一种基于图强化学习的动态集成工艺规划与调度方法。
2、本发明解决其技术问题所采用的技术方案是:
3、一种基于图强化学习的动态集成工艺规划与调度方法,包括以下步骤:
4、s1、初始化车间环境,读取初始作业信息、可重构制造单元的能力配置与重构时间信息、工人的岗位角色与技能等级信息;
5、s2、当检测到调度事件发生时,触发调度决策;调度事件包括新作业到达、工序加工完成、可重构制造单元发生故障、可重构制造单元维修完成;
6、s3、根据当前时刻未完成的作业、可用的可重构制造单元和可用的工人,构建动态异构图,并基于动态异构图生成满足约束条件的候选动作集合;
7、其中,动态异构图的节点类型包括作业节点、工序节点、可重构制造单元节点和工人节点,动态异构图的边类型包括工序优先关系边、工序与可重构制造单元之间的可加工关系边、工序与工人之间的角色匹配关系边,边的属性包括加工时间、能力切换准备时间和技能效率系数;
8、s4、将动态异构图和候选动作集合输入预训练的异构图actor-critic网络,得到每个候选动作的概率分值,选择概率分值最高的候选动作作为当前调度动作;
9、其中,当前调度动作表示为四元组,表示被选择的作业,表示作业中满足优先约束的待加工工序,表示具备加工能力且当前可用的可重构制造单元,表示工人团队选择策略;
10、s5、执行当前调度动作,将工序分配给可重构制造单元,并根据工人团队选择策略确定参与工序加工的工人团队;
11、s6、更新车间生产状态,包括更新作业进度、可重构制造单元的能力配置与可用时间、工人的占用状态、可重构制造单元的故障与维修状态;并返回s2直至所有作业加工完成。
12、作为优选,本发明更进一步的技术方案是:
13、优选的,s3中构建动态异构图的具体过程,包括:
14、s3-1、获取当前时刻t下所有已释放且尚未完工的作业集合,以及各作业中尚未完成的工序集合;
15、s3-2、为每个未完工的工序创建工序节点,为每个未完成作业创建作业节点,为每个可重构制造单元创建可重构制造单元节点,为每个可用的工人创建工人节点,同时创建表示工艺路线起始和结束的虚拟节点;
16、s3-3、建立工序优先关系边:对于同一作业内的任意两道工序和,若是的前序工序,则建立从指向的有向边;
17、s3-4、建立工序与可重构制造单元之间的可加工关系边:若工序所需的制造能力与可重构制造单元的当前能力配置相匹配,且当前处于可用状态,则建立可加工关系边,并在边属性中记录加工时间和能力切换准备时间;若可重构制造单元当前能力与工序所需能力一致,则,否则取值为从当前能力切换到所需能力的准备时间;
18、s3-5、建立工序与工人之间的角色匹配关系边:若工人的岗位角色满足工序所需角色要求,且工人当前处于可用状态,则建立角色匹配关系边,并在边属性中记录工人的技能等级和累计工作负荷;
19、s3-6、采用动态剪枝机制,从当前动态异构图中移除已完成的工序节点、已完工的作业节点、处于故障状态且未修复的可重构制造单元节点、以及当前不可达的关系边。
20、优选的,s3中生成候选动作集合的过程,具体包括:
21、s3-7、遍历所有未完成工序,筛选出所有前序工序均已完成加工的未完成工序,作为可调度工序;
22、s3-8、对于每个可调度工序,在动态异构图中查找与可调度工序节点之间存在可加工关系边的所有可重构制造单元节点,每个查找到的可重构制造单元节点与对应的可调度工序构成一个可调度工序-可重构制造单元对;
23、s3-9、对于每一个可调度工序-可重构制造单元对,在动态异构图中查找与可调度工序节点之间存在角色匹配关系边的所有可用工人节点;并针对每种工人团队选择策略,分别生成一个候选动作四元组,加入候选动作集合;
24、工人团队选择策略至少包括以下策略类型:
25、最快策略:优先选择当前可用且技能等级最高的工人;
26、均衡策略:优先选择技能等级接近可用工人中位水平的工人;
27、保守策略:优先选择技能等级低于中位水平但满足要求的工人;
28、最小技能浪费策略:在满足工序需求的前提下选择最低技能等级工人,并避免最低技能工人累计工作负荷小于工作上限
29、负载均衡策略:优先选择累计工作负荷低的工人。
30、优选的,s4中异构图actor-critic网络包括异构图编码器、策略网络和价值网络;
31、异构图编码器将作业节点、工序节点、可重构制造单元节点和工人节点的原始特征分别通过线性映射层映射到统一嵌入空间,再通过多层异构图卷积对各类节点嵌入进行邻域信息聚合;其中,对于带有边属性信息的边,异构图编码器在每一层图卷积中将边属性与源节点嵌入、目标节点嵌入共同输入边感知融合函数后进行聚合,每层图卷积后执行层归一化和残差连接;
32、策略网络根据候选动作对应的作业节点、工序节点和可重构制造单元节点的最终嵌入,拼接工序与可重构制造单元之间的边属性、工序与工人之间的匹配统计特征以及全局状态嵌入,通过多层全连接网络输出候选动作的分值,所有候选动作的分值经softmax函数归一化后得到动作概率分布;
33、价值网络对动态异构图中所有节点的最终嵌入进行池化得到图级嵌入,将图级嵌入与全局状态嵌入拼接后通过多层全连接网络输出当前状态的价值估计。
34、优选的,异构图actor-critic网络的训练过程,具体包括:
35、t1、构建专家数据集:在多个训练环境实例上运行候选启发式规则,选择每个实例中最终总加权拖期最小的规则作为专家规则,并将专家规则生成的调度轨迹中的状态-动作对存入专家数据集;
36、t2、利用专家数据集对异构图actor-critic网络的策略网络进行行为克隆预训练,通过最小化行为克隆损失函数更新网络参数:
37、;
38、其中,表示策略网络在状态下选择动作的概率;
39、t3、在仿真环境中执行模仿增强的近端策略优化训练;每一轮训练迭代包括以下子步骤:
40、t3-1、使用当前策略在训练环境中采集调度轨迹,记录轨迹中每个决策时刻的状态、动作、即时奖励、状态价值估计和终止标志,并存入轨迹缓存区;
41、t3-2、基于记录的即时奖励和状态价值估计,计算每条轨迹中每个时间步的折扣累计回报和优势函数,计算过程中状态价值估计用于作为基线以降低策略梯度的方差:
42、;
43、;
44、其中,表示当前决策时刻t往后第k步的即时奖励,为折扣因子,为gae参数,=为时序差分误差,t为轨迹终止时间步;
45、t3-3、对轨迹缓存区中的数据进行多轮小批量数据更新,利用计算得到的优势函数指导策略网络的参数更新方向;对于每轮更新,计算策略网络的裁剪目标函数、价值函数损失、熵正则项以及模仿学习损失:
46、;
47、其中,为重要性采样比率,为裁剪系数;
48、;
49、;
50、;
51、t3-4、最小化联合损失函数更新网络参数:
52、;
53、其中,为熵正则系数;为价值损失系数;为模仿学习系数,在训练过程中按预设策略动态衰减,使训练早期策略网络以模仿专家行为为主,随着训练推进逐步过渡到以强化学习奖励信号为主导的自主探索优化;
54、t4、重复执行步骤t3直至达到预设的训练回合数或策略性能收敛,输出训练后的异构图actor-critic网络参数。
55、优选的,即时奖励基于估计总加权拖期的变化构造:
56、;
57、其中,表示在决策时刻t的状态下,对所有未完成作业估计的总加权拖期;表示在动作执行后下一决策时刻t+1的状态下,重新估计的总加权拖期;
58、估计总加权拖期为:
59、;
60、其中,为作业的优先级权重;为作业的交付期;为当前状态下已释放且尚未完工的作业集合;为作业在状态下的估计完工时间。
61、优选的,对于任一未完成作业在状态下的估计完工时间,通过以下方式计算:
62、;
63、其中,表示作业尚未完成的工序集合;
64、按以下方式确定:
65、若工序当前正在加工,则取值为分配给该工序的可重构制造单元的可用时间,即该工序的预计完成时间;
66、若工序已就绪但尚未开始加工,则取值所有可加工该工序的可重构制造单元中的最早完工时间,即该工序的预计开始时间;
67、若工序尚未就绪,则取值为当前时刻t;
68、尾部加工时间表示工序的工艺树中最长路径上的剩余加工时间之和,按递归方式计算:
69、;
70、其中,表示工序的所有直接后序工序集合,为工序的预计加工时间;表示后续工序的最长尾部加工时间;对于无后序工序的末尾工序,。
71、优选的,s6中更新车间生产状态,具体包括:
72、s6-1、若工序加工完成,则更新作业的完工进度,将工序标记为已完成,并释放被占用的可重构制造单元和被占用的工人团队;
73、s6-2、若工序加工过程中可重构制造单元发生故障,则中断工序的加工,将工序重新标记为未完成状态,并将可重构制造单元标记为故障状态并启动维修计时器;维修完成后将可重构制造单元标记为可用状态;
74、s6-3、若有新作业到达,则将新作业的工序加入尚未完成的工序集合,并根据工艺优先关系建立相应的工序优先边;
75、s6-4、更新所有可重构制造单元的可用时间、所有工人的可用时间和累计负荷,并将更新后的车间状态作为下一决策时刻的初始状态。
76、优选的,s3中生成候选动作集合的过程满足以下约束:
77、参与工序加工的工人团队必须满足工序所需的岗位角色和人数要求,否则该工序对应的候选动作不合法;
78、同一工人在同一时刻不能被分配至多个工序;
79、s5中执行调度动作时,需满足以下约束:
80、每道工序在任一时刻至多分配给一个可重构制造单元;
81、每个可重构制造单元在任一时刻至多被分配一道工序;
82、工序的加工不可人为拆分或暂停,因可重构制造单元故障导致的中断除外;
83、可重构制造单元在不同能力状态之间切换时,需在边属性中消耗与能力切换序列相关的重构准备时间。
84、本发明还公开了一种基于图强化学习的动态集成工艺规划与调度系统,具体包括:
85、数据采集模块,用于初始化车间环境,读取初始作业信息、可重构制造单元的能力配置与重构时间信息、工人的岗位角色与技能等级信息;
86、事件监测模块,用于当检测到调度事件发生时,触发调度决策;调度事件包括新作业到达、工序加工完成、可重构制造单元发生故障、可重构制造单元维修完成;
87、候选动作生成模块,用于根据当前时刻未完成的作业、可用的可重构制造单元和可用的工人,构建动态异构图,并基于动态异构图生成满足约束条件的候选动作集合;
88、调度决策模块,用于将动态异构图和候选动作集合输入预训练的异构图actor-critic网络,得到每个候选动作的概率分值,选择概率分值最高的候选动作作为当前调度动作;
89、动作执行模块,用于执行当前调度动作,将工序分配给可重构制造单元,并根据工人团队选择策略确定参与工序加工的工人团队
90、状态更新模块,用于更新车间生产状态,包括更新作业进度、可重构制造单元的能力配置与可用时间、工人的占用状态、可重构制造单元的故障与维修状态;触发事件监测模块继续监测下一调度事件,直至所有作业加工完成。
91、采用上述技术方案的本发明,与现有技术相比,其突出的特点是:
92、将作业、工序、可重构制造单元和工人作为不同类型的图节点;将工序优先关系、工序与制造单元的可加工关系、工序与工人的角色匹配关系以及资源可用状态,表示为异构边及其属性。在事件驱动的调度过程中,根据当前车间状态生成动态异构图,并形成包含节点特征、边特征、全局特征和可行动作信息的状态输入,再由异构图actor-critic网络给出实时调度策略。
93、以估计总加权拖期的变化构造奖励信号,并结合启发式专家数据、行为克隆预训练和模仿增强的近端策略优化训练方式,提高策略学习效率。在扰动频繁的制造环境下协同完成工序选择、制造单元分配和工人团队选择,降低总加权拖期,提升可重构制造车间的响应速度和资源利用率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com