一种基于LSTM-INFORMER-ATTENTION-MAITD3的半导体封装测试车间生产与维护集成调度优化方法
本发明涉及半导体封装测试车间智能制造与生产调度优化领域,具体涉及一种基于lstm-informer预测、注意力特征融合和改进多智能体td3的半导体封装测试车间生产与维护集成调度优化方法。
背景技术:
1、半导体封装测试车间通常具有产品种类多、批量小、工序耦合强、设备并行异构、交期紧和换模频繁等特点。产品在晶圆切割、贴片、引线键合、塑封、测试等封装工序间流动时,受有限缓冲区容量、机器可用时间、设备维护窗口和产品切换换模时间共同影响,容易出现工件阻塞、设备等待、换模损失增加和拖期累积等问题。
2、现有生产调度方法主要包括人工规则、启发式算法、元启发式算法和单智能体强化学习方法。人工规则依赖经验,难以适配动态变化的在制品分布;启发式和元启发式算法在大规模多目标问题中计算开销较大,难以满足在线决策需求;单智能体强化学习方法通常以当前状态为主要依据,未充分利用未来缓冲区在制品变化趋势,也难以区分首站点、中间站点和末站点在容量约束及状态结构上的差异。
3、因此,亟需一种能够融合当前状态与未来预测信息、同时考虑维护约束和换模收益、并能在不同站点上进行多智能体协同决策的生产与维护集成调度优化方法,以提高封装车间动态调度的稳定性、收敛性和工程适用性。
技术实现思路
1、基于上述背景,本发明目的是提出一种基于lstm-informer-attention-maitd3的半导体封装测试车间生产与维护集成调度优化方法,旨在解决现有半导体封装测试车间生产调度中当前状态表达不足、未来在制品变化利用不充分、有限缓冲区与设备维护窗口耦合复杂、换模决策短视、单一调度规则泛化能力弱等问题。本方法综合考虑工艺顺序、并行机器、有限缓冲区、换模时间、设备维护和交货期等实际工况因素,以最大完工时间、总换模时间和总拖期时间最小为优化目标,建立半导体封装测试车间生产与维护集成调度模型;通过引入lstm-informer多尺度预测模型、注意力特征融合模块和改进多智能体td3调度智能体,实现当前车间状态与未来wip变化趋势的联合决策;通过复合调度规则池、相似度检查机制、优先经验回放机制、分步奖励和最终奖励设计,提高算法的收敛效率、调度解质量和在线响应能力。该方法可在复杂动态环境下实现生产任务、设备维护、有限缓冲和换模决策的协同优化。
2、为了实现上述的技术特征,本发明的目的是这样实现的:一种基于lstm-informer-attention-maitd3的半导体封装测试车间生产与维护集成调度优化方法,其特征在于,所述方法包括以下步骤:
3、step1:构建生产与维护集成调度模型,定义加工站点、并行机器、产品工件、有限缓冲区、机器状态、换模时间、维护活动和交货期约束,并建立以最大完工时间、总换模时间和总拖期时间最小为目标的多目标数学模型;
4、step2:构建多源数据采集模块,采集站点缓冲区状态数据和机器加工状态数据,并按统一采样间隔在时间轴上对齐,形成车间运行状态日志;
5、step3:构建基于相邻站点的数据融合机制,将各采样时刻的机器加工状态与其紧前站点缓冲区状态按列合并,生成结构化时序样本数据;
6、step4:构建lstm-informer多尺度预测模型,将所述结构化时序样本数据输入预测模型,获得未来时间窗内各站点缓冲区wip数量和状态变化趋势;
7、step5:构建attention注意力特征融合模块,将当前车间状态特征与lstm-informer预测特征进行融合和压缩,得到低维融合状态向量;
8、step6:构建maitd3调度智能体,将首站点、中间站点和末站点分别建模为三类智能体,三类智能体共享复合调度规则动作空间,并根据各自的公有特征和私有特征进行调度决策;
9、step7:调度智能体基于融合状态向量输出动作,并从复合调度规则池中选择对应规则,完成一次机器选择和工件选择;其中,在需要换模的规则中,利用lstm-informer预测得到的未来wip信息修正换模收益评价;
10、step8:车间环境执行调度动作后返回下一状态和奖励,将交互样本经相似度检查后写入经验回放池,并通过优先经验回放、双critic网络、分步奖励、最终奖励和软更新机制更新网络参数,循环执行直至所有产品工序加工完成。
11、优选地,所述step1中的具体过程为:
12、1)定义车间包含s个加工站点,每个站点配置mj台并行机器,共包含p种待加工产品和s+1个缓冲区,每种产品p按照标准批量划分为np个工件,所有工件均需依次经过s道工序和站点;
13、2)定义机器状态包括空闲状态、加工状态和等待状态,只有当机器处于空闲状态时才能加工新工件;当工件完成第j道工序后,若第j+1道工序前缓冲区未满,则工件进入该缓冲区,否则阻塞在当前机器上;
14、3)定义设备维护约束,若机器的换模活动与维护活动发生重叠,则先维护后换模再加工;若换模活动不与维护活动重叠但加工过程与维护活动重叠,则先换模后维护再加工;若均不重叠,则机器先换模后加工;
15、4)以最大完工时间、总换模时间和总拖期时间为目标构建多目标数学优化模型,并结合工艺约束、机器约束、有限缓冲区约束和设备维护约束确定可行调度方案。
16、优选地,所述step2中的具体过程为:
17、1)采集站点缓冲区状态数据,在每道工序开始和结束时记录缓冲区内各产品数量变化,并通过累积求和得到各产品实时在制品库存水平;
18、2)采集机器加工状态数据,按采样间隔统计对应时间窗口内各机器的加工时间、换模时间、维护时间和空闲时间,并构建平均利用率及标准差、平均换模利用率及标准差、机器维护率、平均空闲率及标准差等状态特征;
19、3)将每个采样时刻的特征信息以时间戳、机器利用率特征、换模率特征、维护率特征和空闲率特征的形式添加至对应站点的特征日志中。
20、优选地,所述step3中的具体过程为:
21、1)以时间轴为基准,对各站点缓冲区日志和机器状态特征日志进行对齐;
22、2)将第j个站点的设备加工状态与其紧前站点缓冲区内各产品在制品库存数量按列拼接,生成包含当前设备状态和上游缓冲区状态的融合样本;
23、3)将所述融合样本按时间顺序构成时序样本集,用于lstm-informer多尺度预测模型的训练和在线推理。
24、优选地,所述step4中的具体过程为:
25、1)将结构化时序样本输入lstm-informer模型的输入嵌入层,通过特征嵌入、时间嵌入和位置嵌入表征特征内容和时序规律;
26、2)在编码阶段,先通过lstm捕捉局部时序依赖,再通过informer稀疏注意力机制构建全局依赖,并通过层级特征蒸馏和双分支结构融合局部波动特征与全局趋势特征;
27、3)在解码阶段,将历史序列和预测窗口占位符输入解码器,通过自注意力和交叉注意力生成未来时间窗内的预测序列;
28、4)输出未来各站点缓冲区wip数量和状态变化趋势,其中预测特征用于构成融合状态,未来wip数量用于修正换模决策。
29、优选地,所述step5中的具体过程为:
30、1)获取当前车间状态特征sr和由lstm-informer得到的预测特征r,并输入注意力特征融合模块;
31、2)根据融合系数对当前状态特征和预测特征进行融合与降维,得到融合状态向量sf;
32、3)在每轮调度训练过程中保持注意力特征融合模块参数不变,当该轮所有工序调度完成后,基于该轮收集的状态样本重新执行前向计算,并利用maitd3中critic网络对融合状态-动作进行价值评估,以最大化critic估计值为目标更新注意力特征融合模块参数。
33、优选地,所述step6中的具体过程为:
34、1)根据加工站点位置差异,将调度智能体划分为首站点智能体、中间站点智能体和末站点智能体;
35、2)定义三类智能体的公有特征,包括机器平均利用率及标准差、机器平均换模率及标准差、机器维护率、机器平均空闲率及标准差、工序完成率及标准差、评估拖期率和实际拖期率;
36、3)根据缓冲区容量位置差异定义三类智能体的私有特征:首站点智能体关注其后缓冲区在制品库存,中间站点智能体同时关注前后缓冲区在制品库存,末站点智能体关注其前缓冲区在制品库存。
37、优选地,所述step7中的具体过程为:
38、1)首先根据机器规则mr在全局范围内选择最早可用的机器;
39、2)计算候选缓冲区内所有工件的拖期情况,若不存在拖期工件,则根据无拖期规则nt选择合适工件进行加工;若存在拖期工件,则根据拖期程度划分为严重拖期工件和一般拖期工件,并分别依据严重拖期规则st或一般拖期规则gt选择工件;
40、3)由机器规则mr、无拖期规则nt、严重拖期规则st和一般拖期规则gt组合形成八种复合调度规则:mr+nt1+st1+gt1、mr+nt1+st1+gt2、mr+nt1+st2+gt1、mr+nt1+st2+gt2、mr+nt2+st1+gt1、mr+nt2+st1+gt2、mr+nt2+st2+gt1和mr+nt2+st2+gt2;4)在nt1和gt2中,若当前机器需要换模,则依据lstm-informer预测得到的未来wip信息评价换模收益,使工件选择同时考虑当前缓冲区工件数量和上游未来到达趋势。
41、优选地,所述step8中的具体过程为:
42、1)环境执行调度动作后,获得即时奖励和下一状态,并将动作编码为one-hot向量输入双critic网络进行评估;
43、2)经验写入回放池前执行相似度检查,若当前经验与历史经验的状态相似度超过阈值且二者动作相同,则判定当前经验为冗余样本,不予存储;否则存入经验回放池;
44、3)阈值采用动态衰减策略,使训练早期保留更多探索性经验,训练后期逐步聚焦非冗余样本;
45、4)根据经验回放池中样本的时序差分误差计算采样优先级,并按优先级概率采样一批样本,用于更新maitd3网络参数;
46、5)目标actor网络根据下一融合状态生成目标动作,目标critic网络计算目标q值;为避免q值被高估,引入两个独立的critic网络并取两者中的最小值作为目标q值;
47、6)两个critic网络以最小均方误差为损失进行更新,且每当critic网络更新d次后,actor网络更新一次;目标网络采用软更新策略,以保障目标网络收敛平稳;
48、7)奖励函数包括分步奖励和最终奖励,分步奖励基于工件实际拖期率、工件评估拖期率、机器空闲率和机器换模率设计,最终奖励基于最大完工时间、总换模时间和总拖期时间设计,并通过加权求和形成总奖励。
49、本发明有如下有益效果:
50、1.本发明针对半导体封装测试车间产品种类多、工序耦合强、缓冲区容量受限、换模频繁且设备需维护的特点,提出一种基于lstm-informer-attention-maitd3的半导体封装车间生产与维护集成调度优化方法。该方法通过构建生产与维护集成调度模型,将工艺顺序、机器状态、有限缓冲区、换模时间、设备维护和交货期约束统一纳入优化过程,可更准确地描述封装车间真实生产状态。
51、2.本发明通过多源状态采集和相邻站点数据融合机制,将机器加工状态与上游缓冲区在制品状态联合建模,使调度智能体能够同时感知设备负载、换模、维护、空闲和上下游wip变化情况,提高了状态表达的完整性。
52、3.本发明通过lstm-informer多尺度预测模型引入未来时间窗内的缓冲区wip数量和状态变化趋势,并将预测结果用于注意力特征融合和换模收益修正,能够避免仅依赖当前缓冲区信息造成的短视决策,提升换模决策的前瞻性。
53、4.本发明将首站点、中间站点和末站点分别建模为三类maitd3调度智能体,并结合八种复合调度规则,使算法能够依据不同站点位置、缓冲区约束和拖期状态自适应选择机器和工件,提高了复杂工况下的泛化能力。
54、5.本发明采用相似度检查、动态阈值衰减和优先经验回放机制,能够减少冗余经验样本,提高训练样本的信息量;同时通过双critic网络、延迟actor更新和软更新策略降低q值高估风险,提高算法训练稳定性。
55、6.本发明将奖励函数分解为分步奖励和最终奖励,分步奖励引导调度过程持续改善实际拖期率、评估拖期率、机器空闲率和机器换模率,最终奖励直接对应最大完工时间、总换模时间和总拖期时间,从而兼顾过程优化和最终多目标调度结果。与2种元启发式算法、3种单智能体深度强化学习算法和2种多智能体深度强化学习算法相比,本发明可有效降低最大完工时间、总换模时间和总拖期时间,提高封装车间生产与维护集成调度的整体效率,具有重要的工程应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com