一种基于分层多智能体深度强化学习的柔性作业车间多任务-多机器-多天车协同调度方法
本发明涉及智能制造、工业人工智能、生产调度优化及物料搬运协同控制,尤其涉及一种基于多尺度遥感数据与环境行为机理耦合的新污染物动态监测方法及系统。
背景技术:
1、在离散制造、大型构件加工及重型装备制造过程中,工件通常需要按照预定工艺路线依次经过多道加工工序,并根据不同工序的加工要求在多台候选机器之间进行选择。由于工件体积大、重量高或搬运距离较长,工序之间的物料转运通常由桥式天车、门式起重机或龙门天车等上方搬运设备完成。因此,机器加工过程与天车运输过程在时间和空间上相互关联,任意环节的延迟均可能影响后续工序执行及整个生产系统的运行效率。
2、在单天车或物流关系较为简单的车间中,调度过程通常主要考虑工件加工顺序、机器分配及设备负载等因素。然而,在配置多台天车的柔性作业车间中,不同天车通常具有各自的服务区域,相邻天车的作业区域之间还可能存在重叠区域或共享通道。当工件需要跨区域运输时,还涉及天车之间的任务交接、缓存等待和运输时序协调。此外,多台天车在相邻区域同时执行运输任务时,可能因运行路径交叉、作业时间重叠或安全间距不足而发生干涉、阻塞或潜在碰撞。因此,多天车柔性作业车间的调度不仅需要考虑加工任务与机器资源的匹配关系,还需要综合考虑天车可达范围、运输距离、空载行驶、跨区域交接、冲突规避及等待成本等因素。
3、现有技术中,加工调度与物料搬运调度通常采用分阶段或相互独立的方式进行。部分方法先确定工件的加工顺序和机器分配结果,再依据固定区域规则、就近原则、先到先服务规则或人工经验分配运输设备。该类方法实现较为简单,在规模较小、任务关系固定的场景下能够生成可行调度方案,但由于未能充分考虑机器状态、工件状态与天车状态之间的耦合关系,容易造成加工计划与运输计划不协调。例如,目标机器已经空闲但工件尚未送达,或者工件已完成加工但可用天车尚未到位,从而导致机器等待、工件滞留、天车空驶距离增加及设备利用率下降。
4、对于相邻天车服务区域存在重叠的车间,现有方法还常采用预设优先级、固定让行规则或人工干预方式处理天车冲突。当生产任务数量增加、运输路径频繁交叉或多个运输任务在相近时间内进入重叠区域时,固定规则难以根据实时任务紧迫程度、天车位置、后续任务负荷及让行代价进行调整,容易导致共享区域拥堵、重复等待、局部冲突频发以及整体完工时间延长。
5、传统启发式算法和元启发式算法能够对工件排序、机器分配及运输任务安排等组合优化问题进行求解,但随着工件数量、候选机器数量和天车数量增加,解空间将迅速扩大。在车间状态发生变化后,此类方法通常需要重新搜索或迭代大量候选方案,计算时间较长,难以兼顾求解质量与在线调度效率。
6、近年来,深度强化学习被应用于车间调度问题,通过智能体与生产环境交互学习调度策略。现有单智能体强化学习方法通常将工序选择、机器分配、天车选择和冲突处理统一表示为一个联合决策问题,但由于不同类型决策的约束条件、时间尺度和作用对象存在差异,容易导致状态空间和动作空间规模过大,增加特征表达、动作筛选和奖励分配的难度。同时,单一全局奖励难以准确反映各决策环节对最终调度结果的贡献,可能造成训练收敛速度慢、策略稳定性不足以及复杂场景下泛化能力较弱等问题。
技术实现思路
1、为解决现有多天车柔性作业车间中加工资源与运输资源协同不足、跨区域运输任务分配不合理以及多天车冲突协调能力有限等问题。本发明目的在于提供一种基于分层多智能体深度强化学习的柔性作业车间多任务-多机器-多天车协同调度方法,能够实现加工资源与运输资源的联合优化,降低工件延期、天车运行距离及多天车冲突风险,提高柔性车间的调度效率、运输安全性和复杂生产环境下的自适应决策能力。
2、为了实现上述的技术特征,本发明的目的是这样实现的:一种基于分层多智能体深度强化学习的柔性作业车间多任务-多机器-多天车协同调度方法,包括以下步骤:
3、s1、获取柔性作业车间内工件工序、候选加工机器、天车配置、作业区域及相邻区域重叠范围的基础信息,建立工件-机器-天车协同调度模型;
4、s2、结合当前车间运行状态、工序先后约束、机器可加工约束与天车服务区域约束,生成当前调度时刻的可调度工序-机器候选集合;
5、s3、将可调度工序-机器候选集合的状态特征输入基于transformer编码器的工序-机器选择智能体,确定目标工序与对应加工机器的组合;
6、s4、根据目标工序与对应加工机器的组合生成物料运输任务,将候选天车状态特征、目标工件特征与目标机器特征输入基于交叉注意力机制的天车分配智能体,确定执行运输任务的目标天车;
7、s5、根据目标天车的运输起点、终点、预计通行时间窗口与运输路径,检测目标天车与其他天车在时间与空间维度的冲突关系;
8、s6、当检测到时空冲突时,将冲突关联状态输入基于actor-critic架构的天车冲突规避智能体,输出让行对象、等待时长或运输优先级调整的冲突协调动作;
9、s7、执行包含工序加工、物料运输与冲突规避的联合调度动作,更新车间运行状态,依据分层奖励与终端奖励更新各智能体的网络参数,循环执行直至全部工件加工完成,输出包含工序加工顺序、机器分配、天车分配、运输路径与等待时序的协同调度方案。
10、优选地,所述柔性作业车间设置有多台加工机器、多个待加工工件、多台天车及多个天车服务区域;相邻天车服务区域之间设置有重叠区域或虚拟交接点,跨区域运输任务通过所述重叠区域或虚拟交接点完成天车间接力搬运。
11、优选地,所述工件-机器-天车协同调度模型以最大完工时间最小化、总延期时间最小化、天车总运行距离最小化与天车冲突次数最小化为联合优化目标,用于综合评价加工效率、交期满足程度、搬运资源消耗与运输安全性。
12、优选地,所述工件-机器-天车协同调度模型满足以下约束:
13、每道工序在任意时刻仅由一台机器加工;每项运输任务仅由一台天车执行;每个工件完成全部工序后搬运至成品区;后续工序在前序工序加工完成且对应运输任务完成后启动;每台机器同一时刻最多加工一道工序;每台天车同一时刻最多执行一项运输任务;跨区域运输任务满足重叠区域或交接点的服务范围约束;存在潜在路径冲突时,通过等待、让行或优先级调整使不同天车不同时占用同一冲突空间。
14、优选地,步骤s3中所述状态特征包括作业完成比例、延期风险、机器当前工作状态、机器利用率、机器累计等待时间、候选工序在候选机器上的加工时间、候选工序对应运输时间、目标机器位置以及当前调度时刻。
15、优选地,所述基于transformer编码器的工序-机器选择智能体依次包括嵌入层、自注意力编码层与策略输出层;所述嵌入层将候选工序-机器组合特征映射至统一特征维度,所述自注意力编码层学习各候选组合之间的全局依赖关系,所述策略输出层输出各候选组合的动作概率或匹配分值。
16、优选地,所述天车分配智能体以候选天车状态向量作为查询向量,以目标运输任务的特征表示作为键向量与值向量,通过交叉注意力机制计算候选天车与目标运输任务的匹配得分,并根据匹配得分确定目标天车。
17、优选地,所述候选天车状态特征包括当前天车位置、天车可用时间、天车负载状态、天车至工件位置距离、天车至目标机器距离、累计运输距离、所在服务区域以及与其他天车的潜在冲突关系。
18、优选地,当运输任务的起始位置与目标位置位于同一天车服务区域内时,根据预定义区域规则直接确定执行天车;当运输任务涉及跨区域搬运或存在多个可行候选天车时,调用所述基于交叉注意力机制的天车分配智能体进行决策。
19、优选地,步骤s6中所述冲突关联状态包括相邻天车任务时间重叠程度、空间路径重叠程度、车间当前冲突数量、各天车是否存在待执行任务、冲突天车的当前位置、目标位置、预计等待成本和预计运输影响。
20、优选地,所述运输优先级调整动作包括选择当前天车让行、选择冲突天车让行、延迟当前运输任务、延迟冲突运输任务以及在重叠区域或虚拟交接点处等待。
21、优选地,所述分层奖励包括工序-机器选择奖励、天车分配奖励与冲突规避奖励;
22、所述工序-机器选择奖励与延期风险降低、完工时间改善和调度进度增加相关;
23、所述天车分配奖励与运输距离降低、潜在冲突变化和运输效率改善相关;
24、所述冲突规避奖励与冲突消解、让行成本、运输距离变化、延期变化、冲突增量和非法动作惩罚相关。
25、优选地,所述终端奖励根据最终最大完工时间、总延期时间、累计天车运行距离、完成工序数和未解决冲突数量计算,并根据当前调度场景规模进行自适应归一化。
26、优选地,各智能体的网络参数通过策略梯度、优势函数、经验采样或目标网络更新方式进行训练,使各层智能体在局部调度收益与全局调度目标之间形成协同。
27、本发明有如下有益效果:
28、1.本发明将工序-机器选择、天车分配和冲突规避分别建模为层次化智能体决策,降低了单一智能体在高维组合动作空间中的学习难度,提高了复杂车间调度问题的可训练性和可解释性。
29、2.本发明利用transformer编码器对候选工序-机器组合进行全局关联建模,使调度决策能够同时考虑作业进度、延期风险、机器状态和加工时间等因素,提升工序与机器匹配的合理性。
30、3.本发明利用交叉注意力机制刻画候选天车与目标运输任务之间的匹配关系,能够根据天车位置、可用时间、运行距离和区域约束动态选择执行天车,减少空驶和潜在冲突。
31、4.本发明采用actor-critic结构进行多天车冲突规避,根据局部冲突状态和全局价值评估选择让行对象,使多台天车在重叠区域中的通行顺序能够根据运行成本和调度影响动态调整。
32、5.本发明通过分层奖励和终端奖励共同引导学习,使局部动作优化与全局调度目标保持一致,在不同规模算例下能够提高解集收敛性和综合调度性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com