一种基于多约束遗传算法与强化学习的洗化车间动态排产方法与流程
本发明涉及智能制造与生产调度,具体为一种基于多约束遗传算法与强化学习的洗化车间动态排产方法。
背景技术:
1、洗化车间承担洗涤剂、化妆品、日用化学品等产品的生产任务,其排产问题属于典型的大规模多约束组合优化问题;洗化生产具有多品种小批量、工艺路线复杂、设备切换频繁、物料种类繁多以及订单交期紧迫等特点,不同产品配方之间的切换需要执行设备清洗程序,切换清洗时间、清洗损耗及切换顺序均对排产方案产生显著影响;同时,洗化生产涉及灌装、混合、包装等多道工序,各工序之间存在严格的时序依赖关系,且设备能力、物料齐套、库存容量等多重约束相互耦合。
2、目前,洗化车间普遍采用商业高级计划与排程(aps)系统或基于传统启发式规则的人工排产方式进行生产调度;aps系统通过建立产线、设备、物料、工艺工序等生产约束的数字化模型,采用内置优化算法生成排程计划;人工排产则依赖计划员根据经验逐项安排各订单在各设备上的加工顺序与时间;然而,上述排产方式在实际运行中面临固有局限:aps系统所采用的优化算法多为单一搜索策略,在处理洗化车间多重强耦合约束构成的大规模解空间时,全局搜索能力与局部寻优精度难以兼顾,往往只能获得可行解而非最优解;人工排产方式则受限于计划员个体经验和计算能力,面对动辄数百道工序的排产任务时,排产方案的合理性和一致性难以保障;更为突出的是,洗化车间实际生产中频繁发生紧急插单、原材料到货延迟、设备突发停机等动态扰动事件,上述排产方式在扰动发生后需要从头开始重新运算,aps系统重排耗时长达数小时甚至数天,人工重排则因涉及大量工序的连锁调整而效率更低,导致生产计划长时间处于不确定状态,严重影响订单交付准时率和设备利用效率,为此,提出一种基于多约束遗传算法与强化学习的洗化车间动态排产方法。
技术实现思路
1、有鉴于此,本发明提供一种基于多约束遗传算法与强化学习的洗化车间动态排产方法,以解决或缓解现有技术中存在的技术问题,至少提供一种有益的选择。
2、本发明的技术方案是这样实现的:一种基于多约束遗传算法与强化学习的洗化车间动态排产方法,包括以下步骤:
3、s1:获取洗化车间的生产资源数据、工艺路线数据及订单需求数据,构建以最小化最大完工时间、最小化总拖期时间和最大化设备利用率为优化目标的多目标优化模型,并设置所述多目标优化模型的约束条件;所述约束条件包括:工序加工时序约束、设备能力约束、物料齐套约束和订单交货期约束;
4、s2:采用遗传算法对所述多目标优化模型进行全局空间搜索,对排产方案进行编码、交叉和变异操作,并以所述多目标优化模型的目标函数作为适应度函数进行种群进化,生成包含多个排产方案的初始种群;
5、s3:将各排产方案映射为深度强化学习智能体的状态空间,以工序调整和设备重选作为所述深度强化学习智能体的动作空间,以排产方案在所述多目标优化模型下的综合性能指标改善量作为奖励信号,构建所述深度强化学习智能体;采用多个所述深度强化学习智能体在同一排产方案的不同局部决策点上并行进行决策优化,各所述智能体之间通过共享同一中央经验回放池进行经验共享,各智能体在优化过程中共享同一个全局价值网络进行协作评估,同时各自维护独立的策略网络进行局部探索,以全局排产方案的综合性能改善为导向进行协同优化,输出优化后的精英排产方案集合;
6、s4:在构建的洗化车间仿真模型上对所述精英排产方案集合中的各方案进行仿真运行验证,根据仿真运行结果从所述精英排产方案集合中筛选最优排产方案,并将该最优排产方案输出至所述洗化车间的设备控制器,以控制洗化设备按所述最优排产方案执行生产;
7、s5:当检测到动态扰动事件时,触发元学习重调度模块;所述元学习重调度模块存储有历史扰动场景及其对应的重调度策略参数,根据当前扰动特征从历史经验中匹配初始重调度策略,并以所述初始重调度策略为起点进行少步数迭代微调,在预设响应时间内输出重排产方案,并将所述重排产方案下发至所述洗化车间的设备控制器以替代原排产方案。
8、进一步优选的,所述约束条件还包括洗化工艺切换约束,所述洗化工艺切换约束包括不同产品配方之间的切换清洗时间约束、切换清洗损耗约束以及切换顺序依赖约束。
9、进一步优选的,步骤s3中所述多个深度强化学习智能体通过共享协调器进行动作冲突消解,所述共享协调器根据各智能体对应局部决策点的当前累计拖期时间和设备负载率动态计算优先级系数,按优先级由高至低依次释放动作执行权限。
10、进一步优选的,所述元学习重调度模块采用元学习算法在历史扰动场景集合上进行跨任务训练获得初始网络参数;在检测到当前扰动时,以所述初始网络参数为起点,结合当前扰动特征进行少步数梯度更新完成策略微调。
11、进一步优选的,步骤s3中所述奖励信号根据归一化处理后的最大完工时间改善量、归一化处理后的总拖期时间改善量和归一化处理后的设备利用率改善量的加权和计算得到;所述归一化处理指将各指标的原始数值映射至统一数值区间。
12、进一步优选的,步骤s4中所述洗化车间仿真模型为基于离散事件仿真机制构建的数字仿真模型,所述数字仿真模型包含洗化车间的设备布局、工艺段配置及物料流转路径。
13、进一步优选的,所述动态扰动事件包括插单事件、缺料事件和设备故障事件。
14、进一步优选的,步骤s1与步骤s5之间还包括:建立扰动事件知识库,用于存储历史扰动事件的特征标签及其对应的重调度策略及执行效果评价;所述元学习重调度模块在执行重调度时优先从所述扰动事件知识库中检索与当前扰动特征匹配的历史案例,基于检索结果初始化重调度策略。
15、本发明提供一种基于多约束遗传算法与强化学习的洗化车间动态排产系统,包括:
16、数据采集模块,用于获取洗化车间的生产资源数据、工艺路线数据及订单需求数据;
17、模型构建模块,用于构建如权利要求1步骤s1所述的多目标优化模型;
18、遗传算法优化模块,用于执行如权利要求1步骤s2所述的全局空间搜索;
19、强化学习优化模块,用于执行如权利要求1步骤s3所述的局部协同优化;
20、仿真验证模块,用于执行如权利要求1步骤s4所述的仿真验证;
21、元学习重调度模块,用于执行如权利要求1步骤s5所述的自适应重排;
22、输出模块,用于输出最优排产方案或重排产方案。
23、本发明提供一种计算机设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序。
24、本发明实施例由于采用以上技术方案,其具有以下优点:
25、一、本发明通过遗传算法进行全局空间搜索,能够在大规模解空间中有效定位优质解区域,避免陷入局部最优,提高了排产方案的整体质量;通过多个深度强化学习智能体在同一排产方案的不同局部决策点上并行进行决策优化,各智能体之间共享经验并进行协同优化,能够对全局搜索获得的较优解进行精细局部寻优,有效解决了遗传算法局部搜索能力不足的问题。
26、二、本发明通过引入元学习重调度模块,使系统能够从历史扰动经验中学习并快速适应新扰动场景,当出现插单、缺料或设备故障等动态扰动时,能够在预设响应时间内快速输出重排方案,相比传统aps系统重排效率显著提升;通过洗化车间仿真模型对精英排产方案进行验证筛选,进一步保证了排产方案在实际生产环境中的可行性和稳健性,降低了方案执行风险。
27、上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本发明进一步的方面、实施方式和特征将会是容易明白的。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com