一种基于强化学习的服饰排产控制方法与系统与流程

摘要: 本发明涉及服饰排产控制,尤指一种基于强化学习的服饰排产控制方法与系统。背景技术:1、服饰生产逐渐由传统的大批量、少品类生产模式转向多品类、小批量、短交期和频繁变...
一种基于强化学习的服饰排产控制方法与系统与流程

本发明涉及服饰排产控制,尤指一种基于强化学习的服饰排产控制方法与系统。

背景技术:

1、服饰生产逐渐由传统的大批量、少品类生产模式转向多品类、小批量、短交期和频繁变更的生产模式。服饰生产排产难度不断增加。不同订单在款式、面料、颜色、尺码及工艺流程上存在差异,裁剪、缝制、整烫、质检、包装等工序之间又具有明确的先后关系。同时,生产现场还会受到设备状态、班组产能、物料到货、在制品进度及临时插单等因素影响,导致排产计划需要频繁调整。

2、现有服饰排产方式多依赖人工经验或固定规则进行安排,通常根据订单交期、工艺路线和设备产能生成生产计划,再由管理人员结合现场情况进行修改。该方式在订单稳定、资源变化较少的情况下可以使用,但面对订单变化频繁、物料供应不稳定、工序负荷不均衡等情况时,容易出现计划与现场执行脱节的问题。现有排产方法不能同时考虑订单任务、工序先后关系、资源可用状态、物料供应状态和当前执行进度,容易造成缺料订单被提前安排、可生产订单等待时间过长、部分班组负荷过高或部分设备空闲的情况。此外,生产计划执行后的结果通常只用于人工调整,难以转化为后续排产策略的改进依据,导致同类排产问题反复出现。

3、因此,如何结合服饰生产过程中的订单、工艺、资源、物料及执行数据,动态确定生产任务分配、生产顺序调整和生产资源调整策略,并根据计划执行结果持续优化排产策略,成为服饰生产排产控制中需要解决的问题。

技术实现思路

1、为解决上述问题,本发明提供一种基于强化学习的服饰排产控制方法与系统。

2、为实现上述目的,本发明采用的技术方案是:

3、一种基于强化学习的服饰排产控制方法,包括以下步骤:

4、采集服饰生产中的生产关联数据,包括订单数据、工艺数据、生产资源数据、物料数据及生产执行数据;

5、对所述生产关联数据进行订单任务拆分、工序关系解析、生产资源匹配及状态关联,构建排产状态数据;

6、将所述排产状态数据输入强化学习模型,通过所述强化学习模型确定当前排产状态下的排产控制动作,所述排产控制动作包括生产任务分配、生产顺序调整和生产资源调整中的至少一种;

7、根据所述排产控制动作生成服饰生产排产计划,并基于所述服饰生产排产计划的执行结果对所述强化学习模型的排产策略进行更新,得到服饰排产控制结果;

8、其中,通过所述强化学习模型确定当前排产状态下的排产控制动作包括:

9、将所述排产状态数据输入所述强化学习模型,通过所述强化学习模型生成候选排产控制动作;

10、根据所述订单工序链、所述候选生产资源集合和所述物料供应状态,对所述候选排产控制动作进行可执行性筛选,剔除不满足工序先后关系、资源可用状态或物料供应状态的候选排产控制动作;

11、根据筛选后的候选排产控制动作确定当前排产状态下的排产控制动作。

12、进一步地,所述对所述生产关联数据进行订单任务拆分、工序关系解析、生产资源匹配及状态关联,构建排产状态数据包括以下步骤:

13、根据所述订单数据确定待排产订单对应的订单任务,并根据所述工艺数据确定各订单任务对应的工序节点及工序先后关系,生成订单工序链;

14、根据所述生产资源数据确定各生产资源的可用状态,并将所述生产资源与所述订单工序链中的工序节点进行匹配,得到各工序节点对应的候选生产资源集合;

15、通过所述物料数据确定各订单任务对应的物料供应状态,并根据所述生产执行数据确定各订单任务对应的当前执行进度;

16、根据所述订单工序链、候选生产资源集合、物料供应状态及当前执行进度,组合构建排产状态数据。

17、进一步地,所述强化学习模型为actor-critic架构。

18、进一步地,通过所述强化学习模型确定当前排产状态下的排产控制动作还包括以下步骤:

19、将所述排产状态数据输入actor-critic架构中的策略网络,通过所述策略网络对当前订单任务、工序节点、候选生产资源集合、物料供应状态及当前执行进度进行特征提取,得到排产决策特征;

20、根据所述排产决策特征生成候选排产控制动作;

21、根据所述订单工序链、候选生产资源集合和物料供应状态,对所述候选排产控制动作进行可执行性筛选,剔除不满足工序先后关系、资源可用状态或物料供应状态的候选排产控制动作;

22、将筛选后的候选排产控制动作输入actor-critic架构中的价值网络,通过所述价值网络确定各候选排产控制动作对应的动作价值,并根据所述动作价值确定当前排产状态下的排产控制动作。

23、进一步地,所述通过所述价值网络确定各候选排产控制动作对应的动作价值包括:

24、将所述排产状态数据分别与各候选排产控制动作进行组合,得到各候选排产控制动作对应的状态动作特征,并根据所述状态动作特征预测执行对应候选排产控制动作后的下一排产状态数据;

25、根据所述排产状态数据与所述下一排产状态数据之间的变化关系,确定对应候选排产控制动作的即时排产收益,所述即时排产收益根据资源负荷变化、工序等待变化、物料约束满足情况和订单执行进度变化确定;

26、将所述下一排产状态数据输入所述价值网络,得到下一排产状态价值,并根据所述即时排产收益和下一排产状态价值确定对应候选排产控制动作的动作价值。

27、进一步地,所述即时排产收益根据资源负荷变化、工序等待变化、物料约束满足情况和订单执行进度变化确定包括:

28、将所述物料约束满足情况设定为第一优先级,将所述订单执行进度变化设定为第二优先级,将所述工序等待变化设定为第三优先级,将所述资源负荷变化设定为第四优先级。

29、进一步地,所述强化学习模型通过以下步骤训练:

30、获取历史服饰生产排产记录,并根据所述历史服饰生产排产记录构建训练样本,所述训练样本包括历史排产状态数据、历史排产控制动作、历史计划执行结果和历史下一排产状态数据;

31、将所述历史排产状态数据输入actor-critic架构中的策略网络,通过所述策略网络输出训练排产控制动作,并将所述训练排产控制动作与历史排产控制动作进行比对,得到动作偏差结果;

32、根据所述历史计划执行结果确定训练排产收益,并将所述历史下一排产状态数据输入价值网络,得到训练状态价值,根据所述训练排产收益和训练状态价值确定价值偏差结果;

33、根据所述动作偏差结果更新所述策略网络的参数,并根据所述价值偏差结果更新所述价值网络的参数,直至满足预设训练终止条件,得到训练完成的强化学习模型。

34、进一步地,根据所述历史服饰生产排产记录构建训练样本包括:

35、根据所述历史计划执行结果,对历史排产控制动作进行有效性标记,得到动作有效性结果;

36、根据所述动作有效性结果对训练样本设置样本训练权重;

37、按照所述样本训练权重从所述训练样本中选取目标训练样本,并基于所述目标训练样本对所述策略网络和价值网络进行训练。

38、进一步地,所述预设训练终止条件包括:

39、所述动作偏差结果在连续多个训练轮次内小于预设动作偏差阈值、所述价值偏差结果在连续多个训练轮次内小于预设价值偏差阈值和所述训练排产收益在连续多个训练轮次内的变化幅度小于预设收益变化阈值。

40、一种基于强化学习的服饰排产控制系统,应用于前述任一项所述的一种基于强化学习的服饰排产控制方法,包括:

41、数据采集模块,用于采集服饰生产中的生产关联数据,包括订单数据、工艺数据、生产资源数据、物料数据及生产执行数据;

42、排产状态构建模块,用于对所述生产关联数据进行订单任务拆分、工序关系解析、生产资源匹配及状态关联,构建排产状态数据;

43、排产动作确定模块,用于将所述排产状态数据输入强化学习模型,通过所述强化学习模型确定当前排产状态下的排产控制动作,所述排产控制动作包括生产任务分配、生产顺序调整和生产资源调整中的至少一种;

44、生成更新模块,用于根据所述排产控制动作生成服饰生产排产计划,并基于所述服饰生产排产计划的执行结果对所述强化学习模型的排产策略进行更新,得到服饰排产控制结果。

45、本发明的有益效果在于:本发明通过采集服饰生产中的订单数据、工艺数据、生产资源数据、物料数据及生产执行数据,将订单需求、工艺流程、资源状态、物料供应和现场执行情况纳入同一排产依据中,避免现有排产方式仅依赖交期、人工经验或固定规则进行安排,使排产过程能够更完整地反映服饰生产现场的实际状态。通过根据生产关联数据构建排产状态数据,将当前订单任务、工艺约束、生产资源、物料条件和执行进度转化为强化学习模型可识别的状态输入,能够在多品类、小批量、订单变化频繁的场景下,综合判断当前生产条件,而不是孤立地考虑某一类数据,从而减少计划与现场执行脱节的问题。将排产状态数据输入强化学习模型,由强化学习模型确定生产任务分配、生产顺序调整和生产资源调整等排产控制动作,使排产过程能够根据当前生产状态动态选择调整策略。由此,可以针对缺料、资源占用、工序等待、订单推进缓慢等情况及时调整排产动作,减少缺料订单被提前安排、可生产订单等待过长、部分资源负荷过高或设备空闲等问题。通过根据排产控制动作生成服饰生产排产计划,并基于排产计划的执行结果对强化学习模型的排产策略进行更新,使生产执行后的结果不再仅用于人工修改,而是能够作为后续排产策略优化的依据。通过这种方式,可以在多次排产和执行过程中持续学习,提高后续排产控制结果对现场变化的适应能力。