一种基于深度强化学习与遗传算法协同的AGV全局任务分配方法及系统与流程

摘要: 本发明涉及智能仓储物流,特别涉及一种基于深度强化学习与遗传算法协同的agv全局任务分配方法及系统。背景技术:1、自动导引车(agv)广泛应用于智能仓储、柔性制造...
一种基于深度强化学习与遗传算法协同的AGV全局任务分配方法及系统与流程

本发明涉及智能仓储物流,特别涉及一种基于深度强化学习与遗传算法协同的agv全局任务分配方法及系统。

背景技术:

1、自动导引车(agv)广泛应用于智能仓储、柔性制造车间及物流分拣等场景,用于完成物料搬运、工位转运和仓储拣选等任务。随着作业规模扩大,现场通常需要多辆agv协同运行,且不同agv在速度、载重、电量、能耗及运动能力等方面存在差异。因此,多异构agv的任务分配与调度优化,成为提升系统效率和稳定性的关键问题。

2、现有agv任务分配方法主要包括基于规则的调度方法、基于启发式或元启发式算法的调度方法,以及基于深度强化学习的调度方法。规则方法常采用最近距离优先、先到先得等策略;遗传算法、蚁群算法等可进行全局搜索;深度强化学习方法则通过环境交互学习调度策略,以适应动态任务和复杂场景。

3、但现有技术仍存在不足:规则方法缺乏全局优化能力,易造成部分agv过载、部分agv闲置;传统遗传算法依赖随机初始化,收敛速度慢,难以满足实时调度需求;单纯深度强化学习在大规模动作空间下训练困难,易陷入局部最优。同时,现有方案往往未充分兼顾能耗、负载均衡、拥堵和碰撞风险。

技术实现思路

1、本发明的主要目的在于提供一种基于深度强化学习与遗传算法协同的agv全局任务分配方法及系统,可以有效解决上述背景技术中所涉及的问题。

2、为实现上述目的,本发明采取的技术方案为:

3、一种基于深度强化学习与遗传算法协同的agv全局任务分配方法,包括如下步骤:

4、s1:实时获取作业场景内多辆异构agv的运行状态数据以及待执行任务集,并基于所述运行状态数据和待执行任务集构建全局状态空间向量;

5、s2:将所述全局状态空间向量输入预先训练好的深度强化学习决策网络,由所述深度强化学习决策网络针对每一待执行任务输出对应的候选agv集合,并基于所述候选agv集合将全局任务分配解空间压缩为局部可行域;

6、s3:构建遗传算法的初始种群,采用编码映射机制将所述候选agv集合映射为遗传算法初始种群中的优势染色体;

7、s4:在所述局部可行域内,对所述初始种群进行选择、交叉、变异及适应度评估迭代,输出满足预设优化条件的agv全局任务分配方案。

8、优选的,所述异构agv的运行状态数据包括agv当前位置、剩余电量、当前负载、最大载重、行驶速度、单位距离能耗中的至少一种;

9、所述待执行任务集包括任务起点、任务终点、任务截止时间、任务优先级、任务载重需求中的至少一种。

10、优选的,所述全局状态空间向量包括agv状态特征、任务属性特征以及作业场景交通状态特征;

11、其中,所述作业场景交通状态特征包括基于历史运行数据、实时运行数据生成的交通拥堵热力图。

12、优选的,所述步骤s2中,所述深度强化学习决策网络输出候选agv集合时,根据agv与待执行任务之间的匹配关系剔除不满足可行性约束的agv;

13、所述可行性约束包括距离约束、电量约束、载重约束、时间窗约束和碰撞风险约束中的至少一种。

14、优选的,所述深度强化学习决策网络的训练过程包括:利用历史调度日志数据和仿真环境生成的模拟数据中的至少一种对所述深度强化学习决策网络进行训练;

15、并且,在训练奖励函数中引入任务完工时间增量、系统能耗增量、负载均衡增量以及碰撞惩罚项,使所述深度强化学习决策网络输出兼顾完工时间、能耗、负载均衡和碰撞风险的候选agv集合。

16、优选的,所述步骤s3中的编码映射机制采用二维混合编码结构;

17、所述二维混合编码结构包括任务排序基因段和agv分配基因段;

18、其中,所述任务排序基因段用于表示待执行任务的执行顺序,所述agv分配基因段用于表示各待执行任务对应分配的agv编号。

19、优选的,所述优势染色体的生成过程包括:

20、根据待执行任务的截止时间和任务优先级中的至少一种生成任务排序基因段;

21、针对所述任务排序基因段中的每一待执行任务,从该待执行任务对应的候选agv集合中选取综合代价最小的agv编号,并将所述agv编号填入agv分配基因段。

22、优选的,所述综合代价基于距离因子、预估能耗因子、负载均衡因子以及碰撞风险因子计算得到;

23、其中,所述距离因子根据agv当前位置至待执行任务起点的路径距离确定;

24、所述预估能耗因子根据agv单位距离能耗、任务路径距离、agv当前负载和agv最大载重确定;

25、所述负载均衡因子根据agv当前已分配任务量与候选agv平均任务量之间的偏差确定;

26、所述碰撞风险因子根据预测路径与已分配任务之间的时间窗冲突情况确定。

27、优选的,所述步骤s4中的适应度评估采用多目标加权惩罚函数;

28、所述多目标加权惩罚函数包括最大完工时间、系统总能耗、agv负载方差以及碰撞惩罚项;

29、并且,在遗传算法迭代过程中,对所述最大完工时间、系统总能耗、agv负载方差以及碰撞惩罚项对应的权重系数进行动态调整,以在任务完成效率、能耗、负载均衡和防碰撞之间进行协同优化。

30、一种应用上述任一项所述方法的基于深度强化学习与遗传算法协同的agv全局任务分配系统,包括:

31、数据采集模块,用于实时采集作业场景内多辆异构agv的运行状态数据以及待执行任务集,并基于所述运行状态数据和待执行任务集构建全局状态空间向量;

32、drl快速决策模块,用于将所述全局状态空间向量输入预先训练好的深度强化学习决策网络,并由所述深度强化学习决策网络针对每一待执行任务输出对应的候选agv集合,以将全局任务分配解空间压缩为局部可行域;

33、ga精细优化模块,用于构建遗传算法的初始种群,采用编码映射机制将所述候选agv集合映射为遗传算法初始种群中的优势染色体,并在所述局部可行域内对所述初始种群进行选择、交叉、变异及适应度评估迭代,获得满足预设优化条件的agv全局任务分配方案;

34、指令下发模块,用于将所述agv全局任务分配方案转换为agv控制指令,并发送至对应agv的车载控制器。

35、与现有技术相比,本发明具有如下有益效果:

36、本发明通过将深度强化学习决策网络与遗传算法协同应用于多异构agv任务分配过程,先利用深度强化学习决策网络基于全局状态空间快速输出每个任务的候选agv集合,将大规模全局解空间压缩为局部可行域,再利用遗传算法在该局部可行域内进行精细寻优,从而兼顾实时响应能力和全局优化能力,降低计算复杂度,提高agv任务分配效率。

37、本发明通过编码映射机制将深度强化学习决策网络输出的候选agv集合映射为遗传算法初始种群中的优势染色体,避免传统遗传算法随机初始化导致的初始解质量不稳定和收敛速度慢的问题。同时,通过在适应度评估中引入完工时间、系统能耗、负载均衡和碰撞惩罚等多目标因素,使任务分配方案能够降低能耗和碰撞风险,改善agv负载均衡。