一种环形轨道双工位穿梭车调度方法及系统与流程

本发明涉及环形轨道车辆调度，尤其涉及一种环形轨道双工位穿梭车调度方法及系统。

背景技术：

1、在货物转运工业自动化场景中，常需部署多台穿梭车或自动导引车，使其沿一条固定的环形轨道循环运行，以完成多个上料工位与下料工位之间的物料取送任务。由于货物的到达具有较强的随机性，货物在尺寸、占位方式及目标去向上的差异，以及多车共轨运行严格的安全间距限制，传统的逻辑控制往往难以在运行效率、能耗以及安全行驶之间取得理想的平衡。

2、在协同调度方面，多车任务分配与运动控制常用的贪心分配算法、优先级规则法、传统pid或plc逻辑控制等，虽均可应用于环形轨道穿梭车系统的调度求解，但如何针对多车共轨运行的特性以及货物转运作业的特点，设计出一种更优的协同调度方法，以实现更合理的任务分配与运动规划，使系统运行更平稳、整体吞吐量更高，仍是亟待解决的问题。

3、强化学习在复杂决策与机器人控制领域表现出较强的自适应能力，但直接将其应用于此类工业多车调度场景时，仍面临严峻挑战。受限于安全距离要求、复杂的装载槽位约束以及严苛的作业时序，模型往往面临奖励极其稀疏、状态空间定义不统一以及连续控制训练难以稳定收敛等问题。

4、综上所述，针对环形轨道下具备双工位特征的穿梭车系统，迫切需要一种能够将高层离散任务分配与低层连续运动控制进行协同设计的环形轨道双工位穿梭车调度方法。

技术实现思路

1、为解决上述技术问题，本发明提出了一种环形轨道双工位穿梭车调度方法及系统。本发明方法在统一的系统状态表达基础上，既能有效应对动态随机的来料过程与多样化的装载需求，又能确保多车运行的安全平稳，并且其核心控制策略具备通过数据驱动方式持续优化的能力。

2、在第一方面，本发明提供了一种环形轨道双工位穿梭车调度方法，包括如下步骤：

3、s1：构建环形轨道仿真环境并初始化；

4、s2：根据当前环境观测信息给穿梭车分配上料任务；

5、s3：为每个穿梭车分配智能体，所述智能体通过近端策略优化算法生成加速度信号；

6、s4：在智能体中设置运动安全约束和平滑控制机制，执行智能体输出的加速度信号控制穿梭车；

7、s5：当穿梭车到达目标工位并满足对齐条件时，执行装卸操作。

8、可选的，在s1中，构建环形轨道仿真环境并初始化的过程包括：

9、轨道建模：将环形轨道建模为一维闭合环路，初始化沿顺时针方向单向的车辆占位符，车辆位置更新采用取模运算实现环形约束；

10、车辆建模：在环形轨道上初始化多台穿梭车，穿梭车的属性包括位置、速度、上一周期实际施加的加速度以及两个独立装载工位，每台穿梭车的初始位置沿着环形轨道均匀分布，初始速度为0；

11、工位建模：在环形轨道的左半环设置多个上料工位，上料工位的属性包括固定位置、纸卷类型、主下料口编号及备选下料口列表；在环形轨道的右半环设置多个下料工位，下料工位的属性包括固定位置；每个上料工位至少包括两个货物槽位，用于暂存待取货物；

12、货物建模：货物的属性包括唯一编号、到达时间、所在上料工位、纸卷类型、直径、所需工位数以及允许的下料口集合。

13、可选的，在s2中，根据当前环境观测信息给穿梭车分配上料任务的过程包括：

14、上料任务分配：遍历所有在上料工位等待且未被分配的货物，按优先级排序，对每件货物寻找最优穿梭车；

15、下料目标分配：遍历所有已装载在车辆上但尚未分配下料目标的货物，为其选择最优下料口；

16、任务有效性校验：分配前进行多重校验，校验完成后将当前所有上料任务统一分配给穿梭车。

17、可选的，在s2中，所述上料任务分配的过程包括：

18、计算每台穿梭车到该货物所在上料工位的顺时针距离；检查车辆是否具有满足货物类型对应工位数的空闲工位组合；排除已被其他未完成任务预占的工位，避免同一工位被重复分配；选择距离最近且有可用工位的穿梭车，将货物分配至该车辆的对应工位；

19、下料目标分配的过程包括：

20、获取该货物的主下料口和备选下料口列表；计算车辆到主下料口的距离和到各备选下料口的距离；若存在备选下料口满足特定阈值条件，则选择该备选下料口；否则选择主下料口；

21、任务有效性校验的过程包括：

22、以工位槽位的实际占用状态为单一真相校验货物是否仍在上料工位；校验目标车辆工位是否物理空闲且未被其他任务预占；校验车辆容量是否满足货物所需工位数；校验是否存在重复分配。

23、可选的，在s3中，智能体通过近端策略优化算法生成加速度信号的过程包括：

24、构建观测空间：为每台穿梭车构建归一化观测向量，所述归一化观测向量包括自车状态、目标信息、前车信息、后车信息和任务信息；

25、构建策略网络：策略网络采用actor-critic架构，包括共享特征提取层、actor网络和critic网络；动作分布采用squashed gaussian策略，从正态分布采样后经激活函数映射至[-1, 1]区间，并对对数概率进行雅可比修正；

26、动作执行：将策略网络输出的归一化动作映射为实际加速度作为穿梭车的期望加速度指令；

27、目标位置推导：根据穿梭车当前任务状态自动推导目标位置，优先检查车上已分配下料目标的货物，目标为最近的下料工位；若有已分配但尚未取货的任务，目标为对应上料工位；若无任务，则设为无目标状态。

28、可选的，在s3中，所述智能体采用在线策略梯度方法训练，包括：

29、经验收集：每台穿梭车独立维护经验缓冲区，在每个仿真步存储六元组，所述六元组包括观测、动作、奖励、状态价值、对数概率和终止标志；

30、广义优势估计：在每个训练回合结束后，在每个训练回合结束后，使用折扣因子和gae参数计算广义优势函数；对优势值进行标准化处理，减均值除标准差；

31、策略更新：对经验缓冲区数据进行多轮小批量随机梯度下降，计算损失函数：

32、学习率调度：采用带预热的余弦退火策略，预热阶段学习率线性增长，随后按余弦曲线衰减；

33、在训练阶段，所有智能体在每个控制步同步采集经验；每个回合结束后，各智能体分别基于自身经验缓冲区计算广义优势估计并执行多轮小批量梯度更新，更新后清空缓冲区并推进学习率调度；部署阶段，各智能体以确定性模式输出动作，实现实时多车协同控制。

34、可选的，在s3中，智能体训练的奖励包括环境任务奖励和低层运动奖励，计算表达式如下：

35、；

36、；

37、；

38、其中，表示车辆在时刻写入经验缓冲区的训练奖励，表示车辆的低层运动奖励，表示环境任务奖励，表示车辆数量，表示当前步统计总奖励，表示单个的累计统计奖励。

39、可选的，在s3中，智能体训练中损失函数的定义包括：

40、；

41、其中，表示总损失，表示策略损失，、表示超参数，表示价值网络损失，表示香农熵，表示对时间步处的策略香农熵求期望；

42、策略损失和价值网络损失的表达式如下：

43、；

44、；

45、其中，表示近端策略优化的概率比率，表示优势函数，表示超参数，表示钳制操作，表示第台穿梭车在时间步时的状态价值估计值；

46、近端策略优化的概率比率的表达式如下：

47、；

48、其中，表示，表示；

49、优势函数的表达式如下：

50、；

51、其中，表示时间步的时序差分残差，表示权重因子，表示环境的终止标志；

52、时序差分残差的表达式如下：

53、。

54、可选的，在s4中，运动安全约束和平滑控制机制包括：

55、1）加速度限制：对智能体输出的期望加速度施加加速度变化率限制，将当前期望加速度限制在以上一周期实际加速度为中心、以最大允许变化量为半径的区间内：

56、；

57、其中，表示智能体输出的期望加速度，表示上一控制周期环境最终施加的实际加速度，表示最大加速度变化率， 表示低层控制周期，表示经加速度变化率限制后的平滑加速度，表示将限制在区间内的操作；

58、2）前向安全距离投影：根据车辆前向安全距离对平滑后的加速度进行安全投影，基于二阶运动学方程推导安全加速度上界，确保在当前控制周期内车辆的位移不会导致与前方任何车辆的间距小于安全距离；

59、安全距离约束为：；

60、其中，表示车辆在下一时刻的预测位置，表示其他车辆的当前位置，表示车辆间最小安全距离，表示除车辆之外的所有车辆；

61、车辆在一个控制周期内的位移为，为保证位移不超过自由距离，车辆需满足：

62、；

63、由此的加速度安全上界如下：

64、；

65、其中，表示车辆 相对于前方车辆 的安全加速度上界；

66、对所有前方车辆取最严格的约束，得到最终安全投影后的实际加速度：

67、加速度平滑与安全投影表示如下：

68、；

69、其中，表示环境最终施加的实际加速度；

70、3）速度边界以及位置更新：车辆速度更新和位置更新采用离散时间运动学模型：

71、；

72、；

73、其中，表示车辆在时刻

t 的速度，表示更新后的速度，表示实际施加的加速度，表示低层控制周期，表示最大允许速度，表示当前位置，表示更新后的位置，表示轨道总长度，表示取模运算；

74、4）车辆上下料限制：车辆在位置对齐且速度低于阈值时，才允许开始上料或下料，约束如下：

75、；

76、其中，表示目标上料口或下料口的轨道位置，表示位置对齐容差，表示作业允许的最大速度阈值；

77、5）装卸锁定机制：若车辆处于上下料锁定状态，则强制速度为零且不更新位置，约束如下：

78、；

79、其中，表示车辆在时刻

t 是否处于上下料锁定状态。

80、另外，本发明还提供了一种环形轨道双工位穿梭车调度系统，用于实现如上述的环形轨道双工位穿梭车调度方法，所述系统包括：

81、环境仿真模块：用于构建环形轨道仿真环境并初始化；

82、上料任务分配模块：用于根据当前环境观测信息给穿梭车分配上料任务；

83、多智能体控制模块：包括分配给每个穿梭车的独立智能体，所述智能体通过近端策略优化算法生成加速度信号；

84、运动约束和平滑控制模块：用于在智能体中设置运动安全约束和平滑控制机制；

85、穿梭车执行模块：用于执行智能体输出加速度信号控制穿梭车，完成装卸操作。

86、应用本发明的技术方案，至少具有以下有益效果：

87、本发明方法提供了一种环形轨道双工位穿梭车调度方法及系统，本发明通过将当前训练流程明确拆分为任务分配和智能体低层连续控制，解决了直接用强化学习同时学习派单和运动控制导致动作空间过大、训练不稳定的问题。另外，本发明通过设置约束的方式提供连续空间下的物理防撞兜底机制，加入了基于二阶运动学方程的安全投影层，这保证了智能体输出的决策在现实物理电机中始终是安全的，极大提升模型泛用性。在任务分配和环形路径确定的条件下，通过智能体实时优化车辆速度和加速度，减少保守低速、急停等待和车辆间阻塞，使车辆更快完成取货、运输及卸货循环，从而提高装卸系统吞吐量并降低货物平均等待时间和完成时间。另外，相比于传统的智能体控制技术，本发明为每一台穿梭车配置独立智能体，使得每台穿梭车能够学习车辆间相互影响下的连续加速度控制策略，提高了多车之间的协同效果，进一步提高了装卸货物的效率。