基于多智能体协同的仓储订单批量拣选路径规划方法

本发明涉及仓储物流，具体为一种基于多智能体协同的仓储订单批量拣选路径规划方法。

背景技术：

1、在大型仓储物流中心，波次拣选作业需要同时处理大量客户订单。现有的批量拣选路径规划方法通常将多个订单简单合并为一个固定批次，再由单一拣选员或设备按顺序遍历货位完成拣选。这种集中式串行处理模式将订单的批次划分与路径规划视为两个独立阶段，先采用基础的聚类算法对订单进行一次性静态分组，再对每组订单求解独立的旅行商问题以确定行走路径。该方式忽略了不同订单在商品存储位置和sku需求上的内在关联，当订单集合内部包含分布在不同仓储区域的异质商品时，其生成的拣选路径会形成大量往返和交叉，行走距离显著增加。现有技术方案存在明显缺陷。基于静态批次划分与单机路径规划的模式，其订单分组结果完全依赖于预设的聚类参数，且分组后各批次的拣选过程彼此隔离，无法感知巷道内可能发生的多设备交会与拥堵。随着仓储内并行作业的移动机器人或人员数量增加，各自独立规划的路径之间频繁爆发冲突，系统不得不采取紧急停车或长时间等待等被动避让措施，使得规划出的路径在实际执行中偏离预期，整体拣选效率急剧下降。此外，后期的路径执行阶段缺乏对多执行主体之间策略交互的动态优化能力，面对高动态的作业环境，无法在全局视角下协同调整各个执行主体的行进动作，只能得到局部可行的次优解。

2、本发明要解决的问题是，如何挖掘并发掘订单之间在商品位置与sku组成上的关联，替代静态批次划分，以及如何在存在路径冲突的多主体环境中实现全局协同的动态路径寻优，输出最优拣选路径规划方案。

技术实现思路

1、本发明的目的在于提出一种基于多智能体协同的仓储订单批量拣选路径规划方法，以解决现有技术在批量订单处理过程中缺乏利用订单间商品位置与sku关联性进行智能任务分配，以及多执行主体路径规划缺乏全局协同动态调整能力的问题。

2、为了实现上述目的，本发明提供如下技术方案：

3、一种基于多智能体协同的仓储订单批量拣选路径规划方法，包括：

4、获取当前波次内待处理的多个拣选订单集合以及仓储布局拓扑图；

5、建立订单-货位关联度模型，并进行预训练；调用预训练的订单-货位关联度模型对所述拣选订单集合进行商品关联度解析处理，生成订单间关联度矩阵；基于所述订单间关联度矩阵构建多智能体协同任务分配网络，将各个拣选订单分配至对应的智能体；每个智能体配置有对应的局部路径规划器；通过所述多智能体协同任务分配网络生成每个智能体的初始拣选序列，并对该初始拣选序列进行多智能体路径冲突检测处理，得到协同避障路径集合；建立强化学习协同策略模型，并进行预训练；将所述协同避障路径集合输入预先训练的强化学习协同策略模型进行联合路径寻优处理，生成全局最优批量拣选路径规划方案。

6、通过将订单间空间距离与商品重叠度进行加权融合，准确量化拣选任务之间的关联程度，为智能体的任务划分提供可靠的关联度矩阵。作为本发明的一个技术方案，调用预训练的订单-货位关联度模型时，对每个拣选订单中的商品sku进行货位映射处理，得到对应订单的货位坐标集合；计算任意两个拣选订单的货位坐标集合之间的欧几里得距离均值，作为初始空间关联度；获取所述任意两个拣选订单中共同包含的商品sku数量，并计算该商品sku数量与各自订单总sku数量的交集比例，作为商品重叠度；将所述初始空间关联度与所述商品重叠度进行加权融合处理，生成所述订单间关联度矩阵。优选的，所述加权融合处理中的权重系数通过熵权法或主成分分析法确定，从而使关联度度量在反映货位物理邻近性的同时兼顾商品拣选重合特性，提升后续任务聚类的合理性。

7、基于所述订单间关联度矩阵构建多智能体协同任务分配网络时，从所述订单间关联度矩阵中提取每一行向量作为当前订单的关联度分布特征；将所述关联度分布特征输入预训练的任务聚类模型进行订单分组处理，生成多个订单子集合；为每个所述订单子集合分配一个独立的智能体，并建立所述多智能体协同任务分配网络。由此，将关联度高的订单自动聚合至同一智能体的任务池中，使得单个智能体的拣选区域相对集中，减少跨区域长距离移动，从整体上降低多个智能体之间的路径重叠概率。

8、在多智能体路径冲突检测处理中，利用每个智能体对应的局部路径规划器，基于该智能体所分配的订单子集合中的货位坐标进行最短路径计算，生成初始拣选序列；对各个智能体的所述初始拣选序列进行时间轴对齐处理，得到各智能体在仓储布局中的时空占用轨迹；检测所述时空占用轨迹中是否存在同一时间点下不同智能体的货位坐标重合事件，若存在，则标记为路径冲突节点。对于时间轴对齐处理，一种优选的实现方式是，获取每个智能体的初始拣选序列中相邻货位之间的行走距离和理论行走速度，计算到达每个货位的理论时间戳，并将所述理论时间戳与对应的货位坐标进行绑定，生成所述时空占用轨迹。该处理能够准确还原各智能体在时间与空间维度上的占用情况，使得冲突检测更为精确可靠。对于所述路径冲突节点，可采用优先级避让策略或速度调节策略进行化解，生成无冲突的协同避障路径，从而在不影响拣选任务完成时间的前提下消除多智能体间的碰撞风险。

9、将协同避障路径集合输入预先训练的强化学习协同策略模型进行联合路径寻优处理时，将所述协同避障路径集合中每个智能体的路径作为强化学习协同策略模型的初始状态；通过所述强化学习协同策略模型的价值网络对所述初始状态进行联合状态价值评估，生成状态价值向量；基于所述状态价值向量采用策略梯度算法对所述协同避障路径集合中的路径节点进行迭代调整，输出所述全局最优批量拣选路径规划方案。在该过程中，价值网络将各智能体的位置信息、剩余任务量及路径长度拼接成联合状态特征向量，经多层全连接层进行非线性映射输出联合状态价值标量，从而综合评价当前协同路径方案的全局优劣。在进行迭代调整时，对于所述协同避障路径集合中的每个路径节点，计算其动作空间内所有候选转移方向对应的动作价值，选择所述动作价值最高的候选转移方向作为该路径节点的更新方向，生成迭代路径节点，并将所述迭代路径节点替换协同避障路径集合中的原始路径节点，得到更新后的路径集合。通过上述强化学习协同策略，在多智能体之间进行联合权衡，能够在消除冲突的基础上进一步压缩总行走距离，实现仓库全局拣选效率的最优化，最终获得兼顾任务完成时间与路径平滑性的批量拣选方案。

10、在上述技术方案中，本发明提供的技术效果和优点：

11、通过调用预训练的订单-货位关联度模型对拣选订单集合进行商品关联度解析，生成订单间关联度矩阵，并将该关联度矩阵作为多智能体协同任务分配网络的构建基础，取代了传统的静态批次划分。该过程中，任意两个拣选订单的关联度由货位坐标之间的空间邻近程度和共同商品sku的重叠比例共同决定，实现了订单在空间维度和商品需求维度上的联合表征。基于这种关联度矩阵进行的智能体任务分配，能够使同一智能体所负责的订单集合在仓储物理布局上呈现聚集性，并兼具商品拣选的协同性。这种分配方式直接从任务源头减少了执行主体在不同货区之间的无效往返次数，压缩了单次任务周期的总行走里程，提升了拣选密度和作业连贯性。在生成各智能体的初始拣选序列后，对其进行时间轴对齐以获取时空占用轨迹，并实施多智能体路径冲突检测，所得到的协同避障路径集合被整体作为强化学习协同策略模型的初始状态输入。该强化学习协同策略模型的价值网络对包含所有智能体位置信息、剩余任务量及路径长度的联合状态进行价值评估，并依据评估结果采用策略梯度算法对所有智能体的路径节点进行联合迭代调整。该机制不再局限于对单一智能体的路径片段进行独立优化，也不依赖预设的交通规则被动化解冲突，而是在高维联合动作空间中持续搜索和调整多智能体间的行动配合方式，消解时间与空间上的交汇冲突，最终输出一个在多智能体相互制约条件下的全局最优批量拣选路径规划方案。