异构多智能体协同应急物资调拨方法、系统、设备及介质

本技术涉及应急物流与智能调度，特别是涉及一种异构多智能体协同应急物资调拨方法、系统、设备及介质。

背景技术：

1、应急物资调拨是灾害响应与救援行动中的核心环节，其目标是将各类救援物资从供应源（如中央仓库、外部供应商）经由多级仓储网络，高效、及时地配送至受灾区域的需求节点（如配送站、临时安置点）。然而，实际灾害环境，如洪涝、地震、台风等，通常伴随着高度动态性和不确定性：一方面，受灾区域的需求可能在短时间内激增或发生变化；另一方面，运输网络可能因道路中断、桥梁损毁而动态重构，部分仓储节点或临时供应点也可能因救援力量的部署而随时启用或失效。如何在上述动态、约束密集且信息不完全的条件下，制定出快速、鲁棒且全局协同的物资调拨策略，是应急管理领域面临的重大技术挑战。

2、现有技术主要存在以下不足。第一，静态优化模型（如线性规划、网络流模型）要求完整的供需及拓扑信息并一次性求解调拨方案，无法适应灾中需求突增、道路中断等动态变化，且难以有效利用在途物资信息，易导致重复计划或资源浪费。第二，启发式调度规则（如库存阈值、距离优先分配）虽计算简单，但规则固定，无法随场景动态调整；多个上游节点独立按规则决策时，容易造成下游拥堵、重复发运或无效调拨，全局协同性差。第三，单智能体强化学习将整个物流网络压缩为单一动作空间，面临维度灾难，且难以表达供应商、仓库、配送站等节点的角色差异，策略泛化能力弱。第四，多智能体强化学习虽能分节点建模，但现有方法多采用同构图网络，忽略了节点类型（供应、仓储、临时、需求）和边关系（层级调拨、替代通路）的异构语义；同时，动作空间往往将目的地选择与发运量分离或离散化，与真实调拨业务中需连续确定多物资发运比例的需求脱节。此外，各智能体独立决策易产生局部最优，缺乏对下游残余需求、在途到达及拥堵风险的协同感知。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够实现动态异构物流网络统一表达、多节点协同的混合动作调拨、以及需求感知的无效与迟到调拨抑制的异构多智能体协同应急物资调拨方法、系统、设备及介质。

2、一种异构多智能体协同应急物资调拨方法，所述方法包括：

3、基于应急物流网络实时采集各节点及各边的状态信息，同时采集实时灾害信息；

4、根据所述状态信息，动态构建异构有向图以表征所述应急物流网络，在所述异构有向图中为每个节点标注类型标识，为每条边标注关系标识，并根据所述实时灾害信息更新各节点以及边的状态；

5、为所述异构有向图中的每个节点生成局部观测数据，所述局部观测数据包含对应节点的库存、未满足需求、在途物资到达预测、吞吐占用及迟到风险；

6、将所述异构有向图以及各节点的局部观测输入异构图网络中，针对异构有向图中不同节点类型采用对应的输入映射，针对不同边类型采用对应的消息传递函数，通过多轮消息聚合得到每个节点的结构嵌入；

7、将所述异构有向图中具备调拨能力的主动节点的局部观测与对应的结构嵌入进行拼接后，输入与所述主动节点的节点类型对应的actor网络中，得到混合动作，所述混合动作包括：离散的目的地选择以及连续的多物资发运比例；其中，所述目的地选择是从下游节点中选择一个目标节点或选择等待；

8、基于所述混合动作，从当前节点在异构有向图中的下游节点中，通过需求感知动作掩码确定有效目的地，并根据下游残余需求、运输边容量及到达时限，将发运比例转换为实际发运量，生成调拨动作；

9、执行所述调拨动作，并更新各节点的库存、在途物资及需求满足量，以实现异构多智能体协同应急物资调拨。

10、在其中一实施例中，在构建所述异构有向图时：

11、所述节点类型至少包括供应节点、仓储节点、配送需求节点和临时节点中的两种；

12、所述边类型至少包括层级调拨边、替代通路边和灾害影响边中的一种或多种。

13、在其中一实施例中，所述通过需求感知动作掩码确定有效目的地包括：

14、根据所述主动节点以及对应的下游节点的状态信息，将满足需求感知动作掩码的下游节点判定为有效目的地，其中，所述需求感知动作掩码为：

15、若所述主动节点处于激活状态且有可发运库存，且所述主动节点吞吐未饱和，且所述下游节点处于激活状态且吞吐未饱和，且所述下游节点或其下游存在残余需求，则将对应的下游节点判定为有效目的地；

16、以及，将等待动作判定为有效目的地。

17、在其中一实施例中，计算所述下游残余需求时：

18、从配送需求节点的总需求中扣除已满足需求及预计能按时到达的在途物资，得到配送需求节点的残余需求；

19、沿所述异构有向图的下游可达路径，将各配送需求节点的残余需求向上游传播或聚合；

20、根据传播或聚合路径上各节点的现有库存对残余需求进行抵扣，并根据运输时限剔除无法按时送达的部分，得到所述下游残余需求。

21、在其中一实施例中，在所述混合动作中：

22、所述连续的多物资发运比例由所述actor网络输出的beta分布采样得到；

23、所述离散的目的地选择由所述actor网络输出的分类分布采样得到。

24、在其中一实施例中，所述方法还包括训练阶段：

25、将所述异构有向图中的各主动节点分别作为一个智能体，采用集中训练、分散执行的强化学习框架对所述异构图网络和各actor网络进行训练；

26、训练时，在每个决策时刻，各智能体依据当前局部观测和所述异构图网络输出的结构嵌入，通过各自的actor网络产生混合动作并执行，获得奖励并进入下一状态；并将各智能体的局部观测、全局状态、动作、奖励及下一状态作为经验数据存入经验池，其中，所述全局状态根据各节点的局部观测及所述实时灾害信息生成；

27、利用集中式critic网络接收所述全局状态，估计全局价值并计算优势函数；

28、采用多智能体近端策略优化的裁剪目标，根据所述经验数据计算策略损失和价值损失，联合更新所述异构图网络、各智能体的actor网络以及所述集中式critic网络。

29、在其中一实施例中，所述训练阶段还包括：采用课程学习机制，按照训练进程动态调整环境场景的复杂度，逐步增加需求突增强度、道路中断频率、临时节点启用概率以及事件组合的复杂度，使训练从低扰动场景过渡至高扰动场景。

30、本技术还提出了一种异构多智能体协同应急物资调拨系统，所述系统包括：

31、数据采集模块，用于基于应急物流网络实时采集各节点及各边的状态信息，同时采集实时灾害信息；

32、动态图构建模块，用于根据所述状态信息，动态构建异构有向图以表征所述应急物流网络，在所述异构有向图中为每个节点标注类型标识，为每条边标注关系标识，并根据所述实时灾害信息更新各节点以及边的状态；

33、状态编码模块，用于为所述异构有向图中的每个节点生成局部观测数据，所述局部观测数据包含对应节点的库存、未满足需求、在途物资到达预测、吞吐占用及迟到风险；

34、异构图网络模块，用于将所述异构有向图以及各节点的局部观测输入异构图网络中，针对异构有向图中不同节点类型采用对应的输入映射，针对不同边类型采用对应的消息传递函数，通过多轮消息聚合得到每个节点的结构嵌入；

35、策略决策模块，用于将所述异构有向图中具备调拨能力的主动节点的局部观测与对应的结构嵌入进行拼接后，输入与所述主动节点的节点类型对应的actor网络中，得到混合动作，所述混合动作包括：离散的目的地选择以及连续的多物资发运比例；其中，所述目的地选择是从下游节点中选择一个目标节点或选择等待；

36、调拨动作生成模块，用于基于所述混合动作，从当前节点在异构有向图中的下游节点中，通过需求感知动作掩码确定有效目的地，并根据下游残余需求、运输边容量及到达时限，将发运比例转换为实际发运量，生成调拨动作；

37、调拨执行模块，用于执行所述调拨动作，并更新各节点的库存、在途物资及需求满足量，以实现异构多智能体协同应急物资调拨。

38、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述异构多智能体协同应急物资调拨方法中的步骤。

39、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述异构多智能体协同应急物资调拨方法中的步骤。

40、上述异构多智能体协同应急物资调拨方法、系统、设备及介质，通过基于应急物流网络实时采集各节点及各边的状态信息，同时采集实时灾害信息，根据状态信息，动态构建异构有向图以表征应急物流网络，在异构有向图中为每个节点标注类型标识，为每条边标注关系标识，并根据实时灾害信息更新各节点以及边的状态，为异构有向图中的每个节点生成局部观测数据，局部观测数据包含对应节点的库存、未满足需求、在途物资到达预测、吞吐占用及迟到风险，将异构有向图以及各节点的局部观测输入异构图网络中，针对异构有向图中不同节点类型采用对应的输入映射，针对不同边类型采用对应的消息传递函数，通过多轮消息聚合得到每个节点的结构嵌入，将异构有向图中具备调拨能力的主动节点的局部观测与对应的结构嵌入进行拼接后，输入与主动节点的节点类型对应的actor网络中，得到混合动作，混合动作包括：离散的目的地选择以及连续的多物资发运比例；其中，目的地选择是从下游节点中选择一个目标节点或选择等待，基于混合动作，从当前节点在异构有向图中的下游节点中，通过需求感知动作掩码确定有效目的地，并根据下游残余需求、运输边容量及到达时限，将发运比例转换为实际发运量，生成调拨动作，执行调拨动作，并更新各节点的库存、在途物资及需求满足量，以实现异构多智能体协同应急物资调拨。

41、有益效果：

42、通过实时采集应急物流网络中节点与边的状态信息及灾害信息，动态构建并持续更新标注类型标识与关系标识的异构有向图，能够精准表达供应商、仓库、配送站、临时节点等不同角色以及层级调拨、替代通路、灾害影响等多元关系，克服了传统同构图语义缺失的缺陷；为每个节点生成包含库存、未满足需求、在途到达预测、吞吐占用及迟到风险的局部观测，使决策同时感知当前状态与未来到达的物资，有效避免重复发运和资源浪费；利用针对不同节点类型和边类型采用差异化映射与消息传递函数的异构图网络，充分保留了物流网络的异构语义，通过多轮聚合得到蕴含上下游拓扑信息的结构嵌入，为协同决策提供了高质量的状态表征；将局部观测与结构嵌入拼接后输入与节点类型对应的actor网络，输出同时包含离散目的地选择（含等待动作）与连续多物资发运比例的混合动作，实现了“发往何处”与“发运多少”的联合优化，贴合实际调拨业务需求；进一步，通过需求感知动作掩码筛选有效目的地，依据下游残余需求、运输边容量及到达时限将比例转换为实际发运量，能够动态抑制无效、重复、超限及迟到的调拨，显著减少拥堵和碎片化运输；执行调拨后更新库存、在途物资及需求满足量，形成闭环反馈，从而整体上提高了动态灾害环境下应急物资调拨的及时性、鲁棒性和全局协同效率。