一种基于局部交通压力感知的学习型多智能体路径规划方法

摘要: 本发明涉及多智能体路径规划,尤其涉及一种基于局部交通压力感知的学习型多智能体路径规划方法。背景技术:1、多智能体路径规划旨在为多个智能体规划无碰撞路径,使各智能...
一种基于局部交通压力感知的学习型多智能体路径规划方法

本发明涉及多智能体路径规划,尤其涉及一种基于局部交通压力感知的学习型多智能体路径规划方法。

背景技术:

1、多智能体路径规划旨在为多个智能体规划无碰撞路径,使各智能体从起始位置到达目标位置。终身多智能体路径规划与一次性路径规划不同,智能体完成当前任务后会继续接收新的目标,因此系统长期持续运行。该类问题广泛存在于自动化仓储、智能工厂和物流分拣系统中。

2、现有技术主要包括基于搜索的路径规划方法和基于学习的路径规划方法。基于搜索的方法通过冲突搜索、优先级规划、局部重规划或启发式搜索获得无碰撞路径,在智能体规模较小时能够取得较高质量的规划结果,但随着智能体数量增加,搜索空间和在线计算开销显著增大。基于学习的方法通常采用集中训练、分布式执行框架,通过神经网络将智能体局部观测映射为动作概率,并结合邻域通信和执行协调模块完成在线决策。该类方法具有推理速度快、可扩展性较好等优势,适用于数百个甚至更多智能体的持续任务场景。

3、现有学习型多智能体路径规划方法一般基于固定局部视野获取障碍物、邻居智能体和目标方向等信息,并采用固定或近似固定的通信机制实现邻域信息共享。但仍存在以下缺点:

4、1. 局部交通状态缺乏显式建模。现有策略网络主要依据原始局部观测进行特征提取,难以直接区分正常高密度通行与可能形成拥堵传播的高协调压力状态,导致瓶颈区域中的等待、冲突和回退行为难以及时缓解。

5、2. 通信特征贡献缺乏自适应调节。现有方法通常以固定方式使用邻域通信信息,难以根据局部交通状态动态调节通信特征对策略输入的贡献,导致低压力状态下冗余通信特征仍被充分激活,而高压力状态下又可能缺少足够的邻域协调信息。

6、3. 奖励机制与通信机制相互独立。部分现有方案仅对奖励函数进行拥堵惩罚,或仅通过门控网络控制通信,两个模块缺乏统一状态信号,容易出现优化目标不一致,不能形成面向局部交通压力的协同调节。

7、4. 高密度结构化场景中的长期运输效率仍需提高。当大量智能体反复经过货架通道、交叉口和分拣工作站附近时,局部冲突会持续传播,造成吞吐量下降、累计等待增加以及冗余通信特征持续激活。

8、因此,如何提供一种基于局部交通压力感知的学习型多智能体路径规划方法,在保持分布式执行和轻量化网络结构的同时,提高高密度场景中的局部协调能力,是本领域技术人员亟须解决的问题。

技术实现思路

1、有鉴于此,本发明提供了一种基于局部交通压力感知的学习型多智能体路径规划方法,通过融合局部占据密度比和邻域运动活跃度构造局部交通压力,利用统一交通压力信号驱动奖励调节和选择性通信门控,使智能体能够根据不同区域的协调需求动态改变学习约束和通信特征贡献,减少高压力区域中的无效等待与局部冲突,抑制低压力状态下冗余通信特征的激活,并提高终身多智能体路径规划系统的长期任务吞吐效率。

2、为了实现上述目的,本发明采用如下技术方案:

3、一种基于局部交通压力感知的学习型多智能体路径规划方法,包括以下步骤:

4、s1、获取每个智能体的当前位置、目标位置、局部观测数据和通信观测数据,并进行预处理形成初始数据集;

5、s2、在基础学习型路径规划策略网络中增加局部交通压力计算单元、交通压力奖励调节单元和选择性通信门控单元,构建学习型多智能体路径规划模型,其中,交通压力奖励调节单元和选择性通信门控单元并行连接;

6、s3、将初始数据集输入局部交通压力计算单元中,计算获得各个智能体对应的局部交通压力;

7、s4、在训练阶段,通过交通压力奖励调节单元更新压力感知奖励,并通过选择性通信门控单元更新通信特征门控系数,对多智能体路径规划模型进行训练;在推理阶段,通过选择性通信门控单元根据局部交通压力更新通信特征门控系数,并利用训练后的多智能体路径规划模型进行推理;

8、s5、将待检测数据输入训练后的多智能体路径规划模型中,生成无碰撞可执行动作信号,智能体根据信号内容执行动作并更新智能体位置;

9、s6、将更新后的智能体位置作为新的输入数据,重复步骤s3-s5,实现多智能体在共享有限空间内持续无碰撞运动。

10、可选的,s3中计算局部交通压力由局部占据密度比和邻域运动活跃度加权融合得到,对应表达式为:

11、

12、其中,α和β为融合权重,满足、且,为智能体在局部观测区域的局部密度占比,为智能体在局部观测区域的邻域运动活跃度。

13、可选的,局部占据密度比用于描述智能体局部视野内由障碍物和其他智能体共同造成的空间占用程度,令智能体的局部观测区域为,有效网格总数为,其中被静态障碍物占据的网格数为,其他智能体占据的网格数为,则局部占据密度比可表示为:

14、;

15、邻域运动活跃度用于描述局部邻居智能体的运动活跃程度,智能体在时刻观测到的邻居智能体数量为,从时刻至发生位置变化的邻居智能体数量为,智能体在时刻的邻域运动活跃度表示为:

16、。

17、可选的,s4中通过交通压力奖励调节单元更新压力感知奖励包括:

18、设置压力触发阈值,结合局部交通压力和惩罚系数构造压力奖励;

19、将压力奖励与基础奖励叠加获得更新的压力感知奖励,对应表达式为:

20、。

21、可选的,s4中通过选择性通信门控单元更新通信特征门控系数包括:根据局部交通压力所属区间确定通信特征门控系数,对应表达式为:

22、,

23、其中,为第一压力阈值,为第二压力阈值,分别为低、中、高压力状态对应的预设通信特征门控系数取值,且满足。

24、可选的,s5中生成无碰撞可执行动作信号包括:

25、基于通信特征门控系数缩放通信观测形成缩放后的通信观测数据,与局部观测数据拼接形成门控观测;

26、训练阶段利用压力感知奖励对基础学习型路径规划策略网络进行策略优化;将门控观测输入基础学习型路径规划策略网络,生成多个智能体的动作提议;

27、利用基础学习型路径规划策略网络中原有的冲突消解流程处理多个智能体的动作提议,生成无碰撞可执行动作。

28、可选的,基于通信特征门控系数缩放通信观测,缩放过程中只调节通信特征在策略输入中的激活程度,不直接减少消息数量、通信带宽或通信边,形成的门控观测表达式为:

29、,

30、其中,为智能体在时刻的通信特征门控系数,为局部观测,为通信观测。

31、经由上述的技术方案可知,与现有技术相比,本发明提供了一种基于局部交通压力感知的学习型多智能体路径规划方法,具有以下有益效果:

32、1)本发明通过融合局部占据密度比和邻域运动活跃度,同时表征静态通行空间受限程度和动态交互需求,克服单一密度指标描述不充分的问题;

33、2)本发明统一交通压力信号同时驱动奖励调节与通信门控,使策略学习目标和通信特征贡献调节围绕相同的局部协调需求进行优化;在低压力状态下削弱通信特征对策略输入的贡献,在高压力状态下保留较充分的邻域通信特征,实现通信信息贡献程度的自适应调节,实现在不直接改变消息数量、通信带宽或通信连接关系的前提下抑制冗余通信特征激活;

34、3)本发明设置压力感知奖励能够降低策略长期处于低效高压力局部状态的倾向,并在warehouse等具有狭窄通道和持续瓶颈的场景中提高长期任务吞吐量,提高结构化高密度场景中的通行效率;

35、4)本发明在线执行仅增加局部压力计算和门控操作,不需要全局搜索,也无需显著修改基础策略网络,便于集成到现有学习型路径规划框架,保持分布式和轻量化特性;

36、5)本发明仅依赖局部观测和邻域通信,压力指标、阈值、通信档位和奖励系数均可根据地图结构、机器人密度和通信条件进行配置,适应不同硬件平台和业务场景,可适用于数百乃至更多移动智能体持续运行的仓储、物流和智能制造系统,具有良好的可扩展性和适用性。