关系解耦双图推理与掩码价值差整形的多机器人导航方法

摘要: 本发明属于机器人导航与多智能体强化学习,具体涉及关系解耦双图推理与掩码价值差整形的多机器人导航方法。背景技术:1、现有多机器人导航方案主要分为几何规则类、共享关...
关系解耦双图推理与掩码价值差整形的多机器人导航方法

本发明属于机器人导航与多智能体强化学习,具体涉及关系解耦双图推理与掩码价值差整形的多机器人导航方法。

背景技术:

1、现有多机器人导航方案主要分为几何规则类、共享关系图学习类和信用分解类。几何规则类方法利用互惠速度障碍约束快速生成局部可行速度,计算开销低、可解释性强,但其决策仅依赖瞬时几何关系,无法利用历史观测和长期意图进行多步优化,在窄通道、交叉口和密集动态场景中团队成功率低。共享关系图学习类方法通常把机器人和动态障碍物作为同一图中的节点进行注意力聚合,协调与避障共用实体选择、特征编码、注意力参数和归一化域;由于两类交互的控制语义不对称,新增高风险障碍物会改变全局归一化权重,进而机械性抑制对其他机器人的协调注意力,导致特征混杂、归因困难。信用分解与反事实类方法虽然能够提供个体信用信号,但多数需要离散动作空间或枚举联盟,在连续控制和大规模团队中计算成本过高;mappo等共享价值方法虽计算简单,却难以反映单个机器人对联合状态价值的边际影响。此外,现有图增强策略在训练初期容易扰动循环骨干,训练与部署命令路径不一致,且普遍缺少对个体延迟公平性的显式建模,难以满足实际场景对团队成功率、碰撞率和实时性的综合要求。

技术实现思路

1、针对上述技术问题,本发明提供关系解耦双图推理与掩码价值差整形的多机器人导航方法,旨在以控制语义为边界,将机器人间协调与机器人-障碍物避障分别构造为互不共享实体选择、特征编码、注意力参数和归一化域的两条图推理分支,避免两类交互在表征阶段相互干扰;利用集中式价值网络对完整联合状态和机器人掩码状态的价值差构造有界整形奖励,解决共享奖励下的信用模糊问题;通过门控残差融合将关系表示接入循环策略网络,并用滚动子目标引导、确定性安全过滤和课程化训练保证长期意图、安全性与训练稳定性。

2、为实现上述技术目的,本发明提供如下技术方案:

3、建立集中训练-分散执行的多智能体连续控制框架:配置多机器人参数共享的循环策略网络,设置仅在训练阶段使用的集中式价值网络;建立各机器人的运动学模型;

4、在每个控制周期,各机器人获取局部观测信息,包括:非静态状态信息、静态环境占用信息、全局机器人共享状态信息;所述非静态状态信息包括自身运动状态信息、邻近机器人状态信息、动态障碍物状态信息及身份标识信息;基于全局路径规划算法生成引导各机器人运动的滚动子目标,根据滚动子目标中的方向和距离信息构建引导信息,纳入非静态状态信息;

5、进行关系解耦的双图推理:所述双图推理分为协调分支和避障分支;从各机器人的局部观测信息中根据优先级筛选出个邻近机器人状态信息,根据风险评分筛选出个动态障碍物状态信息;将个邻近机器人状态信息输入协调分支,个动态障碍物状态信息输入避障分支,经特征编码器和图注意力网络,分别输出各机器人的协调关系特征与避障关系特征;

6、将协调关系特征与避障关系特征投影至循环策略网络的骨干网络的隐藏维度,经激活函数、拼接及融合层映射得到图融合特征;基于图融合特征和骨干网络的隐藏状态进行门控残差叠加,输出策略特征;策略头将所述策略特征映射为连续动作,生成各机器人的原始速度指令;

7、在集中训练阶段,进行掩码价值差整形:将所有机器人的非静态状态信息拼接为完整联合状态,输入集中式价值网络,得到完整联合状态价值;将完整联合状态中任一机器人的非静态状态信息置零,得到掩码联合状态,输入集中式价值网络,得到掩码联合状态价值;根据完整联合状态价值与各掩码联合状态价值的差值,生成各机器人对联合状态价值的个体贡献度,将个体贡献度叠加至各机器人的基础奖励上,形成整形奖励;基于整形奖励更新循环策略网络;

8、在分散执行阶段,利用训练好的循环策略网络生成各机器人的原始速度指令,对原始速度指令进行确定性安全过滤后,输出最终速度指令,完成多机器人动态导航。

9、进一步地,所述基于全局路径规划算法生成引导各机器人运动的滚动子目标,根据滚动子目标中的方向和距离信息构建引导信息具体为:

10、基于静态地图,通过全局规划算法生成全局参考路径;在每个控制周期,将机器人当前位姿投影至全局参考路径上,更新弧长进度;

11、当检测到局部阻塞、停滞或弧长进度不足时,判断是否处于重规划冷却期;若不处于重规划冷却期,则触发重规划,在静态地图上标记临时动态阻塞区,并更新全局参考路径;若仍处于重规划冷却期,则不执行重规划;

12、不论是否重规划,都进行滚动子目标选取:根据弧长选取近端滚动目标与远端引导目标,其中近端滚动目标的前瞻距离随前方通道净空和航向偏差自适应调整,远端引导目标的前瞻距离为固定值;所述弧长为沿全局参考路径从当前位姿投影点向前量取的路径长度,所述前瞻距离为当前位姿投影点到对应目标的弧长;根据路径曲率、侧向净空,融合近端滚动目标与远端引导目标的方向,得到候选滚动子目标的方向,再以近端滚动目标的前瞻距离作为候选滚动子目标的前瞻距离,确定候选子目标;

13、若候选滚动子目标被局部障碍物阻塞,则触发绕行,按照预设的前向增益和侧向增益生成绕行目标,以绕行目标作为最终滚动子目标;若未被阻塞,则以候选滚动子目标作为最终滚动子目标;

14、构建引导信息,所述引导信息包括所述最终滚动子目标相对于当前机器人位姿的航向正弦、航向余弦、归一化距离,以及最终目标相对于当前机器人位姿的航向正弦、航向余弦、归一化距离。

15、进一步地,所述从各机器人的局部观测信息中根据优先级筛选出个邻近机器人状态信息,根据风险评分筛选出个动态障碍物状态信息具体为:

16、根据当前机器人与邻近机器人间的相对距离、对向运动程度和让行需求计算优先级;筛选出优先级最高的个邻近机器人状态信息;所述邻近机器人为当前机器人能够通过lidar直接观测到并关联跟踪的机器人;

17、计算当前机器人与各动态障碍物之间的近距离风险、预测净空风险、穿越风险和最小碰撞时间风险,从中选取最大的那项风险作为各动态障碍物的风险评分;选择风险评分最高的个动态障碍物状态信息。

18、进一步地,所述将个邻近机器人状态信息输入协调分支,个动态障碍物状态信息输入避障分支,经特征编码器和图注意力网络,分别输出协调关系特征与避障关系特征具体为:

19、在任一分支中:对于任一机器人,将其自身运动状态信息输入特征编码器,得到目标节点特征,将其邻近机器人状态信息或动态障碍物状态信息输入特征编码器,得到邻居节点特征;

20、再将目标节点特征和邻居节点特征输入两层图注意力网络:

21、第一层采用多头图注意力编码器,每个注意力头使用独立可学习的线性变换矩阵和参数向量,对节点特征计算带风险偏置的注意力对数;对于协调分支,所述风险偏置为优先级与预设权重的乘积,对于避障分支,所述风险偏置为复合风险与预设权重的乘积,所述复合风险为当前机器人与各动态障碍物之间的近距离风险、预测净空风险及穿越风险的加权和;在分支保留的邻居集合内对注意力对数进行softmax归一化,得到注意力权重,再基于注意力权重对目标节点特征进行邻域加权聚合,输出该注意力头对应的中间聚合特征;将各头输出的中间聚合特征进行拼接,得到拼接融合特征;

22、第二层采用单头图注意力编码器,以拼接融合特征替换目标节点特征,与邻居节点特征采用与多头图注意力编码器相同的方式重新计算注意力对数和邻域加权聚合,最终输出该机器人的协调关系特征或避障关系特征;

23、遍历所有机器人,得到各机器人的协调关系特征与避障关系特征。

24、进一步地,所述基于图融合特征和骨干网络的隐藏状态进行门控残差叠加,输出策略特征具体为:

25、将图融合特征与隐藏状态拼接后,通过门控网络计算向量门控值,门控偏置初始化为负值;将图融合特征经线性变换后生成图修正量,使用向量门控值调制图修正量后,与隐藏状态相加,再经层归一化输出策略特征。

26、进一步地,所述根据完整联合状态价值与各掩码联合状态价值的差值,生成各机器人对联合状态价值的个体贡献度,将个体贡献度叠加至各机器人的基础奖励上,形成整形奖励具体为:

27、将完整联合状态价值与各机器人的掩码联合状态价值的差值经停止梯度处理,得到各机器人对联合状态价值的个体贡献度;

28、在一个训练批次内,对各机器人的个体贡献度进行批量标准化,并限幅至预设区间内,再乘以缩放系数与各机器人的基础奖励相加,得到整形奖励;所述基础奖励由个体奖励和团队平均奖励加权求和得到,所述个体奖励包含进度奖励、静态测距奖励、最小碰撞时间奖励、到达目标奖励、碰撞惩罚和时间成本;所述团队平均奖励为场景内所有机器人个体奖励的算术平均值。

29、进一步地,在集中训练阶段,还采用课程化训练与密度自适应策略,具体为:

30、设置多阶段课程训练策略:将整个集中训练阶段划分为不同的子阶段,在具有不同复杂度的场景下依次训练,并在子阶段间逐步提高机器人数量与动态障碍物密度;

31、根据交互密度因子自适应调整碰撞惩罚强度和团队平均奖励权重,所述交互密度因子由当前机器人数量与预设的基准机器人数量之比确定;

32、训练过程中采用部分完成协议:机器人到达目标或发生碰撞后进入完成状态并重置骨干网络的循环状态;当活跃机器人数量低于预设的活跃下限或失败机器人数量超过预设的允许失败上限时提前终止当前回合;集中训练阶段也进行确定性安全过滤。

33、进一步地,在集中训练阶段,还进行延迟感知的公平性优化,具体为:

34、在线估计每台机器人的个体延迟,所述个体延迟为该机器人在当前团队中的实际到达时间与其在孤立条件下由价值网络推断的基准到达时间之差;

35、将个体延迟作为额外的优先级信息注入协调分支的带风险偏置中,参与注意力对数的计算;

36、在整形奖励之外添加公平性惩罚项组成总奖励,所述公平性惩罚项为个体延迟与团队平均延迟的绝对差值与公平性惩罚系数的乘积,所述公平性惩罚系数随着训练进程的推进而调节。

37、进一步地,所述对原始速度指令进行确定性安全过滤后,输出最终速度指令具体为:

38、在分散执行阶段,将循环策略网络输出的连续线速度指令和角速度指令作为原始速度指令;设置安全约束,包括:线速度约束范围、角速度约束范围、机器人-机器人间最小间距、机器人-动态障碍物间最小间距、机器人-静态环境最小间距;最小间距用于判断机器人执行速度指令是否会发生碰撞;基于安全约束进行确定性安全过滤:

39、若原始速度指令在约束范围内,且机器人执行原始速度指令能通过碰撞检测,则将原始速度指令作为最终速度指令;

40、若原始速度指令未在约束范围内或机器人执行原始速度指令不能通过碰撞检测,则对原始速度指令进行截断处理得到候选速度指令,或在原始速度指令附近生成满足安全约束的候选速度指令,在候选速度指令中选择干预量最少的作为最终速度指令;所述干预量根据候选速度指令与原始指令间的差值得到。

41、此外,本发明还公开关系解耦双图推理与掩码价值差整形的多机器人导航系统,该系统用于执行如上所述的方法,其具体包括:

42、局部观测构建模块,用于获取各机器人的局部观测信息;

43、滚动子目标引导模块,用于生成引导各机器人运动的滚动子目标,并将其纳入局部观测信息;

44、双图推理模块,包含独立并行的协调分支和避障分支,用于对局部观测信息进行关系解耦的双图推理,输出协调关系特征与避障关系特征;

45、循环策略网络,用于对局部观测信息、协调关系特征、避障关系特征进行门控残差融合,根据融合后的特征生成各机器人的原始速度指令;

46、集中式价值网络和掩码状态价值差整形模块,仅训练阶段启用,用于根据完整联合状态价值与掩码联合状态价值的差值生成个体贡献度,并叠加至基础奖励以更新策略网络;

47、确定性安全过滤模块,用于在分散执行阶段对原始速度指令进行安全过滤后输出最终速度指令。

48、基于上述技术方案,本发明至少具有以下有益效果:

49、通过关系解耦的双图推理,对机器人间的协调关系与机器人-动态障碍物之间的避让关系进行独立建模,任一分支的注意力权重不受另一分支实体数量变化的影响,避免高风险障碍物对机器人间协调注意力的机械性抑制;

50、利用集中式价值网络对完整联合状态与掩码状态的价值差进行标准化、限幅并以固定缩放系数注入奖励,为每台机器人提供有界的个体贡献敏感度信号;该机制仅在训练阶段启用,不增加执行期计算和通信开销,解决了共享奖励下的信用模糊问题;

51、门控残差融合降低了训练初期的不稳定性,使循环策略网络在低风险场景保持主导、在高风险场景引入关系修正,将图推理结果作为循环状态的残差校正而非替代,降低了图增强策略对循环策略网络的初期扰动,提升了训练稳定性;

52、在训练阶段即启用确定性安全过滤,使策略网络在与分散执行阶段一致的命令输出路径下优化,避免了常规方法中“训练无过滤、执行加过滤”导致的分布偏移问题,显著降低了分散执行阶段的碰撞率;

53、总体来说,本发明所提出方法在多机器人动态导航场景中拥有更高的团队成功率、更低的碰撞率,同时计算复杂度和参数量相较于现有方法也更低,单步处理能够在满足实时控制要求的前提下,不增加分散执行阶段的计算和通信开销。