基于正交混合专家的自主探索路径规划方法及装置
本发明属于路径规划,具体是涉及到一种基于正交混合专家的自主探索路径规划方法及装置。
背景技术:
1、机器人自主探索技术被广泛应用于存在未知且充满危险的实际场景中。在自然灾害(如地震、洪水)、工业事故(如化工厂泄漏)或城市搜救场景中,迅速理解并导航未知的、非结构化的环境是开展有效救援、降低人员伤亡的首要前提。自主探索任务是指机器人通过自身所携带的传感器(如雷达)感知环境,并根据所处的环境进行自主的运动决策,以期在最短的时间或者最短的路径长度下完成对整个环境的高效覆盖与地图构建。
2、让机器人具备对环境结构进行隐式推理的能力,需要对环境结构进行充分的感知。然而,现有深度强化学习(deep reinforcement learning,drl) 方法大多采用单一的网络模型来学习环境表示,这存在表示容量有限和表征多样性不足的问题。在复杂的多类型场景下,现有技术中的感知网络难以捕捉并学习到环境中的多样化特征,从而导致所学的策略难以很好适配差异性较大的不同环境,进而影响在多种场景下的探索效率。
技术实现思路
1、本发明要解决的技术问题是现有技术中的感知网络难以捕捉并学习到环境中的多样化特征,从而导致所学的策略难以很好适配差异性较大的不同环境,进而影响在多种场景下的探索效率,为了解决上述问题,本发明提供一种基于正交混合专家的自主探索路径规划方法及装置。
2、本发明的内容包括:
3、第一方面,本发明实施例提供了一种基于正交混合专家的自主探索路径规划方法,包括:
4、将机器人在待探索环境中的自主探索路径规划问题建模为部分可观测马尔可夫决策过程,所述待探索环境由互斥的自由空间和障碍物空间构成;
5、在每一个时刻,利用策略网络确定机器人在下一个时刻到达的节点,直至机器人将所述待探索环境全部探索完成,所述策略网络包括编码器模块和专家决策模块,所述专家决策模块包括k个独立的专家网络,k为正整数;
6、其中,在时刻t,利用所述策略网络确定机器人在时刻t+1到达的节点,包括:
7、获取时刻t的信息拓扑图,所述信息拓扑图中包括从已探索的自由空间中均匀采样的节点,所述信息拓扑图中的边用于连接在物理空间上相邻且视线可达的节点对,t为正整数;
8、将所述信息拓扑图输入所述编码器模块进行编码处理,得到目标节点的全局增强特征,所述目标节点为机器人在时刻t所处的节点;
9、将所述全局增强特征分别输入k个所述专家网络进行处理,得到每一个所述专家网络输出的专家输出向量;
10、基于k个所述专家输出向量计算专家综合输出向量;
11、将与所述专家综合输出向量的相似度最高的邻居节点确定为机器人在时刻t+1到达的节点,所述邻居节点为与所述目标节点相连且位于机器人的可见范围内的节点。
12、可选地,所述基于k个所述专家输出向量计算专家综合输出向量,包括:
13、对k个所述专家输出向量施加硬正交约束,将k个所述专家输出向量转换为k个正交基;
14、利用门控网络,基于所述全局增强特征计算每一个所述正交基的权重;
15、基于所述权重对k个所述正交基进行加权求和,得到所述专家综合输出向量。
16、可选地,k个所述正交基为:
17、;
18、;
19、其中,表示向量内积,为第i个专家网络对应的专家输出向量,为第i个正交基,为第j个正交基,为第k个正交基。
20、可选地,所述正交基的权重为:
21、;
22、其中,为组合权重,,用于表示转置,为第k个正交基的权重,为所述全局增强特征,用于表征所述门控网络,用于表征softmax函数。
23、可选地,所述编码器模块包括图注意力模块和lstm网络,所述将所述信息拓扑图输入所述编码器模块进行编码处理,得到目标节点的全局增强特征,包括:
24、将所述信息拓扑图输入所述图注意力模块进行特征聚合处理,得到所述目标节点的全局特征向量;
25、将机器人已访问的节点按时间顺序排序,得到节点序列;
26、将所述节点序列输入所述lstm网络进行编码处理,得到历史特征向量;
27、将所述历史特征向量和所述全局特征向量进行融合,得到所述目标节点的全局增强特征。
28、可选地,所述将所述信息拓扑图输入所述图注意力模块进行特征聚合处理,得到所述目标节点的全局特征向量,包括:
29、基于所述信息拓扑图确定每个节点的初始特征向量;
30、利用多头注意力机制,基于所述初始特征向量进行特征聚合处理,得到每个所述节点的融合特征向量;
31、将所述目标节点的融合特征向量作为查询,以特征矩阵作为键和值,进行全局注意力计算,得到注意力分数,所述特征矩阵包括所有所述节点的融合特征向量;
32、基于所述注意力分数对所有值向量进行加权求和,得到所述目标节点的全局特征向量。
33、可选地,所述基于所述信息拓扑图确定每个节点的初始特征向量,包括:
34、通过线性投影层将所述节点的原始特征向量映射为所述初始特征向量;
35、其中,所述节点的原始特征向量包括:
36、坐标信息,所述坐标信息用于描述所述节点的位置;
37、前沿点数量,所述前沿点数量用于表征与所述节点相连并位于机器人的可见范围内的节点的数量;
38、访问标识,所述访问标识用于表征所述节点是否曾被机器人访问过。
39、第二方面,本发明实施例提供了一种基于正交混合专家的自主探索路径规划装置,包括:
40、建模模块,用于将机器人在待探索环境中的自主探索路径规划问题建模为部分可观测马尔可夫决策过程,所述待探索环境由互斥的自由空间和障碍物空间构成;
41、执行模块,用于在每一个时刻,利用策略网络确定机器人在下一个时刻到达的节点,直至机器人将所述待探索环境全部探索完成,所述策略网络包括编码器模块和专家决策模块,所述专家决策模块包括k个独立的专家网络,k为正整数;
42、其中,在时刻t,利用所述策略网络确定机器人在时刻t+1到达的节点,包括:
43、获取时刻t的信息拓扑图,所述信息拓扑图中包括从已探索的自由空间中均匀采样的节点,所述信息拓扑图中的边用于连接在物理空间上相邻且视线可达的节点对,t为正整数;
44、将所述信息拓扑图输入所述编码器模块进行编码处理,得到目标节点的全局增强特征,所述目标节点为机器人在时刻t所处的节点;
45、将所述全局增强特征分别输入k个所述专家网络进行处理,得到每一个所述专家网络输出的专家输出向量;
46、基于k个所述专家输出向量计算专家综合输出向量;
47、将与所述专家综合输出向量的相似度最高的邻居节点确定为机器人在时刻t+1到达的节点,所述邻居节点为与所述目标节点相连且位于机器人的可见范围内的节点。
48、第三方面,本发明实施例提供一种电子设备,包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序;所述处理器,用于读取存储器中的程序实现如第一方面所述的基于正交混合专家的自主探索路径规划方法中的步骤。
49、第四方面,本发明实施例提供一种可读存储介质,用于存储程序,所述程序被处理器执行时实现如第一方面所述的基于正交混合专家的自主探索路径规划方法中的步骤。
50、本发明的有益效果是,在本发明实施例中,通过设置k个独立的专家网络,每个专家网络可以专注于学习一种特定的探索策略或行为模式,避免了单一网络在拟合复杂多目标策略时的冲突和混淆,使得模型能够同时兼顾多种探索维度。同时,当环境发生变化或遇到未见过的场景时,单一策略容易失效。而基于k个专家输出向量计算出的专家综合输出向量,实际上是一种加权融合或投票机制。这意味着即使某个专家在特定场景下给出了次优建议,其他专家的意见也能通过综合计算进行修正。这种机制显著降低了决策的方差,防止机器人陷入局部最优,提高了机器人在复杂未知环境中的生存和探索能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com