无人机集群的控制方法、装置、设备及介质

摘要: 本发明涉及无人机控制的,尤其涉及一种无人机集群的控制方法、装置、设备及介质。背景技术:1、随着无人机技术的快速发展,无人机集群控制成为当前研究的热点。传统的集群...
无人机集群的控制方法、装置、设备及介质

本发明涉及无人机控制的,尤其涉及一种无人机集群的控制方法、装置、设备及介质。

背景技术:

1、随着无人机技术的快速发展,无人机集群控制成为当前研究的热点。传统的集群控制系统主要依赖复杂的地面控制站和专业操作人员,由操作者分别向多架无人机发送低层控制指令。但交互负担随无人机数量增加而快速上升;其二,低层控制指令对操作者经验要求较高,非专业人员难以快速掌握。

2、为了降低控制难度并减轻交互通信的负担,其中一种常用的方法是:全自主控制方法。通常基于路径规划、强化学习、行为克隆等方式训练无人机集群的控制路径,再通过协同算法按照预先固定的控制路径同时控制无人机集群同步运动,以降低人工操作负担。

3、但采用上述的方法有如下技术问题:全自主控制方法只能根据预设固定路径移动,不但控制的灵活性低,难以适配不同环境(尤其在存在动态障碍物的环境),而且纯数据驱动策略在分布外环境中容易出现不可靠行为,导致任意一台或若干台无人机失控,引发安全事故,存在一定的安全风险。

技术实现思路

1、本发明提供了一种无人机集群的控制方法、装置、设备及介质,能够解决现有技术存在的一个或多个的技术问题。

2、本发明实施例的第一方面提供了一种无人机集群的控制方法,所述方法包括:

3、获取无人机集群的多源控制信息,其中,所述多源控制信息包括:无人机集群在当前时刻的状态信息、环境观测信息、手势图像和任务指令;

4、利用所述多源控制信息构建层级结构化记忆,并基于所述层级结构化记忆和所述多源控制信息确定无人机集群的融合动作序列,其中,所述融合动作序列包含若干个候选融合动作;

5、根据所述多源控制信息确定融合权重,并基于所述融合权重对所述融合动作序列进行调整,得到初始动作序列;

6、当所述初始动作序列通过安全校验后,根据所述初始动作序列控制无人机集群执行操作。

7、结合第一方面,在一种实现方式中,所述利用所述多源控制信息构建层级结构化记忆,并基于所述层级结构化记忆和所述多源控制信息确定无人机集群的融合动作序列,包括:

8、利用所述手势图像生成手势先验信息,以及,利用所述环境观测信息和所述任务指令生成视觉动作先验信息;

9、采用所述手势先验信息、所述视觉动作先验信息和所述多源控制信息构建层级结构化记忆,其中,所述层级结构化记忆包括不同指令时长的控制结构记忆;

10、基于扩散式共享自主策略采用所述手势先验信息、所述视觉动作先验信息、所述层级结构化记忆和所述多源控制信息确定无人机集群的融合动作序列。

11、结合第一方面,在一种实现方式中,所述利用所述手势图像生成手势先验信息,包括:

12、对所述手势图像进行关键点检测得到手部关键点集合,利用所述手部关键点集合确定手势控制语义;

13、通过滑动窗口稳定滤波对连续帧的所述手势控制语义进行时序平滑,并统计相同所述手势控制语义的手势数量;

14、当所述手势数量大于第一预设数量时,生成所述手势控制语义对应的手势指令并确定手势参数,得到手势先验信息。

15、结合第一方面,在一种实现方式中,所述利用所述环境观测信息和所述任务指令生成视觉动作先验信息,包括:

16、利用视觉编码器和预设目标检测模型分别从所述环境观测信息提取视觉特征和场景图特征;

17、利用文本模型从所述任务指令提取文本特征,融合所述文本特征、所述视觉特征和所述场景图特征,得到视觉动作先验信息。

18、结合第一方面,在一种实现方式中,所述基于扩散式共享自主策略采用所述层级结构化记忆和所述多源控制信息生成无人机集群的融合动作序列,包括:

19、分别从所述手势先验信息、所述视觉动作先验信息、所述层级结构化记忆和所述多源控制信息提取对应的特征参数,得到若干项不同的条件特征;

20、融合若干项所述条件特征得到融合条件向量,基于所述融合条件向量对预设高斯噪声动作序列进行去噪处理,得到无人机集群的融合动作序列;

21、其中,所述预设高斯噪声动作序列是在预设动作空间内生成的动作序列,或者,是将所述状态信息的机器动作和所述手势图像的手势动作组合后添加预设强度噪声的动作序列。

22、结合第一方面,在一种实现方式中,所述根据所述多源控制信息确定融合权重,并基于所述融合权重对所述融合动作序列进行调整,得到初始动作序列,包括:

23、根据所述多源控制信息确定信息参数,其中,所述信息参数包括:手势识别置信度值、视觉语言模型置信度值、任务进度值、环境风险值、障碍物密度值、无人机间距值、通信状态、动态可行性或紧急干预信号中的至少一种;

24、基于所述信息参数对预设共享自主权重进行调整,得到融合权重;

25、根据所述融合权重的数值大小对所述融合动作序列的若干个候选融合动作进行排序调整,得到初始动作序列。

26、结合第一方面,在一种实现方式中,所述当所述初始动作序列通过安全校验后,根据所述初始动作序列控制无人机集群执行操作,包括:

27、对所述初始动作序列进行安全校验,其中,所述安全校验包括:安全约束校验和动力学校正校验;

28、若所述安全约束校验和所述动力学校正校验均通过时,确定所述初始动作序列完成安全校验;

29、基于所述信息参数或者所述安全校验的校验项目从所述初始动作序列筛选目标控制动作;

30、将所述目标控制动作发送至无人机集群,以供无人机集群根据所述目标控制动作执行对应的动作。

31、本发明实施例的第二方面提供了一种无人机集群的控制装置,所述装置包括:

32、获取模块,用于获取无人机集群的多源控制信息,其中,所述多源控制信息包括:无人机集群在当前时刻的状态信息、环境观测信息、手势图像和任务指令;

33、确定模块,用于利用所述多源控制信息构建层级结构化记忆,并基于所述层级结构化记忆和所述多源控制信息确定无人机集群的融合动作序列,其中,所述融合动作序列包含若干个候选融合动作;

34、调整模块,用于根据所述多源控制信息确定融合权重,并基于所述融合权重对所述融合动作序列进行调整,得到初始动作序列;

35、控制模块,用于当所述初始动作序列通过安全校验后,根据所述初始动作序列控制无人机集群执行操作。

36、结合第二方面,在一种实现方式中,所述利用所述多源控制信息构建层级结构化记忆,并基于所述层级结构化记忆和所述多源控制信息确定无人机集群的融合动作序列,包括:

37、利用所述手势图像生成手势先验信息,以及,利用所述环境观测信息和所述任务指令生成视觉动作先验信息;

38、采用所述手势先验信息、所述视觉动作先验信息和所述多源控制信息构建层级结构化记忆,其中,所述层级结构化记忆包括不同指令时长的控制结构记忆;

39、基于扩散式共享自主策略采用所述手势先验信息、所述视觉动作先验信息、所述层级结构化记忆和所述多源控制信息确定无人机集群的融合动作序列。

40、结合第二方面,在一种实现方式中,所述利用所述手势图像生成手势先验信息,包括:

41、对所述手势图像进行关键点检测得到手部关键点集合,利用所述手部关键点集合确定手势控制语义;

42、通过滑动窗口稳定滤波对连续帧的所述手势控制语义进行时序平滑,并统计相同所述手势控制语义的手势数量;

43、当所述手势数量大于第一预设数量时,生成所述手势控制语义对应的手势指令并确定手势参数,得到手势先验信息。

44、结合第二方面,在一种实现方式中,所述利用所述环境观测信息和所述任务指令生成视觉动作先验信息,包括:

45、利用视觉编码器和预设目标检测模型分别从所述环境观测信息提取视觉特征和场景图特征;

46、利用文本模型从所述任务指令提取文本特征,融合所述文本特征、所述视觉特征和所述场景图特征,得到视觉动作先验信息。

47、结合第二方面,在一种实现方式中,所述基于扩散式共享自主策略采用所述层级结构化记忆和所述多源控制信息生成无人机集群的融合动作序列,包括:

48、分别从所述手势先验信息、所述视觉动作先验信息、所述层级结构化记忆和所述多源控制信息提取对应的特征参数,得到若干项不同的条件特征;

49、融合若干项所述条件特征得到融合条件向量,基于所述融合条件向量对预设高斯噪声动作序列进行去噪处理,得到无人机集群的融合动作序列;

50、其中,所述预设高斯噪声动作序列是在预设动作空间内生成的动作序列,或者,是将所述状态信息的机器动作和所述手势图像的手势动作组合后添加预设强度噪声的动作序列。

51、结合第二方面,在一种实现方式中,所述根据所述多源控制信息确定融合权重,并基于所述融合权重对所述融合动作序列进行调整,得到初始动作序列,包括:

52、根据所述多源控制信息确定信息参数,其中,所述信息参数包括:手势识别置信度值、视觉语言模型置信度值、任务进度值、环境风险值、障碍物密度值、无人机间距值、通信状态、动态可行性或紧急干预信号中的至少一种;

53、基于所述信息参数对预设共享自主权重进行调整,得到融合权重;

54、根据所述融合权重的数值大小对所述融合动作序列的若干个候选融合动作进行排序调整,得到初始动作序列。

55、结合第二方面,在一种实现方式中,所述当所述初始动作序列通过安全校验后,根据所述初始动作序列控制无人机集群执行操作,包括:

56、对所述初始动作序列进行安全校验,其中,所述安全校验包括:安全约束校验和动力学校正校验;

57、若所述安全约束校验和所述动力学校正校验均通过时,确定所述初始动作序列完成安全校验;

58、基于所述信息参数或者所述安全校验的校验项目从所述初始动作序列筛选目标控制动作;

59、将所述目标控制动作发送至无人机集群,以供无人机集群根据所述目标控制动作执行对应的动作。

60、相比于现有技术,本发明实施例提供的一种无人机集群的控制方法、装置、设备及介质,其有益效果在于:本发明可以获取无人机集群的多源控制信息,多源控制信息包括:无人机集群在当前时刻的状态信息、环境观测信息、手势图像和任务指令;利用多源控制信息构建层级结构化记忆,并基于层级结构化记忆和多源控制信息确定无人机集群的融合动作序列;根据多源控制信息确定融合权重,并基于融合权重对融合动作序列进行调整,得到初始动作序列;当初始动作序列通过安全校验后,根据初始动作序列控制无人机集群执行操作。本发明可以获取无人机状态、环境、用户控制手势及任务指令等不同的控制信息,基于不同的控制信息构建无人机的动作序列,再根据动作序列对无人机集群进行不同动作的控制,一方面根据实际应用环境进行控制,在适配控制环境的情况下提升控制的灵活性,而且可以避免纯数据驱动,避免因纯数据驱动策略而出现不可靠行为的概率,降低失控和安全事故的概率,提升控制的安全性。