一种无人机集群控制方法及系统与流程

本发明涉及人与无人机集群智能协同控制领域，特别是涉及一种基于语音人机交互的无人机集群控制方法及系统。

背景技术：

无人机集群相对单机作战，有无可取代的优势。由于反无人机系统和技术近些年来飞速的发展，对“低小慢”无人机的杀伤和拦截效果很好，杀伤概率提升非常快。面对反无人机系统，单机作战的无人机一旦被捕获，不仅会造成装备损失，也会对战术侦察任务造成巨大影响。而集群式无人机则不同，它构成一个任务编队，即便一架、两架无人机被防空系统或反无人机系统击落，集群内其它无人机也能成功执行侦察任务。而且与单兵侦察无人机相比，集群无人机具有编队侦察的优势，可以对更广阔的区域进行编队搜索，探测能力强于单架无人机；此外集群无人机还可以对某一区域进行反复多次地毯式搜索，避免单次搜索造成的侦察遗漏或错漏，进一步提高侦察成功率；而且，对于运动中的作战平台目标，单兵无人机往往难于跟踪监视，而对于集群无人机而言，对移动目标进行接力侦察跟踪是非常轻松的事；此外，多架无人机侦察同一个目标，可以从不同角度对同一目标有不同的观察，对目标的观察更为立体和细致，侦察效果更好，细节更为突出。

然而，与单兵无人机相比，“集群人机系统”在技术上难度更大，需要解决任务协同、智能编队等技术瓶颈，用更合理高效的方式完成无人机的自组队和对同一目标的协同探测，在人机交互方面也提出了更高要求。

目前，随着新兴人机交互技术的兴起，世界对各类基于语音、视觉、手势、复合体感的人机交互方式的研究都有了较大进展，而将各种交互方式用于无人机集群控制的研究则相对缺乏。

目前，语音人机交互技术已较为成熟，但在机器人集群控制方面研究并不多。现有的识别语音的方法有：基于动态时间规整的dtw算法、基于参数模型的隐马尔可夫模型hmm方法与基于卷积神经网络cnn与连续性时序分类方法ctc的asrt语音识别模型。但是现有的这些语音识别模型在时间延迟和切换拓扑同时存在的情况下，并不能有效将人类智能引入机器人集群协同控制系统，其存在集群系统对模糊与不确定性场景的适应性低的问题。

技术实现要素：

基于此，本发明提供了一种基于语音人机交互的无人机集群控制方法及系统，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

为实现上述目的，本发明提供了如下方案：

一种无人机集群控制方法，包括：

获取语音信号；

对所述语音信号进行预处理得到预处理后的语音信号；

采用asrt模型，根据所述预处理后的语音信号得到输出结果；

根据所述输出结果确定语音指令；

采用所述语音指令对所述无人机集群进行控制。

优选地，所述对所述语音信号进行预处理得到预处理后的语音信号，具体包括：

对所述语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号；所述处理后的语音信号即为预处理后的语音信号。

优选地，所述采用asrt模型，根据所述预处理后的语音信号得到输出结果，具体包括：

对所述预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号；

利用语音数据库对vgg卷积神经网络进行训练得到收敛模型；

采用所述收敛模型根据所述二维频谱图像信号得到输出结果。

优选地，所述根据所述输出结果确定语音指令，具体包括：

对所述输出结果使用ctc解码实现连续符号的合并，得到符号序列；

确定所述符号序列中概率最大的输出序列；所述概率最大的输出序列即为所述语音指令。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供的无人机集群控制方法，在对获取的语音信号进行预处理得到预处理后的语音信号后，采用asrt模型，根据预处理后的语音信号得到输出结果，然后，根据输出结果确定语音指令，最后采用语音指令对无人机集群进行控制，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

对应于上述提供的无人机集群控制方法，本发明还提供了以下系统结构：

一种无人机集群控制系统，包括：

语音信号获取模块，用于获取语音信号；

预处理模块，用于对所述语音信号进行预处理得到预处理后的语音信号；

输出结果确定模块，用于采用asrt模型，根据所述预处理后的语音信号得到输出结果；

语音指令确定模块，用于根据所述输出结果确定语音指令；

控制模块，用于采用所述语音指令对所述无人机集群进行控制。

优选地，所述预处理模块具体包括：

预处理单元，用于对所述语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号；所述处理后的语音信号即为预处理后的语音信号。

优选地，所述输出结果确定模块具体包括：

频谱图像单元，用于对所述预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号；

收敛模型确定单元，用于利用语音数据库对vgg卷积神经网络进行训练得到收敛模型；

输出结果确定单元，用于采用所述收敛模型根据所述二维频谱图像信号得到输出结果。

优选地，所述语音指令确定模块具体包括：

符号序列确定单元，用于对所述输出结果使用ctc解码实现连续符号的合并，得到符号序列；

语音指令确定确定单元，用于确定所述符号序列中概率最大的输出序列；所述概率最大的输出序列即为所述语音指令。

因本发明提供的无人机集群控制系统达到的技术效果与本发明提供的无人机集群控制方法达到的技术效果相同，故在此不再进行赘述。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的无人机集群控制方法的流程图；

图2为本发明提供的基于pyqt5与ros的人与无人机集群平台ui界面；

图3为本发明实施例提供的二维频谱图像示例图；

图4为本发明实施例提供的语音识别功能流程图；

图5为本发明提供的无人机集群控制系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于语音人机交互的无人机集群控制方法及系统，以在时间延迟和切换拓扑同时存在的情况下将人类智能引入机器人集群协同控制系统，提高集群系统对模糊与不确定性场景的适应性，实现具有人机交互机制的高安全编队控制。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

如图1所示，本发明提供的无人机集群控制方法，包括：

步骤100：获取语音信号。

步骤101：对语音信号进行预处理得到预处理后的语音信号。具体的，对语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号。处理后的语音信号即为预处理后的语音信号。分帧指将非平稳语音信号分为若干帧得到稳定信号进行处理。预加重指利用高通滤波器的方法加重语音信号中有用的高频信号。端点检测指通过双门限法识别输入语音的起始点与终止点。

步骤102：采用asrt模型，根据预处理后的语音信号得到输出结果。

步骤103：根据输出结果确定语音指令。

步骤104：采用语音指令对无人机集群进行控制。

为了提高对语音信号的处理精度，上述步骤102具体包括：

对预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号。具体的，将wav格式的语音信号进行分帧加窗等操作后进行特征提取，转换为二维频谱图像信号，即语谱图。

利用语音数据库对vgg卷积神经网络进行训练得到收敛模型。即使用vgg卷积神经网络作为项目的框架对频谱图像进行训练。

采用收敛模型根据二维频谱图像信号得到输出结果。

考虑到声音模型输出包含大量连续重复的符号，所以本发明上述步骤103具体包括：

对输出结果使用ctc解码实现连续符号的合并，得到符号序列。

确定符号序列中概率最大的输出序列。概率最大的输出序列即为语音指令。

下面以将本发明提供的上述无人机集群控制方法植入到便携式平板电脑中为例，对本发明提供的上述控制方法的优点进行说明。在具体应用过程中，本发明提供的无人机集群控制方法还可以植入到其他处理器中。

采用便携式平板电脑对无人机集群进行控制的过程为：

通过便携式平板电脑采集操作者的声音信号，经预处理之后，经由asrt模型识别处理之后得到拼音输出结果。将输出结果进行判断即可得到语音指令。最后将经语音识别后得到的指令通过ros网络发送至无人机集群，ros网络通信方式为利用话题对无人机集群发送指令，无人机集群响应指令并做出该指令所对应的行为。待无人机集群执行相应行为完毕后，返回完成响应至控制者。其中，主要是基于如图2所示的pyqt5与ros的人与无人机集群平台ui界面进行相关操作。

具体的，a、便携式平板电脑通过将采集的语音信号划分为若干帧，得到相对稳定的语音信号。接着将语音信号通过一个一阶高通滤波器，加重含有有用信息的高频信号分量。通过双门限法进行端点检测，得到输入语音的起始点与终止点。

b、将经预处理后的语音信息交由语音识别模型进行识别处理，具体操作流程如图4所示：

步骤201：对经预处理后的语音信号进行分帧加窗等操作进行特征提取，转换为二维频谱图像信号，频谱图像示例如图3所示。

步骤202：利用语音数据库，提前使用vgg卷积神经网络作为项目框架进行训练，将频谱信号输入至得到的收敛模型，得到输出结果。

步骤203：对输出结果，考虑道声音模型输出包含大量连续重复的负好，使用ctc解码实现对连续符号的合并，寻找得到输入符号序列中概率最大的输出序列，最终得到语音指令。

c、将经语音识别后得到的指令通过ros网络发送至无人机集群，ros网络通信方式为利用话题对无人机集群发送指令，无人机集群响应指令并做出该指令所对应的行为。待无人机集群执行相应行为完毕后，返回完成响应至控制者。该过程具体包括：

将步骤b的识别结果输出结果与无人机集群的行为集进行匹配，并将指令发送至无人机集群，从而实现通过语音识别对无人机集群进行控制，实现一种基于语音人机交互的无人机集群控制系统。

语音指令与无人机群系统控制命令对应关系为：“起飞”对应无人机集群起飞的笔画指令、“降落”对应无人机集群从空中降落至地面的指令、“向左”对应无人机集群相对当前位置在同一平面内向左平移、“向右”对应无人机集群相对当前位置在同一平面内向右平移、“前进”无人机集群相对当前位置在同一平面内向前平移、“长方形”对应无人机集群(本发明中为四架无人机组成的集群系统)形成长方形的阵型、“后退”对应无人机集群相对当前位置在同一平面内向后平移、“一字型”对应无人机集群在同一水平面内形成一直线、“三角形”对应无人机集群在同一水平面内形成一三角形。

待无人机集群完成编队运动后，将已完成信息发送至操作者，从而实现用户通过笔画交互对无人机集群进行控制。

对应于上述提供的无人机集群控制方法，本发明还提供了一种无人机集群控制系统，如图5所示，该无人机集群控制系统包括：语音信号获取模块1、预处理模块2、输出结果确定模块3、语音指令确定模块4和控制模块5。

其中，语音信号获取模块1用于获取语音信号。

预处理模块2用于对语音信号进行预处理得到预处理后的语音信号。

输出结果确定模块3用于采用asrt模型，根据预处理后的语音信号得到输出结果。

语音指令确定模块4用于根据输出结果确定语音指令。

控制模块5用于采用语音指令对无人机集群进行控制。

作为本发明的一个优选实施例，上述提供的预处理模块2具体包括：预处理单元。该预处理单元用于对语音信号进行分帧处理、预加重处理和端点检测处理得到处理后的语音信号。处理后的语音信号即为预处理后的语音信号。

作为本发明的另一个优选实施例，上述提供的输出结果确定模块3具体包括：频谱图像单元、收敛模型确定单元和输出结果确定单元。

其中，频谱图像单元用于对预处理后的语音信号进行特征提取，并将提取后的特征转换为二维频谱图像信号。

收敛模型确定单元用于利用语音数据库对vgg卷积神经网络进行训练得到收敛模型。

输出结果确定单元用于采用收敛模型根据二维频谱图像信号得到输出结果。

作为本发明的又一个优选实施例，上述提供的语音指令确定模块4具体包括：符号序列确定单元和语音指令确定确定单元。

其中，符号序列确定单元用于对输出结果使用ctc解码实现连续符号的合并，得到符号序列。

语音指令确定确定单元用于确定符号序列中概率最大的输出序列。概率最大的输出序列即为语音指令。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。