无人机控制方法、装置及计算机可读存储介质与流程

1.本技术涉及但不限于计算机领域，尤其是涉及一种无人机控制方法、装置及计算机可读存储介质。


背景技术：

2.随着多轴无人机的快速普及，无人机射击游戏逐渐被人们广泛地关注，当前的无人机的控制方式都是采用遥控器、手柄或者智能终端，通过按钮等操作来向无人机发送控制指令，其控制效率较低。


技术实现要素：

3.本技术旨在至少解决现有技术中存在的技术问题之一。为此，本技术提出一种无人机控制方法、装置及计算机可读存储介质，能够提高无人机的控制效率。
4.本技术第一方面实施例提供一种无人机控制方法，包括：获取摄像机模块采集到的初始手势图像；对所述初始手势图像进行预处理，得到目标手势图像；根据预设的神经网络模型对所述目标手势图像进行识别，得到控制信息；根据所述控制信息对无人机进行控制。
5.根据本技术实施例的无人机控制方法，至少具有如下技术效果：本技术提供的无人机控制方法，通过摄像机模块采集初始手势图像，对初始手势图像进行预处理得到目标手势图像，进而根据预设的神经网络模型对所述目标手势图像进行识别，得到控制信息从而实现了对无人机进行控制，提高了无人机的控制效率。
6.根据本技术的一些实施例，所述对所述初始手势图像进行预处理，得到目标手势图像，包括：对所述初始手势图像进行标记处理，得到第一子目标图像。
7.根据本技术的一些实施例，在所述“对所述初始手势图像进行标记处理，得到第一子目标图像”之后，所述对所述初始手势图像进行预处理，得到目标手势图像，还包括：对所述第一子目标图像进行填充处理，得到第二子目标图像。
8.根据本技术的一些实施例，在所述“对所述第一子目标图像进行填充处理，得到第二子目标图像”之后，所述对所述初始手势图像进行预处理，得到目标手势图像，还包括：对所述第二子目标图像进行数据增强处理，得到所述目标手势图像。
9.根据本技术的一些实施例，所述方法还包括：构建所述神经网络模型，具体包括：获取初始神经网络模型；获取所述初始神经网络模型的训练参数，所述训练参数至少包括需冻结训练参数；根据所述需冻结训练参数对所述初始神经网络模型进行冻结处理，得到第一子神经网络模型；根据所述第一子神经网络模型对所述初始神经网络模型进行训练，得到所述神经网络模型。
10.根据本技术的一些实施例，所述根据预设的神经网络模型对所述目标手势图像进行识别，得到控制信息，包括：获取非极大值抑制阈值；对所述目标手势图像进行识别，得到所述目标手势图像的置信度信息；所述置信度信息至少包括第一置信度信息、第二置信度
信息；根据所述非极大值抑制阈值、所述第一置信度信息、所述第二置信度信息得到所述控制信息。
11.根据本技术的一些实施例，所述无人机控制方法还包括：获取语音模块采集到的语音信息；对语音信息进行识别，得到所述控制信息。
12.本技术第二方面实施例提供了一种无人机控制装置，包括：图像获取模块，用于获取摄像机模块采集到的初始手势图像；预处理模块，用于对所述初始手势图像进行预处理，得到目标手势图像；识别模块，用于根据预设的神经网络模型对所述目标手势图像进行识别，得到控制信息；控制模块，用于根据所述控制信息对无人机进行控制。
13.本技术第三方面实施例提供了一种无人机控制装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现：本技术上述第一方面实施例的无人机控制方法。
14.根据本技术第四方面实施例的计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于：执行上述第一方面实施例所述的无人机控制方法。
15.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过申请的实践了解到。
附图说明
16.下面结合附图和实施例对本技术做进一步的说明，其中：
17.图1是本技术一个实施例提供的无人机控制方法的流程图；
18.图2是图1中的步骤s120在一实施例的流程图；
19.图3是本技术另一个实施例提供的无人机控制方法的流程图；
20.图4是图1中的步骤s130的流程图；
21.图5是本技术另一个实施例提供的无人机控制方法的流程图。
具体实施方式
22.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本技术，而不能理解为对本技术的限制。
23.在本技术的描述中，若干的含义是一个以上，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
24.本技术的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本技术中的具体含义。
25.本技术的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点
可以在任何的一个或多个实施例或示例中以合适的方式结合。
26.本技术实施例提供一种无人机控制方法，包括：获取摄像机模块采集到的初始手势图像；对初始手势图像进行预处理，得到目标手势图像；根据预设的神经网络模型对目标手势图像进行识别，得到控制信息；根据控制信息对无人机进行控制。
27.如图1所示，图1是一些实施例提供的无人机控制方法的流程图，无人机控制方法包括但不限于步骤s110至步骤s140，具体包括：
28.s110，获取摄像机模块采集到的初始手势图像；
29.s120，对初始手势图像进行预处理，得到目标手势图像；
30.s130，根据预设的神经网络模型对目标手势图像进行识别，得到控制信息；
31.s140，根据控制信息对无人机进行控制。
32.在步骤s110中，初始手势图像对应的控制信息包括但不限于“向上飞(up)”、“向下飞(down)”、“向下飞(left)”、“向右飞(right)”、“向前飞(front)”、“向后飞(back)”、“向右旋转(clockwise)”、“向左旋转(anticlockwise)”。
33.本技术提供的无人机控制方法，通过摄像机模块采集初始手势图像，对初始手势图像进行预处理得到目标手势图像，进而根据预设的神经网络模型对目标手势图像进行识别，得到控制信息从而实现了对无人机进行控制，提高了无人机的控制效率。
34.本技术提供的无人机控制方法将无人机技术与智能终端控制系统相结合，利用智能终端的摄像功能或者语音功能，通过定义固定的接口协议，把语音输入或者手势识别定义和无人机的接口定义结合起来，通过遥控器发射无线信号到无人机，进而实现对无人机的控制。
35.此外，现有的遥控杆、手柄或者智能终端的手动控制装置，在对无人机的控制过程中，需要使用者手拿着遥控杆或者智能终端，这样很容易摔设备，控制过程很繁琐而且需要专业的培训。而本技术通过语音、或手势对无人机进行控制，具有易于使用、易于识别的优势，提升了人机交互的效率。
36.根据本技术的一些实施例，对初始手势图像进行预处理，得到目标手势图像，包括：对初始手势图像进行标记处理，得到第一子目标图像。
37.根据本技术的一些实施例，在“对初始手势图像进行标记处理，得到第一子目标图像”之后，对初始手势图像进行预处理，得到目标手势图像，还包括：对第一子目标图像进行填充处理，得到第二子目标图像。
38.根据本技术的一些实施例，在“对第一子目标图像进行填充处理，得到第二子目标图像”之后，对初始手势图像进行预处理，得到目标手势图像，还包括：对第二子目标图像进行数据增强处理，得到目标手势图像。
39.图2是一些实施例中的步骤s120的流程图，图2示意的步骤s120包括但不限于步骤s210至步骤s230：
40.s210，对初始手势图像进行标记处理，得到第一子目标图像；
41.s220，对第一子目标图像进行填充处理，得到第二子目标图像；
42.s230，对第二子目标图像进行数据增强处理，得到目标手势图像。
43.在步骤s210中，需要对手势数据进行采集与标注，在具体的实施例中，对初始手势图像进行标记处理过程具体包括：通过对比手势识别模型在多种手势数据集下的性能，最
终本文选定的手势数据集图片来源于kaggle网站的multi
‑
modal dataset for hand gesture recognition数据集，该数据集样本由15个人拍的15种不同的手势组成，其中包含了左手手势和右手手势。本技术选取了其中的8种手势，并且对这8种手势的图片重新命名以及使用labelimg工具重新标注信息。其中标注过程中，需要点击“open dir”选择需要标注的图片文件存储路径，点击“change save dir”选择图像标注信息xml文件的存储路径点击“create rectbox”绘制标注框，框住图像中的目标并注释目标类别，从而将图片标注信息保存在生成的xml文件中，标注完一张图片后点击“next image”开始标注下一张图片。
44.在步骤s220中，需要对第一子目标图像进行填充处理，在具体的实施例中，对第一子目标图像进行填充处理具体包括：在卷积神经网络中，输入图像会被卷积多次。在卷积层中，一个的图像被的卷积核进行卷积操作后，尺寸会变为，卷积操作存在两个缺点，一个是图像在每次卷积之后会变小，另一个是图像边缘位置的很多信息会被丢失。为了改善这两个缺点，本技术中的卷积操作之前对输入图像进行填充操作。填充操作主要是用0填充图像边缘，对于的卷积核，当填充宽度为1时，能够保证输出图像和输入图像大小一致。除此之后，填充操作还可以使多张不同大小的输入图像在不变形的情况下统一尺寸。
45.在步骤s230中，需要对第二子目标图像进行数据增强处理，在具体的实施例中，对第二子目标图像进行数据增强处理具体包括两类：
46.第一类是在数据集内进行数据增强，通过对输入图像采用旋转、翻转变换、对比度变换、亮度变换等方式增加数据集的图片数量。在手势识别算法中，可通过调用imagedatagenerator函数生成变换后的图像。由于在目标检测中，存在着多个标注输入图像中目标的真实框，所以在数据增强时需要重新设置图片变换后真实框的位置，即真实框的位置需要随着图片的位置改变而改变。
47.第二类是在读取输入图像时进行数据增强，在手势识别算法中，通过调用pil中的imageenhance库中的相应函数实现亮度增强、色度增强、对比度增强、锐度增强等，且在相应的函数中可以通过改变参数实现不同的增强方式。
48.根据本技术的一些实施例，方法还包括：构建神经网络模型，具体包括：获取初始神经网络模型；获取初始神经网络模型的训练参数，训练参数至少包括需冻结训练参数；根据需冻结训练参数对初始神经网络模型进行冻结处理，得到第一子神经网络模型；根据第一子神经网络模型对初始神经网络模型进行训练，得到神经网络模型。
49.如图3所示，图3是另一些实施例提供的无人机控制方法的流程图，无人机控制方法还包括：
50.s310，获取初始神经网络模型；
51.s320，获取初始神经网络模型的训练参数；
52.s330，根据需冻结训练参数对初始神经网络模型进行冻结处理，得到第一子神经网络模型；
53.s340，根据第一子神经网络模型对初始神经网络模型进行训练，得到神经网络模型。
54.在步骤s310中，训练参数至少包括需冻结训练参数。
55.在具体的实施例中，第一子神经网络模型为需要冻结的网络结构，其为整个神经网络模型的一部分。
56.在具体的实施例中，为了加快手势识别算法的训练效率以及防止初始权值被破坏，本技术将迁移学习的思想使用在训练过程中，先冻结一部分网络进行训练，然后解冻所有网络进行训练。这种训练方式有利于观察网络结构中某个层的具体效能，从而提高训练的效率。
57.根据本技术的一些实施例，根据预设的神经网络模型对目标手势图像进行识别，得到控制信息，包括：获取非极大值抑制阈值；对目标手势图像进行识别，得到目标手势图像的置信度信息；置信度信息至少包括第一置信度信息、第二置信度信息；根据非极大值抑制阈值、第一置信度信息、第二置信度信息得到控制信息。
58.图4是一些实施例中的步骤s130的流程图，图4示意的步骤s130包括但不限于步骤s410至步骤s430：
59.s410，获取非极大值抑制阈值；
60.s420，对目标手势图像进行识别，得到目标手势图像的置信度信息；
61.s430，根据非极大值抑制阈值、第一置信度信息、第二置信度信息得到控制信息。
62.在步骤s430中，置信度信息至少包括第一置信度信息、第二置信度信息；
63.在具体的实施例中，在实际预测过程中，由于手势之间的相似性，手势识别算法可能会对同一手势识别出两个类别，因此会同时出现两个无人机控制指令，导致无人机飞行不受控制。为了避免此类情况的发生，本技术对目标手势图像进行识别得到目标手势图像的置信度信息，至少包括第一置信度信息、第二置信度信息，进而通过在预测过程中设置非极大值抑制阈值，实现在预测过程中手势识别算法对同一个手势只显示置信度最高的类别的预测框。从而提升了手势识别的准确性。
64.根据本技术的一些实施例，无人机控制方法还包括：获取语音模块采集到的语音信息；对语音信息进行识别，得到控制信息。
65.如图5所示，图5是另一些实施例提供的无人机控制方法的流程图，无人机控制方法还包括：
66.s510，获取语音模块采集到的语音信息；
67.s520，对语音信息进行识别，得到控制信息。
68.在具体的实施例中，通过语音信息得到的控制信息包括但不限于：解锁、上锁、起飞、降落、向前飞、向后飞、向左飞、向右飞、向上飞、向下飞、向左旋转、向右旋转、拍照、录像、射击。上述每种控制信息分别对应至少一种语音信息，比如“向前飞”控制信息对应的语音信息包括但不限于“前”、“往前飞”、“前进”、“向前飞”等。
69.本技术实施例提供了一种无人机控制装置，包括：图像获取模块，用于获取摄像机模块采集到的初始手势图像；预处理模块，用于对初始手势图像进行预处理，得到目标手势图像；识别模块，用于根据预设的神经网络模型对目标手势图像进行识别，得到控制信息；控制模块，用于根据控制信息对无人机进行控制。
70.本技术实施例提供了一种无人机控制装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现：本技术上述任一实施例的无人机控制方法。
71.本技术提供的无人机控制装置实现了无人机控制方法，通过摄像机模块采集初始手势图像，对初始手势图像进行预处理得到目标手势图像，进而根据预设的神经网络模型
对目标手势图像进行识别，得到控制信息从而实现了对无人机进行控制，提高了无人机的控制效率。
72.根据本技术实施例的计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于：执行上述任一实施例的无人机控制方法。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
73.本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、装置可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd
‑
rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
74.上面结合附图对本技术实施例作了详细说明，但是本技术不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本技术宗旨的前提下作出各种变化。此外，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。