一种基于改进YOLOv5算法的无人机降落方法

一种基于改进yolov5算法的无人机降落方法
技术领域
1.本发明涉及计算机视觉与无人机控制技术领域，具体为一种基于改进yolov5算法的无人机降落方法。


背景技术：

2.无人机是一种结合遥控、接收设备并由程序控制的空中机器人，其以机动性强、小巧灵活、任务周期短等优点活跃并应用于各个领域中。
3.近几年随着计算机技术的不断发展，计算机视觉等诸多技术也得到了多方面的应用，例如在日常商场进出门口，实时检测人们是否戴口罩、高速路口、停车场车牌的自动识别等等。
4.目标的实时检测与识别的难度主要在于特征信息的提取以及信息的实时处理，而yolo算法的提出则很好的解决了这一问题，yolo算法发展至今，已出现很多版本，目前检测效果最好的为yolov5系列，它是一种单阶段目标检测算法，相比于前一个yolov4版本，其实时识别精度与速度都得到了极大的提升。
5.目标的检测与识别和无人机的结合在实际场景中有一些应用，但是目前应用于无人机降落阶段的计算机视觉并不是很多，且效果一般，也没有及时识别并使无人机平稳安全降落到地面的措施，促使无人机可以快速并且稳定的下降。


技术实现要素：

6.针对现有技术中存在的问题，本发明提供一种基于改进yolov5算法的无人机降落方法，能及时识别无人机降落的地面并使无人机平稳安全降落到地面。
7.为了实现上述目的，本发明采用以下的技术方案：
8.一种基于改进yolov5算法的无人机降落方法，所述无人机的无人机机架底部安装有电动推杆，无人机机架上安装有摄像头模块、数据图形传输模块、机载电脑和飞控板，包括如下步骤：
9.步骤1，摄像头模块拍摄无人机所处环境的视频，之后通过数据图形传输模块传输至机载电脑；
10.步骤2，机载电脑采用yolov5s算法，基于mosaic数据增强模型，并运用自适应锚框计算和自适应图片缩放方法检测数据图形传输模块传入的实时视频流是否对应平地环境、坡地环境、坑地环境或楼梯环境；
11.步骤3，若步骤2的检测结果是无人机的降落环境，则机载电脑结合地面站与飞控板生成用于控制无人机降落的偏航角；若步骤2的检测结果不是无人机的降落环境，则重复进行步骤1和步骤2，直到检测结果是无人机的降落环境为止，机载电脑结合地面站与飞控板生成用于控制无人机降落的偏航角；
12.步骤4，地面站将步骤3得到的偏航角通过数据图形传输模块传入飞控板，飞控板控制无人机降落，待无人机距离地面1～2m后，若降落环境为平地，无人机自然降落，若降落
环境为坡地、坑地或楼梯时，飞控板驱动电动推杆外伸，协助无人机在对应降落环境降落。
13.优选的，所述的步骤2包括如下具体的分步骤：
14.步骤2a，先将数据图形传输模块传入的实时视频流提取为一帧一帧的图片，再将这些图片标注后分成平地环境、坡地环境、坑地环境和楼梯环境，最后进行转化、格式调整，得到统一尺寸的标注图片文件；
15.步骤2b，将步骤2a所述的标注图片文件送入yolov5s的输入端，依次进行focus操作和ghost操作，得到融合后的图片，将融合后的图片进行信息的融合和特征的提取，输出3种特征预测图；
16.步骤2c，将步骤2b所述的特征预测图进行非极大值抑制操作，得到与真实框概率最接近的预测框，得到训练好的网络模型；
17.步骤2d，机载电脑先将数据图形传输模块传入的实时视频流提取为一帧一帧的图片，再将这些图片标注后进行转化、格式调整，最后将得到的统一尺寸的标注图片文件送入步骤2c训练好的网络模型中，判断该实时视频流是否对应平地环境、坡地环境、坑地环境或楼梯环境。
18.进一步，所述的步骤2c在进行非极大值抑制操作时，采用ciou_loss作为边界框的损失函数，ciou_loss如下式所示：
[0019][0020]
其中，iou为预测框和真实框的交集与预测框和真实框的并集的比值，b,b
gt
分别代表预测框和真实框的中心点，ρ为预测框中心点和真实框中心点间的欧式距离，c为同时包含预测框和真实框的最小闭包区域的对角线距离，α为权重函数，v是影响因子。
[0021]
再进一步，所述的步骤2b依次用fpn结构和pan结构对融合后的图片进行信息的融合和特征的提取，输出3种特征预测图。
[0022]
优选的，所述的摄像头模块为rer-usb4k02af-v100。
[0023]
优选的，所述的摄像头模块通过数据图形传输模块连接在机载电脑的输入端，机载电脑的输出端连接在飞控板的输入端，数据图形传输模块的一端连接在飞控板的输入端，数据图形传输模块的型号为hm30。
[0024]
优选的，还包括航模电池，航模电池通过5v2a bec供电型电流计分别与机载电脑的供电端和飞控板的供电端连接。
[0025]
优选的，还包括连接在飞控板输入端的gps定位模块，gps定位模块用于将采集到的无人机实时位置信息通过通讯模块传输至地面站。
[0026]
优选的，所述的电动推杆与飞控板的输出端连接，电动推杆为3～5个。
[0027]
优选的，所述飞控板的型号为pixhawk。
[0028]
与现有技术相比，本发明具有以下有益的技术效果：
[0029]
本发明一种基于改进yolov5算法的无人机降落方法，摄像头模块可拍摄无人机实时所处环境的视频，之后通过数据图形传输模块传输至机载电脑，机载电脑可检测出实时视频流是否对应平地、坡地、坑地或楼梯环境，若结果是无人机的降落环境，则机载电脑可结合地面站与飞控板生成用于控制无人机降落的偏航角，若结果不是无人机的降落环境，则无人机可继续飞行，通过摄像头模块、数据图形传输模块和机载电脑的这种配合可找到
无人机的降落环境，进而生成需要的偏航角，地面站可将偏航角通过数据图形传输模块传入飞控板，飞控板再控制无人机降落，待无人机接近地面，此时需要判断地面环境，若降落环境为平地，无人机可自然降落，若为坡地、坑地或楼梯时，飞控板此时驱动电动推杆外伸，可协助无人机在对应降落环境降落，使无人机平稳安全降落到地面，增强了无人机的智能性。本发明中的结构搭建简单，移植性强，解决了无人机智能降落的问题，可以极大地提高无人机相关科研人员的工作效率。
附图说明
[0030]
图1是本发明所述的四旋翼无人机工作原理框图。
[0031]
图2是本发明所述的四旋翼无人机工作流程图。
[0032]
图3是本发明所述的四旋翼无人机结构示意图。
[0033]
图中：电动推杆6、直流无刷电机7、桨叶8、无人机机架9和楼梯10。
具体实施方式
[0034]
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
[0035]
本发明一种基于改进yolov5算法的四旋翼无人机降落方法，参阅图3，该无人机主要包括无人机机架9，无人机机架9底部安装有电动推杆6，无人机机架9上安装有摄像头模块、gps定位模块、数据图形传输模块、机载电脑、飞控板和航模电池，无人机机架9的四个旋翼处安装有直流无刷电机7，直流无刷电机7位于上端的输出端安装有桨叶8。摄像头模块具体为rer-usb4k02af-v100，数据图形传输模块型号具体为hm30，飞控板的型号为pixhawk。
[0036]
参阅图1，摄像头模块通过数据图形传输模块连接在机载电脑的输入端，机载电脑的输出端连接在飞控板的输入端，连接时采用usb数据线，数据图形传输模块的另一端同时通过杜邦线连接在飞控板的输入端。摄像头模块实时采集无人机所处环境的视频流，并将视频流通过数据图形传输模块传输给机载电脑。
[0037]
航模电池通过5v2a bec供电型电流计分别与机载电脑的供电端和飞控板的供电端连接，连接时选用usb数据线，航模电池用于给机载电脑和飞控板供电。gps定位模块通过杜邦线连接在飞控板的输入端，可实时采集四旋翼无人机的位置信息，并通过通讯模块传输至飞控板的地面站软件上。电动推杆6、直流无刷电机7均通过杜邦线分别与飞控板的输出端相连接。
[0038]
参阅图2，飞控板配合无人机地面站软件生成控制无人机的横滚、俯仰、偏航角，驱动直流无刷电机7以不同速度和方向旋转，从而控制无人机以自由姿态飞行。机载电脑内部安装有yolov5算法的运行环境以及操作系统，通过运行改进后的yolov5算法，摄像头模块拍摄到无人机所处环境的视频后，通过数据图形传输模块送入至机载电脑，机载电脑可以实时快速的检测由摄像头模块拍摄的实时视频流是否为经过训练后的4种降落环境，若是，则机载电脑结合地面站以及飞控板的控制算法估算出生成用于控制四旋翼无人机降落的偏航角，若不是则继续寻找符合降落特征的降落环境，直至找到为止，之后地面站将偏航角通过数据图形传输模块传回给飞控板，进而控制直流无刷电机7，从而控制四旋翼无人机的降落，待四旋翼无人机降落至1～2m后，若降落环境为坡地、坑地或楼梯时，飞控板驱动无人
机底部的若干支电动推杆6，图3仅仅展示了3个，电动推杆6为现有结构，较细的支撑杆插接在较宽的支撑杆中，将较细的支撑杆外伸不同的长度，协助无人机在不同地面进行自主降落，若降落环境为平地，则无需启动电动推杆6，四旋翼无人机自然降落即可。
[0039]
由于将摄像头模块拍摄的实时视频流训练为机载电脑可以识别的4种降落环境过程较为复杂，所以之后单独具体进行说明。
[0040]
本发明一种基于改进yolov5算法的四旋翼无人机降落方法，在地面环境检测时，即将摄像头模块拍摄的实时视频流训练为机载电脑可以识别的4种降落环境，包括以下步骤：
[0041]
步骤一：改进yolov5算法的实时检测模型在基于pytorch的深度学习框架下运行，首先将摄像头模块拍摄的视频流提取为一帧一帧的图片，作为实验数据的测试集以及训练集，之后利用labelimage进行图片数据集的标注，分成平地、坡地、坑地、楼梯4种不同的地面环境，标注为pascal voc的标签格式，保存为xml格式的文件。
[0042]
步骤二：将保存好的xml格式的标注文件转化为txt格式的标注文件，并且按照1：4的数量比例划分为测试集与训练集。
[0043]
步骤三：该改进的yolov5算法为单阶段检测算法，现有的yolov5检测算法一共分为4种大小不一的版本，分别为yolov5s、yolov5m、yolov5l、yolov5x。由于要求实时检测的速度快，延时小，故选择yolov5s模型，该模型网络最小、速度最快、所占内存也最小，具有小而精的特点。
[0044]
为了适应上述的标注文件，在之后的步骤中需要修改模型的相关代码参数，运行后即可进入到训练代码中进行之后的权重的预训练以及正式训练。预训练以及正式训练过程中，模型选用mosaic数据增强，提升模型的训练速度以及网络精度，并运用自适应锚框计算以及自适应图片缩放方法。
[0045]
该步骤的主要流程为将每个txt格式的标注图片文件进行格式调整，统一成640*640*3的标准尺寸，并送入yolov5s的输入端。
[0046]
步骤四：在基准网络阶段，主要提取一些通用的网络特征表示。现有的yolov5算法主要使用的是focus结构和csp结构，focus结构主要是通过slice操作进行输入图片的裁剪，依次经过slice操作、concat操作后输出320*320*12的特征映射，再经过一个通道数为32的卷积层，输出为320*320*32的特征映射。csp结构则主要是为了增强卷积神经网络的学习能力，缓解大量需要推理计算的问题，降低内存成本以及计算的瓶颈。
[0047]
本发明选用ghost模块代替csp结构，改进后的网络骨干采用由ghost模块组成的ghost瓶颈，替代了原有的基准网络阶段的csp中的三个瓶颈结构，并采用ghost模块替代传统的卷积层，通过修改卷积方法提高权值的检测速度。ghost模块分为三个步骤：卷积、ghost生成和特征地图拼接。首先使用现有的卷积法得到特征映射，然后对每个通道的特征映射进行φ运算生成ghost特征图，φ运算类似于3
×
3卷积，最后将第一步得到的特征映射和第二步得到的ghost特征图连接起来，得到最终的结果输出，即完成ghost模块的工作原理说明，之后便进入步骤五。
[0048]
该步骤的主要流程为处理yolov5s的输入端的送进来的图片，即对其进行focus操作以及ghost操作，融合了图片的特征以及提高了网络的学习能力，将融合后的图片输出到下一阶段。
[0049]
步骤五：颈部网络阶段依次采用fpn结构和pan结构。fpn结构是自顶向下，将高层的强语义特征传递下来，对fpn的整个金字塔结构进行增强，但只增强了语义信息，对定位信息没有传递。pan结构就是针对这一点，在fpn结构的后面添加一个自底向上的金字塔，对fpn结构补充，将低层的强定位特征传递上去。
[0050]
该步骤的主要流程为对基准网络阶段的输出图片用fpn结构和pan结构进行图片信息的融合以及特征的提取，输出为3种不同大小的特征预测图。
[0051]
步骤六：在yolov5s的输出端，主要是为了选取概率最大的预测框作为实际输出，因此会涉及到损失函数的选取，该部分采用ciou_loss作为边界框的损失函数，而要计算ciou_loss，需要先计算giou_loss，其计算方法如下：
[0052][0053]
先计算预测框和真实框的最小闭包区域面积，也就是同时包含了预测框和真实框的最小框的面积，然后计算出iou，再计算预测框和真实框的最小闭包区域中不属于预测框和真实框的区域占预测框和真实框的最小闭包区域的比重，最后用iou减去这个比重得到giou_loss。
[0054]
上式中：giou_loss为边界框的损失函数(非yolov5的边界框损失函数)，iou为预测框和真实框的交集与预测框和真实框的并集的比值，ac为预测框和真实框的最小闭包区域面积，u为预测框和真实框的最小闭包区域中属于预测框和真实框的面积。
[0055]
diou_loss要比giou_loss更加符合真实框回归的机制，其将真实框与预测框之间的距离，重叠率以及尺度都考虑进去，使得真实框回归变得更加稳定。其计算方法如下：
[0056][0057]
上式中：b,b
gt
分别代表了预测框和真实框的中心点，ρ为这两个中心点间的欧式距离，c为能够同时包含预测框和真实框的最小闭包区域的对角线距离。而yolov5的边界框损失函数ciou_loss定义如下：
[0058][0059]
其中的α为权重函数，v是影响因子。
[0060]
针对预测框的筛选工作，进行nms(即非极大值抑制)操作，将预测概率小的预测框剔除掉，留下预测概率大的预测框，一步一步重复，直至留下预测概率最大的预测框，这是因为ciou_loss中包含影响因子v，涉及真实框的信息。而yolov5中采用加权非极大值抑制的方式，加权非极大值抑制与非极大值抑制相比，是在进行剔除预测框的过程中，根据网络预测的概率进行加权，得到新的预测框，把该预测框作为最终的预测框。
[0061]
因此，该部分的主要流程为对颈部网络阶段输出的3种不同大小的特征预测图进行加权非极大值抑制，筛选与真实框概率最接近的预测框，同时将其作为最后的结果输出。至此，训练部分的所有流程全部结束。
[0062]
步骤七：在实际测试时，是将未知的图片送入训练好的模型中，模型判断出该图片的类型，具体的过程除不涉及真实框外，测试的其余步骤均与上述训练的步骤一到步骤六
相同，证明训练好的模型可靠，可以在机载电脑中运行。
[0063]
因此机载电脑便先将数据图形传输模块传入的实时视频流提取为一帧一帧的图片，再将这些图片按照上述过程标注后进行转化、格式调整，最后将得到的统一尺寸的标注图片文件送入训练好的网络模型中，准确判断出该实时视频流是否对应平地、坡地、坑地或楼梯。