一种基于视觉的无人机机库多阶段精确降落方法与流程

1.本发明属于无人机控制技术领域的一种无人机降落方法，尤其涉及了一种基于视觉的无人机机库多阶段精确降落方法。


背景技术：

2.目前无人机机库降落多采用rtk定位或采用一个h形标记图像进行辅助降落，存在以下几点局限性：
3.1、虽然rtk定位精度误差小(10cm)，但是易被干扰且rtk信息容易出现丢失，这会导致无人机机库降落误差较大，从而导致无人机降落到机库外；
4.2、只有一个标记图像，需要将相机采集该标记的整体图像，识别图像中心点,才能实现精确降落,即需要将相机对准该标记才能实现精确降落。但是，当无人机飞行高度较大时，为了相机能够采集到标记的整体图像，标记图像的面积一般较大；当无人机下降到一定高度后相机便无法采集该标记的整体图像，导致无法识别图像中心点，无人机会在空中相对降落点出现尺度漂移等情况。


技术实现要素：

5.为解决上述问题，本发明的目的是提供一种基于视觉的无人机机库多阶段精确降落方法，使四旋翼无人机实现自主精准的降落在机库停机坪上，以对其进行固定保护、充电续航以及移动运载。
6.本发明的技术方案为：
7.无人机飞至机库上方的空域，机库的停机坪上布置有无人机机库降落标志，并开始通过无人机的机载摄像机向下俯视采集图像，根据图像实时控制进行自主降落：
8.第一阶段，通过图像识别获得降落标志中的正方形，根据正方形来调整无人机的水平位置，调整后进行下降降落；随着无人机高度下降，图像内不能完整捕捉到正方形，即图像内无法识别出完整的正方形，此时进入无人机机库自主降落第二阶段；
9.第二阶段，识别降落标志中的同心圆和航向角参考线，根据同心圆调整无人机的水平位置，根据航向角参考线调整无人机的航向，调整后继续进行降落；当无人机降落到预设的高度阈值以下时，不再调整无人机的水平位置和航向，直接降落，直至无人机降落至机库的停机坪上。
10.所述的无人机机库降落标志主要由正方形、两个同心圆组成，两个同心圆均布置在正方形的正中央且同心布置，两个同心圆直径大小不同，较小的同心圆划分为两个半圆；两个半圆的填色不同，其中一个半圆和两个同心圆之间圆环的填色相同，另一个半圆和正方形的填色相同。
11.具体实施中，两个半圆的填色用黑色和白色划分。
12.所述的正方形为黑色，两个同心圆之间的圆环采用白色，同心圆由一个黑色半圆和一个白色半圆构成，黑色半圆和白色半圆之间形成一条黑白分明的分界线作为航向角参
考线。
13.所述的第一阶段中，根据正方形来调整无人机的水平位置，具体为：
14.通过图像识别检测到正方形的质心位置c1(u
square
，v
square
)，并将质心位置c1的坐标值与图像的中心点p0(u0，v0)对应坐标值进行运算得到图像平面坐标系下的坐标值p
i
(x
i
，y
i
)作为无人机中心与降落标志中心在像平面坐标系中的偏差，
15.然后按照以下公式计算得到无人机实际的位置偏差x
error
和y
error
：
[0016][0017]
式中，h为无人机的飞行高度，f为无人机的机载摄像头的焦距；
[0018]
最后通过无人机实际的位置偏差x
error
和y
error
来调整无人机的水平位置使得无人机回中，使得正方形的质心位置c1(u
square
，v
square
)，并将质心位置c1的坐标值与图像的中心点p0(u0，v0)实时重合。
[0019]
所述的第二阶段中，根据同心圆调整无人机的水平位置，根据航向角参考线调整无人机的航向，具体为：
[0020]
通过图像识别检测到同心圆的质心位置c2，并将同心圆的质心位置c2的坐标值与图像的中心点p0(u0，v0)对应坐标值进行运算得到无人机中心与降落标志中心在像平面坐标系中的偏差，再计算得到无人机实际的位置偏差，进而调整无人机的水平位置使得无人机回中；
[0021]
同时通过图像识别检测到同心圆的较小圆中的航向角参考线，获得降落标志的航向角，计算无人机的航向角和降落标志的航向角之间的偏差，进而调整无人机的航向角，使得偏差尽量减小。
[0022]
本发明由于采用以上技术方案，使其与现有技术相比具有以下的优点和积极效果：
[0023]
本发明示例的基于视觉的无人机机库多阶段精确降落方法，先根据降落标志中面积较大的正方形标志对无人机的降落点进行定位降落；
[0024]
当机载摄像机不能完整捕捉到黑色正方形时，则根据降落标志中面积较小的同心圆标志对无人机的降落点进行定位降落，根据降落标志中航向角参考线对无人机的航向角进行控制；
[0025]
无人机降落过程到高度阈值10cm时，无人机不再调整水平位置和偏航角，只进行降落控制，直至无人机降落至机库停机坪上。
[0026]
本发明方法可使无人机降落过程中能够全程准确定位无人机机库的降落点位置，引导无人机实现机库的定点降落，大大提高了降落的准度，提高了降落的效率，同时实现了快速降落和精确降落。
附图说明
[0027]
图1为无人机机库降落标志；
[0028]
图2为roi区域判定图；
[0029]
图3为无人机机库多阶段自主降落流程图；
[0030]
图4为像素坐标系与像平面坐标系关系图；
[0031]
图5为摄像头成像投影关系图。
具体实施方式
[0032]
下面结合说明书附图，对本发明提出的一种基于视觉的无人机机库多阶段精确降落方法进一步详细说明。
[0033]
本发明的实施例及其实施过程如下：
[0034]
设计构建了一种无人机机库降落标志，无人机机库降落标志主要由正方形、两个同心圆组成，两个同心圆均布置在正方形的正中央且同心布置，两个同心圆直径大小不同，较小的同心圆划分为两个半圆；两个半圆的填色不同，其中一个半圆和两个同心圆之间圆环的填色相同，另一个半圆和正方形的填色相同。
[0035]
具体实施中，两个半圆的填色用黑色和白色划分：正方形为黑色，两个同心圆之间的圆环采用白色，同心圆由一个黑色半圆和一个白色半圆构成，黑色半圆和白色半圆之间形成一条黑白分明的分界线作为航向角参考线。
[0036]
黑色正方形用于无人机机库自主降落第一阶段确定无人机与降落标志的位置偏差；白色圆环用于无人机机库自主降落第二阶段确定无人机与降落标志的位置偏差；航向角参考线用于无人机机库自主降落第二阶段确定无人机航向角偏差。本发明采用的降落标志尺寸为正方形变成l＝30cm，较大同心圆的半径r＝4cm，较小同心圆的半径r＝2cm，两个同心圆的半径比为2。
[0037]
具体实施中，机库降落标志检测根据是否检测到完整的正方形而分为两个阶段：
[0038]
第一阶段，对图像进行分析处理，检测黑色正方形的轮廓并根据其面积
‑
周长平方比判定是否为降落标志，为无人机提供位置偏差。
[0039]
第一阶段的降落标志检测主要分为轮廓检测和轮廓判定两个步骤：
[0040]
1、轮廓检测
[0041]
经过图像预处理得到二值图像后，检测出图像中的所有轮廓对象，组成轮廓列表。
[0042]
降落标志所处环境光照、阴影、斑点等因素的影响，检测到的所有候选轮廓对象中会包含一些小于预设面积阈值的面积较小的轮廓：根据轮廓的面积大小对所有候选轮廓进行筛选，将面积小于阈值的轮廓对象从候选轮廓列表中剔除，其中阈值会根据无人机的高度进行调整，无人机越高，阈值越小，无人机越接近地面，阈值越大，从而可以快速剔除非期望标志。
[0043]
然后根据每一个轮廓对象的几何特征，再对轮廓对象进行筛选，以缩短候选轮廓列表。
[0044]
2、轮廓判定
[0045]
通过上述轮廓检测和轮廓筛选后，只保留黑色正方形轮廓及其内部的同心圆和半圆轮廓。
[0046]
利用正方形面积和边长关系，得到期望的面积和周长平方的比值r
area
‑
perimeter
，从候选轮廓中提取出无人机机库自主降落第一阶段所需的黑色正方形轮廓，如下式所示：
[0047][0048]
式中，s
square
为正方形的面积；l
squaer
为正方形的周长；r
area
‑
perimeter
为正方形的面积
‑
周长平方比。
[0049]
根据正方形面积
‑
周长平方比的尺度不变性，对剩余候选的所有轮廓对象做进一步判定，如果轮廓对象的这个比值r
area
‑
perimeter
与比值期望标准值0.0625之间的偏差在预设范围内，则认为该轮廓对象为目标轮廓，即黑色正方形。判定公式如下：
[0050]
|r
area
‑
perimeter
‑
0.0625|≤ε
area
‑
perimeter
[0051]
式中，ε
area
‑
perimeter
为允许偏差，0.0625为本发明实施例的正方形的面积和周长之比。
[0052]
经过上述轮廓判定，最终从剩余候选的所有轮廓对象中提取出需要的黑色正方形轮廓(包含中心坐标、边长等参数)。
[0053]
第二阶段，利用hough圆变换检测黑色正三角形内部的白色同心圆并根据半径比判定是否为降落标志，同时检测中心航向参考线的两个端点，可解算出无人机的位置偏差和航向角偏差。
[0054]
第二阶段的降落标志检测主要分为同心圆检测、同心圆判定以及航向角参考线检测三个步骤：
[0055]
1、同心圆检测
[0056]
采用hough圆变换对无人机降落标志中的圆形进行检测获得所有候选圆，进而后续再根据所检测到圆形的圆心间距离识别出降落标志中的同心圆环。
[0057]
对hough圆变换的半径参数加以限制，经多次检测得到所有圆形，在所有的候选圆中，通过计算两个候选圆的圆心间欧氏距离及其半径比，对相似圆形进行合并，合并条件为：
[0058][0059]
式中，euclideandis(r1，r2)计算得到候选圆的圆心r1和候选圆的圆心r2之间的欧氏距离；circle[i].center表示候选圆i的圆心坐标；circle[i].radius表示候选圆i的半径；δ
euclideandis
和δ
radiusratio
分别表示设定的圆心间欧氏距离阈值和半径比阈值。
[0060]
2、同心圆判定
[0061]
相似圆合并后，从所有候选圆形中得到两个近似为同心圆的圆形，分别代表降落标志中白色同心圆环的外圆和内圆，然后对两个圆形作进一步的判定。
[0062]
通过判定两个圆的圆心间的欧氏距离及其半径比值，确定两个圆形是否为目标同心圆环，判定条件如式所示：
[0063]
[0064]
式中，euclideandis(r1，r2)计算得到候选圆的圆心r1和候选圆的圆心r2之间的欧氏距离，newcircle[i]为相似圆合并后得到的新圆序列，i表示相似圆的序号，i＝0，1；newcircle[i].center和newcircle[i].radius分别为相似圆i的圆心点和半径；δ
disdeter
和δ
radiusratio
分别为圆心距离判定阈值和半径比判定阈值。
[0065]
具体实施可利用无人机降落标志中的白色同心圆环半径比为2的特点，进行识别和判定。经过上述同心圆轮廓判定，最终从候选轮廓中提取出需要的同心圆轮廓(包含圆心坐标、半径等参数)。
[0066]
3、航向角参考线检测
[0067]
利用hough变换直线检测提取图像中的所有线段(包括正方形边长以及航向角参考线)并记录线段两端的端点坐标作为候选端点，之后以同心圆判定得到的外圆半径r加上一个定值c作为矩形感兴趣区域(roi)的边长，并创建矩形感兴趣区域roi。
[0068]
最后，利用矩形感兴趣区域roi的4个角点，根据向量积的定义：
[0069][0070]
其中，向量表示非零向量，| |表示向量的模，θ表示向量的夹角。
[0071]
则判定所有候选端点是否在矩形感兴趣区域roi内，判定条件如图2及下述公式所示：
[0072][0073]
式中，p1，p2，p3，p4分别为矩形感兴趣区域roi的4个角点；p
c
为待检测的候选端点。
[0074]
将所有候选点带入上述判定条件，最终提取出两个满足上述判定条件的端点作为位于矩形感兴趣区域roi内航向参考线的两个端点a、b，并得到两个端点a、b的像素坐标a(u1，v1)和b(u2，v2)。根据两端点的像素坐标求解出航向角偏差θ
error
：
[0075][0076]
检测的线段有正方形边长和内部航向角参考线，这样判定能够去除正方形边长，航向角参考线直接就在所画roi’区域内。
[0077]
如图3所示，本发明方法根据无人机的飞行高度设计为两阶段控制，过程如下：
[0078]
第一阶段，通过识别机库降落标志的正方形解算出无人机与识别标志中心的位置偏差：通过图像检测黑色正方形轮廓计算其质心位置c1(u
square
，v
square
)，并将其坐标值与图像中心点p0(u0，v0)对应坐标值进行运算得到像平面坐标系下的坐标值p
i
(x
i
，y
i
)，即无人机中心与降落标志中心在像平面坐标系中的偏差，如下式所示。
[0079][0080]
式中dx、dy为像元尺寸，像素坐标系与像平面坐标系关系如图4所示。
[0081]
最后，按照以下公式得到无人机实际的位置偏差x
error
和y
error
。
[0082][0083]
式中，h为无人机当前飞行高度，f为无人机的机载摄像头焦距，摄像头成像投影关系如图5所示。
[0084]
通过无人机实际的位置偏差x
error
和y
error
来确定调整无人机水平位置。
[0085]
随着无人机高度的下降，机载摄像机不能完整捕捉到黑色正方形，此时进入无人机机库自主降落第二阶段。
[0086]
第二阶段，通过图像检测获得同心圆的圆心位置c2(u
circle
，v
circle
)，利用同心圆的圆心位置c2(u
circle
，v
circle
)，同样根据上述第一阶段的相同处理，和图像中心点p0(u0，v0)对应坐标值进行运算得到像平面坐标系下的坐标值，作为无人机中心与降落标志中心在像平面坐标系中的偏差，再按照公式得到无人机实际的位置偏差x
error
和y
error
，利用其内部的航向参考线确定无人机的航向角偏差θ
error
。
[0087]
根据位置偏差调整无人机的水平位置，根据航向角偏差调整无人机航向角并进行降落，使得无人机航向角和航向角参考线方向保持一致。
[0088]
当无人机降落到高度阈值时，不再调整无人机水平位置，直接降落，从而实现无人机的分段自主降落，使无人机降落至机库停机坪上。其中高度阈值设置为10cm。
[0089]
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式。即使对本发明作出各种变化，倘若这些变化属于本发明权利要求及其等同技术的范围之内，则仍落入在本发明的保护范围之中。