无人机降落平台及识别方法、降落方法和飞行作业系统与流程

1.本发明涉及无人机领域，尤其是一种无人机降落平台、一种降落平台识别方法、一种无人机方法和一种飞行作业系统。


背景技术：

2.随着无人机技术在军事、民用领域应用范围的逐渐扩大，具有精准降落功能的无人机越来越受到关注，如精准着陆、着舰、定点投放等。传统的引导技术包括惯性引导、雷达引导、高精度卫星引导等。惯导的位置误差会随时间积累增大，影响导航精度；雷达的定位精度有限，设备复杂；高精度卫星引导借助卫星信号，易受干扰，在最后着降阶段难以保证可靠性。视觉引导以图像处理技术为基础，对摄像头采集到的图像进行相应处理，结合摄像头内参、约束条件信息等解算目标运动过程中的位姿信息，从而控制飞行器降落，因其精度高、抗干扰、被动成像、成本低等优点，得到广泛的关注，但是随着摄像头视野的变化，可能造成目标的丢失等情况。
3.视觉测量主要分为单目视觉测量和双目视觉测量两种，双目视觉测量需要在无人机上加装两个摄像头，摄像头安装精度要求较高，实现复杂，且测量距离越远要求基线越长，对于小型无人机来说安装困难。单目视觉测量只需要一个摄像头，结合目标图案的尺寸信息，即可实现相对定位，系统结构简单，安装要求低，对于指定降落地点的应用场景具有较大优势。
4.目前借助单目视觉测量的无人机着降系统的设计，均是仅在降落平台上设计一个图案，无人机通过定位该图案并跟踪，来实现无人机的自主降落。而无人机在降落过程中，由于与降落板的距离和位置的变化，其视野会发生改变，随着距离的拉近，在靠近降落平台时会丢失目标，最后降落位置极易出现偏差，着降精度低。另一方面，气流扰动可能导致无人机位置偏离降落板中心，只能“看到”局部位置而无法获取图案全貌，通常的设计是将无人机拉升到一定位置后，重新定位图案位置，这样就会增加着降时间。


技术实现要素：

5.本发明的发明目的在于：针对上述存在的问题，提供一种引导无人机降落的降落平台，以引导无人机高效、精准地降落到降落平台上。本发明还提供了一种降落平台识别方法，以在任何视角下均能准确识别到降落平台。本发明还提供了一种基于多尺寸、嵌套式图案引导无人机降落的方法，以及一种基于多尺寸、嵌套式图案引导无人机降落的系统，以引导和控制无人机进行高精度、高效率地着降。
6.本发明采用的技术方案如下：
7.一种无人机降落平台，所述降落平台中央设置有标识图像，所述标识图像包括多尺寸、嵌套式设计的图案。
8.标识图像包括多尺寸、嵌套式设计的多个图案，则无人机在降落过程中，无论是否发生位姿变化，标识图像中总有图案能够起到引导作用，即无人机在降落过程中，无论是否
发生位姿变化，均不会丢失跟踪目标。
9.进一步的，所述标识图像包括若干图案，若干所述图案包括主图案，所述主图案内嵌套设计有第一次级图案，所述主图案周围成周向设置有多个第二次级图案。
10.无人机在由远及近的降落过程中，首先可以识别到所有图案，可以选择主图案作为引导的图案，而后，视野不断减小，直到视野已经不能容纳整个主图案，则仅能识别主图案中的第一次级图案，以此作为接下来降落的引导。在无人机受气流等影响而发生位置偏移时，有可能不再能识别到主图案或者第一次级图案，此时，主图案周分布的第二次级图案就开始起到作用。无人机识别到某个降落平台局部上的第二次级图案，以此作为引导继续在引导下降落。由于各图案的尺寸、位置确定，则第二次级图案与主图案间的空间位置关系确定，无人机识别到第二次级图案，通过简单的换算，即可确定出与主图案之间的空间位置关系。
11.一种降落平台识别方法，包括从采集的图像中识别降落平台的步骤，该识别降落平台的步骤包括对图像中多尺寸、嵌套式图案设计的标识图像进行识别的过程。
12.进一步的，所述标识图像包括多个图案，所述标识图像中的各图案分别设置有识别优先级，以识别出的最高优先级的图案的关联信息作为对降落平台的识别结果。
13.进一步的，所述标识图像中的图案至少设计有三个级别的识别优先级；最高优先级识别位于所述标识图像中央的主图案，第二优先级识别嵌套于所述主图案内部的第一次级图案，第三优先级识别所述主图案周围周向分布的第二次级图案。
14.进一步的，各图案分别配置有唯一标识，通过分别对各图案的标识配置识别优先级，以实现对所述标识图像中的各图案的识别优先级的设置。
15.一种无人机降落方法，包括：
16.采集图像的步骤；采用上述的降落平台识别方法从采集的图像中识别出降落平台的步骤；计算无人机与所检测的降落平台间的相对位姿数据的步骤；根据所述相对位姿数据，计算降落导航信息的步骤；以及控制无人机以所述降落导航信息的引导进行降落的步骤。
17.进一步的，所述降落导航信息包括引导无人机降落过程的初始加速阶段、匀速阶段和末段减速阶段的信息，其中：
18.初始加速阶段：由无人机当前速度加速到指定速度；
19.匀速阶段：保持匀速飞行；
20.末端减速阶段：从所述指定速度减速到零且在速度减速到零时刚好降落到降落平台。则对应的，降落导航信息包含对应三个阶段的速度控制信息。
21.进一步的，在无人机位于着降点上空预定高度h内时采集所述图像，所述预定高度h通过以下方式确定：
[0022][0023]
式中，f为相机焦距，x’为成像平面x轴最大值，x为降落平台x轴最大值。
[0024]
进一步的，方法还包括异常情况处理步骤：
[0025]
若从采集的图像中未识别出降落平台，则原地拉升无人机以重新搜寻降落平台；若拉升到预定高度仍未搜寻到降落平台，则控制无人机以着降点为圆心，做半径r的圆周飞
行搜寻降落平台，若仍未搜寻到降落平台，则控制无人机以自主降落模式进行降落；
[0026]
若搜寻降落平台过程中无人机的高度低于设定阈值，则控制无人机以自主降落模式进行降落。
[0027]
一种飞行作业系统，包括至少一个无人机，以及上述的无人机降落平台。
[0028]
进一步的，各所述无人机均包括依次连接的相机、机载计算机和飞控计算机，其中：
[0029]
所述相机被配置为：采集图像；
[0030]
所述机载计算机对所述标识图像中的图案设计有识别优先级；所述机载计算机被配置为：对采集的图像进行图案识别，以识别到的最高优先级的图案的关联信息作为对降落平台的检测结果，计算无人机与所述降落平台间的相对位姿信数据，根据所述相对位姿数据，计算降落导航信息；
[0031]
所述飞控计算机被配置为：根据所述降落导航信息控制所述无人机降落。
[0032]
进一步的，所述降落导航信息包括引导无人机降落过程的初始加速阶段、匀速阶段和末段减速阶段的信息，其中：
[0033]
初始加速阶段：由无人机当前速度加速到指定速度；
[0034]
匀速阶段：保持匀速飞行；
[0035]
末端减速阶段：从所述指定速度减速到零且在速度减速到零时刚好降落到降落平台。
[0036]
进一步的，所述机载计算机在无人机位于着降点上空预定高度h内时触发所述相机采集图像，所述预定高度h通过以下方式确定：
[0037][0038]
式中，f为相机焦距，x’为成像平面x轴最大值，x为降落平台x轴最大值。
[0039]
进一步的，所述机载计算机中配置有异常情况处理响应动作；机载计算机被配置为：若从采集的图像中未识别出降落平台，则向飞控计算机发送指令，以控制无人机原地拉升，控制相机重新采集图像；若拉升到预定高度仍未能从重新采集的图像中识别出降落平台，则向飞控计算机发送指令，以控制无人机以着降点为圆心，做半径r的圆周飞行，控制相机重新采集图像；若未能从重新采集的图像中识别出降落平台，则向飞控计算机发送指令，以控制无人机以自主降落模式进行降落；
[0040]
机载计算机被配置为：在执行异常情况处理响应动作过程中，若无人机的高度低于设定阈值，则向飞控计算机发送指令，以控制无人机以自主降落模式进行降落。
[0041]
综上所述，由于采用了上述技术方案，本发明的有益效果是：
[0042]
1、本发明的降落平台经过巧妙的内容丰富，设计多尺寸、嵌套式标识图像，能够对无人机整个降落过程进行全面地引导，使得无人机能够精准、快速地着陆到降落平台的中央。
[0043]
2、本发明的方法在求解无人机与降落平台间相对位姿关系的过程中，由于图案内容丰富，图案之间的相对位置固定，先验信息充足，计算结果简单可靠。
[0044]
3、本发明对标识图像进行了识别优先级设定，无人机降落过程中，能够自适应地识别图案目标，使得降落过程具有更高的鲁棒性。
[0045]
4、本发明的系统结构简单，仅需要常规的器件和简单的配置即可，安装难度低，抗干扰能力强。
[0046]
5、本发明的引导方案，结合实时的降落路径对降落过程进行了分段设计，充分考虑了无人机的飞行特性，使得无人机的降落过程更加平稳可靠。
附图说明
[0047]
本发明将通过例子并参照附图的方式说明，其中：
[0048]
图1是针孔成像模型示意图。
[0049]
图2是降落平台检测流程图。
[0050]
图3是标识图像设计的一个实施例。
[0051]
图4是相对位姿信息计算模型的示意图。
[0052]
图5是ros软件设计框架示意图。
具体实施方式
[0053]
本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。
[0054]
本说明书(包括任何附加权利要求、摘要)中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。
[0055]
实施例一
[0056]
本实施例公开了一种无人机降落方法，该方法包括采集图像的步骤、从采集的图像中识别出降落平台的步骤、计算无人机与所检测的降落平台间的相对位姿数据的步骤、根据所述相对位姿数据，计算降落导航信息的步骤，以及控制无人机以所述降落导航信息的引导进行降落的步骤。
[0057]
无人机根据规划导航信息正常飞行，待飞行至着降点上空有效区域，或者接收到降落指令后，采集下方图像。
[0058]
所谓的着降点，为设定于导航信息内的目的地位置。所谓的着降点上空有效区域，是指着降点上空的预定高度内，无人机的高度h由相机的内参和降落板尺寸综合确定，如图1所示，h通过针孔成像模型计算得到：
[0059][0060]
其中：f为相机焦距，x’为成像平面x轴最大值，x
‑‑
降落平台x轴最大值。
[0061]
通常的，在降落平台中心设在一个二维码(或者其他图案)即可实现无人机对降落平台的检测识别，当然，所设置的二维码的尺寸也不会太小，否则高度较高的无人机即使采集到了包含降落平台的图像，也无法识别出图像中的二维码。然而，无人机在降落过程中，由于与降落平台的距离和位置的变化，其视野会发生改变：随着距离的拉近，视野会变小，加上气流扰动可能导致无人机位置偏离降落平台中心，只能看到降落平台的局部，例如某个角落。这样，无人机除非拉高飞行高度重新识别二维码，否则无法实现对二维码的定位，也就无法再进行精准的自主降落(即降落位置偏离到了降落平台的其他位置)。
[0062]
在本实施例中，降落平台经过了特殊的设计，引导无人机精准降落的降落平台中央设置了标识图像，所谓的标识图像，即供无人机进行视觉识别以确定降落位置的图像，该标识图像包括多尺寸、嵌套式设计的图案，图案作为无人机识别的对象，通过图案定位降落平台的位置，从而获取无人机与降落平台之间的位姿关系。
[0063]
上述标识图像中设计了多个图案，可以理解为，多个图案构成了标识图像。多个图案的尺寸不全相同，部分图案进行嵌套式布置，以适应无人机降落过程中视野大小的变化，部分图案成环绕式分布，以适应无人机位姿发生偏转时也能够捕捉到降落平台。
[0064]
在一些实施方式中，在标识图像所包含的多个图案中，有一个主图案、一个第一次级图案和多个第二次级图案，主图案设置于降落平台的中央，第一次级图案嵌套设置于主图案中央，第二次级图案成周向设置在主图案的周围，优选均匀分布。需要说明的是，第二次级图案围绕主图案成周向分布，并不限定于仅围绕主图案一层，可以是多层的第二次级图案围绕主图案设计。例如，紧邻主图像分布有一层第二次级图案，在该层第二次级图案的外侧，还分布有一层第二次级图案，以此类推。并且，各层的第二次级图案的数量不定，可以为一个，也可以为多个。
[0065]
在一些具体实施例中，第二次级图案为四个，分别设置在主图案的上、下、左、右四个方向；或者，四个第二次级图案分别设置在主图案的左上、坐下、右上、右下四个方向。四个第二次级图案在同一圆周上，当然，也并不排除可以不在同一圆周上的情形。
[0066]
图案的具体结构可以采用多种形式，以可进行计算机视觉识别为基本要求。在一些具体实施方式中，图案均设计为二维码形式，则对应的，标识图像包括主二维码、第一次级二维码和多个第二次级二维码。如无特别申明，后续实施例均是以二维码形式的图案进行的说明，当然，并不排除可以用其他的图案作为标识图像的情况，其他形式的图案与二维码形式的图案同理设计。上述的标识图案在一个实施方式中，在主二维码的内部，嵌套设计了第一次级二维码，而在主二维码的周围，成周向设计了多个第二次级二维码(数量优选为4个或以上，沿周向均匀排布)，主二维码的尺寸较第一次级二维码和第二次级二维码的尺寸都要大得多。如图3所示，在一个具体实施方式中，在第一二维码1(主二维码)内部中央嵌套设计第二二维码2(第一次级二维码)，在第一二维码1的四个角上，分别设计了4个第二次级二维码，分别为第三二维码3、第四二维码4、第五二维码5和第六二维码6。
[0067]
上述降落平台的设计方法包括在无人机降落平台上设计标识图像的步骤。具体的，在降落平台的中央设置标识图像。标识图像包括多个图案。在标识图像所包含的多个图案中，有主图案、第一次级图案和第二次级图案，主图案设置于降落平台的中央，第一次级图案嵌套设置于主图案中央，第二次级图案成周向设置在主图案的周围。同样的，第二次级图案的设计可以为一层，也可以为多层，分布在主图案的上、下、左、右，或者左上、左下、右上和右下方向/区域。
[0068]
1、从采集的图像中识别出降落平台的步骤
[0069]
识别降落平台的方法即从采集的图像中检测出降落平台上的标识图像的方法。前文说到，标识图像包括多尺寸、嵌套式设计的图案，则识别降落平台的方法包括对采集的图像中多尺寸、嵌套式设计的标识图像进行识别的过程。
[0070]
考虑到在同一画幅中，无人机采集的图像可能包含多个二维码，例如无人机距离足够远的情况下，能够采集到所有的二维码，而每次引导无人机降落的二维码应当具有识
别唯一性，对此，自动选择识别主二维码而不是第一次级二维码或第二次级二维码，可以通过对主二维码、第一次级二维码、第二次级二维码的识别优先级进行设定。具体的，将主二维码设定为最高优先级，第一次级二维码次之，第二次级二维码的优先级最低。在识别到的所有二维码中，以最高优先级的二维码的关联信息作为识别结果，即以识别到的最高优先级的图案引导无人机降落。而所谓的关联信息，即二维码的位置、尺寸等属性。当无人机离降落平台足够远时，会自动选择识别主二维码；随着距离的拉近，视野变小，会自动选择识别第一次级二维码；而当无人机位置发生偏移时，只能“看到”降落平台的局部，则此时会自动选择识别第二次级二维码。
[0071]
标志图像中的每个二维码均具有唯一性，以确定无人机所捕捉到的位置。在一些实施例中，通过分别为主二维码、第一次级二维码、各个第二次级二维码配置一一对应的标识来确定各二维码的唯一性；而对各二维码的标识的优先级进行设定，即实现对各二维码识别优先级的设定。
[0072]
对于各二维码的标识设计，在一些实施例中，将各二维码视为由若干色块阵列排布而成，识别各色块(黑/白)的取值，例如黑色为1，白色为0，将以顺序识别出的色块值构成字符串，作为对应二维码的id号(即标识)，以同画幅中优先级最高的id号对应的二维码作为本次检测的识别目标。
[0073]
2、根据检测到的降落平台，计算无人机与降落平台间的相对位姿数据的步骤
[0074]
各二维码的边长已知，则各非主二维码与主二维码之间的位置关系为可简单推导得到，可配置为已知参数。在无人机识别非主二维码时，根据各非主二维码与主二维码之间的位置关系，即可确定出该非主二维码在降落平台上的位置。仍以上述实施例中设计四个外围第二次级二维码为例，主二维码设计于降落平台的正中心，以主二维码的中心作为坐标系原点，各第二次级二维码的角点坐标在该坐标系中的坐标分别分布在四个象限中。其中，以第三二维码3为例，第三二维码3的左上角的角点坐标在以降落平台为原点的坐标系中满足以下关系，其他的第四二维码～第六二维码的角点坐标同理求取：
[0075][0076]
其中：ll0
‑‑‑‑
中外间围大四的个二二维维码码1的的边边长长
[0077]
图1所示的针孔相机模块还示出了相机的成像原理。基于该原理及相关理论，可以得到降落平台所处的空间上的点的三维坐标与采集的图像上的像素坐标的对应关系。以第二次级二维码角点(x,y,z)为例，该角点通过外参矩阵[r|t]转换到相机坐标系，然后通过投影模型(相机内参矩阵k)投影到图像平面。前文已经说到，角点坐标为已知量，相机内参矩阵k可以通过相机标定求得，角点在图像上的像素坐标(u,v)也是已知量，构造并求解p4p方程计算出相机与地面标志物的相对位置和相对姿态，如图4所示，即可得到相机(即无人机)相对于降落板的相对位置和姿态[r|t]。
[0078]
[0079]
其中：(x,y,z)为第二次级二维码角点坐标，(u,v)为角点在图像上的像素坐标，r为姿态的旋转量，t为平移量。
[0080]
已知pc＝r*po t，pc为相机坐标系的点，po为世界坐标系的点值，r、t为世界坐标系和相机坐标系的相对外参。当po＝[0；0；0]时，pc＝t，即世界坐标原点(二维码的中心)在相机坐标系下的坐标就为t。
[0081]
在实际飞行时，为降低震动等因素带来的干扰，使相机角度固定并固连在四旋翼上，因此相机在机体坐标系中的坐标，通过坐标变换即可求解出四旋翼相对于地面标志物的相对位置和姿态。
[0082]
3、根据相对位姿数据，计算降落导航信息的步骤。
[0083]
为了使无人机平稳飞行，无人机到达降落点，开始降落后，整体分为三个阶段：初始加速：由无人机当前速度v
c
加速到指定速度v0；匀速阶段：保持v0匀速飞行；末端减速：由速度v0开始减速飞行，速度减到0刚好降落到降落平台。
[0084]
降落的末端减速应满足：
[0085][0086]
匀速阶段满足：
[0087]
s2＝v0t2[0088]
初始加速阶段：
[0089][0090]
整体应满足：
[0091]
s＝s1 s2 s3[0092]
v0≤v
max
[0093]
a≤a
max
[0094]
其中：a
max
为无人机的最大加速度，v
max
为无人机的最大速度，v0为无人机匀速飞行的速度，v
c
为无人机开始降落时的速度，a为无人机变速时的加速度，t1、t2、t3分别为末端减速、匀速、初始加速三个阶段的时间，s1、s2、s3分别为对应末端减速、匀速、初始加速三个阶段的飞行里程，s为无人机飞行总里程。
[0095]
通过以上数学关系，可以算出无人机在降落过程中相应位置时的期望速度，由此组成相应的降落导航信息组成相应的降落导航信息为三轴期望速度，其中v0、v
c
、a、s、a
max
、v
max
为预先设计的已知量。
[0096]
如果降落目标是移动目标，并且移动速度为则最终降落导航信息指令为：
[0097]
[0098]
4、控制无人机以降落导航信息的引导进行降落的步骤。
[0099]
计算出上述导航信息指令后，通过串口将该指令发送给飞控计算机，以作为速度控制的期望值，飞控计算机对速度进行跟踪，根据降落导航信息指令指示的速度期望值对相应位置的降落速度进行控制。
[0100]
本发明实施例中，还设计了异常情况的响应步骤。
[0101]
5、异常情况处理
[0102]
无人机降落过程中，如果目标(降落平台)丢失，无人机原地向上拉升，重新搜寻目标，当然，此为较为常规的设计。如果依然无法获得目标，以无人机任务开始点(着降点)为圆心，做半径r的圆周飞行，寻找目标。如果仍旧无法获取目标，则强行进入自主降落模式。另外，如果无人机在搜寻目标的过程中，飞行的高度过低，小于安全降落阀值，也强行进入自主降落模式。所谓的自主降落模式，为以垂直方向上做匀减速的降落，或者如以0.1m/s的速度降落，即不执行三个阶段的降落。
[0103]
实施例二
[0104]
本实施例公开了另一种基于多尺寸、嵌套式图案引导无人机降落的方法，该方法大体与实施例一的方法相同，唯一不同之处在于，对于各二维码的唯一性标识设计，不是以色块进行设计，而是分别为各二维码配置链接地址，指向唯一的标识。
[0105]
实施例三
[0106]
无人机上安装有相机、雷达、imu(惯性导航设备)、gps(全球定位设备)、定位导航设备、机载计算机、飞控计算机等，机载计算机采用nvidianx，以通用微型无人机通信协议(mav_link)通过串口(mavros)与飞控计算机进行通信，将飞行指令(如起飞导航信息、规划导航信息、降落导航信息等)通过串口发送给飞控计算机，实现自主飞行和降落。
[0107]
无人机上的相机、机载计算机、分控计算机与设计了多尺寸、嵌套式图案的降落平台构成引导无人机降落的系统。
[0108]
无人机根据规划导航信息正常飞行，在正常飞行过程中，关闭相机，由rtk(real
‑
time kinematic，实时差分定位)引导无人机的飞行。待无人机飞行至着降点上空有效区域，或者接收到降落指令后，启动相机，采集下方图像并传送给机载计算机进行目标检测。
[0109]
所谓的着降点上空有效区域，是指着降点上空的预定高度内，无人机的高度h由相机的内参和降落板尺寸综合确定，如图1所示，h通过针孔成像模型计算得到：
[0110][0111]
其中：f为相机焦距，x’为成像平面x轴最大值，x
‑‑
降落平台x轴最大值。
[0112]
机载计算机从采集的图像中识别出降落平台。前文已经说到，降落平台由多尺寸、嵌套式设计的二维码进行了标识。机载计算机检测到二维码，则表示识别到了降落平台。无人机降落过程中，需要通过多次采集图像来不断确定降落平台的位置，以实现对降落平台的跟踪，如图2所示为降落平台的检测流程，其中获取的图像为视频流，在视频流的当前帧中检测降落平台，若未检测到，则继续对下一帧进行目标检测；若检测到降落平台，则对后续帧中的降落平台进行目标跟踪，在目标丢失(即跟踪失败)时，即从某一帧开始未检测到降落平台时，则从丢失目标的下一帧开始重新检测降落平台，以此循环。对于跟踪成功的帧图像，对采集的图像进行二维码定位识别，在识别到二维码后，即进行一次位置解算，得到
高度数据，然后再重新执行以上流程以计算新的高度数据。
[0113]
当无人机离降落平台足够远时，会自动选择识别主二维码；随着距离的拉近，视野变小，会自动选择识别第一次级二维码；而当无人机位置发生偏移时，只能“看到”降落平台的局部，则此时会自动选择识别第二次级二维码。至于如何实现在同一画幅中，自动选择识别主二维码而不是第一次级二维码或第二次级二维码，可以通过在机载计算机中对主二维码、第一次级二维码、第二次级二维码的识别优先级进行设定，将主二维码设定为最高优先级，第一次级二维码次之，第二次级二维码的优先级最低。在一些实施例中，通过分别为主二维码、第一次级二维码、各个第二次级二维码配置一一对应的标识来确定各二维码的唯一性，而对各二维码的标识的优先级进行设定，即实现对各二维码识别优先级的设定。在一个实施方式中，各二维码分别链接到各自的标识。在另一个具体实施方式中，将各二维码视为由若干色块阵列排布而成，识别各色块(黑/白)的取值，例如黑色为1，白色为0，将以顺序识别出的色块值构成字符串，作为对应二维码的id号(即标识)。机载计算机根据采集的图像识别出id号后，进行id号匹配，以同画幅中优先级最高的id号对应的二维码作为识别目标。
[0114]
机载计算机根据检测到的降落平台，计算无人机与降落平台间的相对位姿数据：
[0115]
各二维码的边长已知，则各非主二维码与主二维码之间的位置关系为可简单推导得到，可配置为已知参数。在无人机识别非主二维码时，根据各非主二维码与主二维码之间的位置关系，即可确定出该非主二维码在降落平台上的位置。仍以上述实施例中设计四个外围第二次级二维码为例，主二维码设计于降落平台的正中心，以主二维码的中心作为坐标系原点，各第二次级二维码的角点坐标在该坐标系中的坐标分别分布在四个象限中。其中，以第三二维码3为例，第三二维码3的左上角的角点坐标在以降落平台为原点的坐标系中满足以下关系，其他的第四二维码～第六二维码的角点坐标同理求取：
[0116][0117]
其中：ll0
‑‑‑‑
中外间围大四的个二二维维码码1的的边边长长
[0118]
图1所示的针孔相机模块还示出了相机的成像原理。基于该原理及相关理论，可以得到降落平台所处的空间上的点的三维坐标与采集的图像上的像素坐标的对应关系。以第二次级二维码角点(x,y,z)为例，该角点通过外参矩阵[r|t]转换到相机坐标系，然后通过投影模型(相机内参矩阵k)投影到图像平面。前文已经说到，角点坐标为已知量，相机内参矩阵k可以通过相机标定求得，角点在图像上的像素坐标(u,v)也是已知量，构造并求解p4p方程计算出相机与地面标志物的相对位置和相对姿态，如图4所示，即可得到相机(即无人机)相对于降落板的相对位置和姿态[r|t]。
[0119][0120]
其中：(x,y,z)为第二次级二维码角点坐标，(u,v)为角点在图像上的像素坐标，r为姿态的旋转量，t为平移量。
[0121]
已知pc＝r*po t，pc为相机坐标系的点，po为世界坐标系的点值，r、t为世界坐标系和相机坐标系的相对外参。当po＝[0；0；0]时，pc＝t，即世界坐标原点(二维码的中心)在相机坐标系下的坐标就为t。
[0122]
在实际飞行时，为降低震动等因素带来的干扰，使相机角度固定并固连在四旋翼上，因此相机在机体坐标系中的坐标，通过坐标变换即可求解出四旋翼相对于地面标志物的相对位置和姿态。
[0123]
机载计算机还根据相对位姿数据，计算降落导航信息。
[0124]
为了使无人机平稳飞行，无人机到达降落点，开始降落后，整体分为三个阶段：初始加速：由无人机当前速度v
c
加速到指定速度v0；匀速阶段：保持v0匀速飞行；末端减速：由速度v0开始减速飞行，速度减到0刚好降落到降落平台。
[0125]
降落的末端减速应满足：
[0126][0127]
匀速段满足：
[0128]
s2＝v0t2[0129]
初始加速阶段：
[0130][0131]
整体应满足：
[0132]
s＝s1 s2 s3[0133]
v0≤v
max
[0134]
a≤a
max
[0135]
其中：a
max
为无人机的最大加速度，v
max
为无人机的最大速度，v0为无人机匀速飞行的速度，v
c
为无人机开始降落时的速度，a为无人机变速时的加速度，t1、t2、t3分别为末端减速、匀速、初始加速三个阶段的时间，s1、s2、s3分别为对应末端减速、匀速、初始加速三个阶段的飞行里程，s为无人机飞行总里程。
[0136]
通过以上数学关系，可以算出无人机在降落过程中相应位置时的期望速度，由此组成相应的降落导航信息组成相应的降落导航信息为三轴期望速度，其中v0、v
c
、a、s、a
max
、v
max
为预先设计的已知量。
[0137]
如果降落目标是移动目标，并且移动速度为则最终降落导航信息指令为：
[0138][0139]
分控计算机根据机载计算机计算出的降落导航信息控制无人机降落。
[0140]
无人机的底层控制由飞控计算机(px4)执行，机载计算机计算出上述导航信息指
令后，通过串口将该指令发送给飞控计算机，以作为速度控制的期望值，飞控计算机对速度进行跟踪，根据降落导航信息指令指示的速度期望值对相应位置的降落速度进行控制。
[0141]
进一步的，机载计算机上还配置有应急处理程序，运行该程序以向飞控计算机发送指令。
[0142]
无人机降落过程中，如果目标(降落平台)丢失，飞控计算机根据指令控制无人机原地向上拉升，重新搜寻目标，当然，此为较为常规的设计。如果依然无法获得目标，飞控计算机根据指令控制无人机以无人机任务开始点为圆心，做半径r的圆周飞行，寻找目标。如果仍旧无法获取目标，则强行机载计算机控制分控计算机进入自主降落模式。另外，如果无人机在搜寻目标的过程中，飞行的高度过低，小于安全降落阀值，机载计算机控制分控计算机强行进入自主降落模式。所谓的自主降落模式，为以垂直方向上做匀减速的降落，例如以0.1m/s的速度降落，即不执行三个阶段的降落。
[0143]
实施例四
[0144]
本实施例公开了一种基于二维码引导无人机精准降落的系统，搭载于无人机上。需要说明的是，本实施例中的二维码均可替换为其余计算机可读图案。
[0145]
首先需要说明的是，无人机上安装有相机、雷达、imu(惯性导航设备)、gps(全球定位设备)、定位导航设备、机载计算机、飞控计算机等，机载计算机采用nvidianx，以通用微型无人机通信协议(mav_link)通过串口(mavros)与飞控计算机进行通信，将飞行指令(如起飞导航信息、规划导航信息、降落导航信息等)通过串口发送给飞控计算机，实现自主飞行和降落。
[0146]
系统还包括设置于降落平台上多个二维码构成的标识图像，与常规的单个二维码不同的是，本实施例中的标识图像包括多尺寸、嵌套式二维码，在主二维码内部，嵌套设计第一次级二维码，在主二维码的周围，成周向设计了多个第二次级二维码，同样的，第二次级二维码优选为4个或以上，沿周向均匀排布。主二维码的尺寸较第一次级二维码和第二次级二维码的尺寸都要大得多。如图3所示，在一个具体实施方式中，以第一二维码1作为主二维码，在其内部中央设置第二二维码2作为第一次级二维码，在第一二维码1的四个角上，分别设计了4个第二次级二维码，分别为第三二维码3、第四二维码4、第五二维码5和第六二维码6。
[0147]
当无人机离降落平台足够远时，能够拍摄到所有二维码；随着距离的拉近，视野变小，则仅能“看到”第一次级二维码；而当无人机位置发生偏移时，则能“看到”降落平台的局部上的某个第二次级二维码。
[0148]
机载计算机包括目标识别部、位姿计算部和导航规划部。具体的：
[0149]
目标识别部从相机采集的图像中识别出降落平台。
[0150]
前文说到，降落平台上设置有二维码图像，该二维码图像包括主二维码、第一次级二维码和第二次级二维码。在目标识别部中，对各二维码预先配置了识别优先级，其中，将主二维码设定为最高优先级，第一次级二维码次之，第二次级二维码的优先级最低。在一些实施例中，通过分别为主二维码、第一次级二维码、各个第二次级二维码配置一一对应的标识来确定各二维码的唯一性，而对各二维码的标识的优先级进行设定，即实现对各二维码识别优先级的设定。在一个具体实施方式中，将各二维码视为由若干色块阵列排布而成，各色块(黑/白)中，将黑色的识别结果设定为1，白色设定为0，则在识别二维码时，将以顺序
(如横向识别顺序)识别出的色块值构成字符串，作为对应二维码的id号(即标识)，通过对id号设置优先级，即实现对各二维码识别优先级的设定。
[0151]
目标识别部在同一画幅中，以识别出的最高优先级的二维码作为识别目标，即只要有主二维码的图像，则以主二维码作为识别目标，而不识别其他的二维码，否则，以第一次级二维码作为识别目标或者以第二次级二维码作为识别目标。具体的，在识别出若干二维码的标识时，在配置的优先级表中，匹配出最高优先级的标识所对应的二维码作为识别目标。例如上述的设计，在同一画幅中发现多个二维码时，分别通过色块值得到各二维码的id号，通过在优先级表中匹配id号，得到各二维码的优先级，以最高优先级的二维码作为识别目标。
[0152]
位姿计算部根据目标识别部识别出降落平台，计算无人机与降落平台间的相对位姿数据。
[0153]
在前述实施例中已经说到，二维码图像中的各非主二维码与主二维码之间的相对位置已知，主二维码设计在降落平台的中心位置(当然，也可以不在中心位置，这对于算法的执行没有影响)，以降落平台的中心位置作为坐标系原点，则各非主二维码在该坐标系中的坐标也可作为已知量。
[0154]
根据图1示出的针孔相机模块的成像原理，可以得到降落平台所处的空间上的点的三维坐标与采集的图像上的像素坐标的对应关系。以第二次级二维码角点(x,y,z)为例，该角点通过外参矩阵[r|t]转换到相机坐标系，然后通过投影模型(相机内参矩阵k)投影到图像平面。前文已经说到，角点坐标为已知量，相机内参矩阵k可以通过相机标定求得，角点在图像上的像素坐标(u,v)也是已知量，构造并求解p4p方程计算出相机与地面标志物的相对位置和相对姿态，如图4所示，即可得到相机(即无人机)相对于降落板的相对位置和姿态[r|t]。
[0155][0156]
其中：(x,y,z)为第二次级二维码角点坐标，(u,v)为角点在图像上的像素坐标，r为姿态的旋转量，t为平移量。
[0157]
已知pc＝r*po t，pc为相机坐标系的点，po为世界坐标系的点值，r、t为世界坐标系和相机坐标系的相对外参。当po＝[0；0；0]时，pc＝t，即世界坐标原点(二维码的中心)在相机坐标系下的坐标就为t。
[0158]
在实际飞行时，为降低震动等因素带来的干扰，使相机角度固定并固连在四旋翼上，因此相机在机体坐标系中的坐标，通过坐标变换即可求解出四旋翼相对于地面标志物的相对位置和姿态。
[0159]
导航规划部根据位姿计算部计算出的相对位姿数据，计算降落导航信息。
[0160]
为了使无人机平稳飞行，无人机到达降落点，开始降落后，整体分为三个阶段：初始加速：由无人机当前速度v
c
加速到指定速度v0；匀速阶段：保持v0匀速飞行；末端减速：由速度v0开始减速飞行，速度减到0刚好降落到降落平台。
[0161]
降落的末端减速应满足：
[0162][0163]
匀速段满足：
[0164]
s2＝v0t2[0165]
初始加速阶段：
[0166][0167]
整体应满足：
[0168]
s＝s1 s2 s3[0169]
v0≤v
max
[0170]
a≤a
max
[0171]
其中：a
max
为无人机的最大加速度，v
max
为无人机的最大速度，v0为无人机匀速飞行的速度，v
c
为无人机开始降落时的速度，a为无人机变速时的加速度，t1、t2、t3分别为末端减速、匀速、初始加速三个阶段的时间，s1、s2、s3分别为对应末端减速、匀速、初始加速三个阶段的飞行里程，s为无人机飞行总里程。
[0172]
通过以上数学关系，可以算出无人机在降落过程中相应位置时的期望速度，由此组成相应的降落导航信息指令组成相应的降落导航信息指令为三轴期望速度，其中v0、v
c
、a、s、a
max
、v
max
为预先设计的已知量。
[0173]
如果降落目标是移动目标，并且移动速度为则最终降落导航信息指令为：
[0174][0175]
机载计算机通过串口将计算出的降落导航信息发送给飞控计算机，飞控计算机根据降落导航信息指令指示的速度期望值对对应位置的降落速度进行控制。
[0176]
实施例五
[0177]
本发明还公开了上述实施例一在ros软件中的实现方式。
[0178]
如图5所示，usb_cam node通过相机获取图像信息并发布话题usb_cam/image_raw，视觉识别算法订阅话题usb_cam/image_raw，进行检测识别并计算降落平台相对无人机的位姿关系，并发布检测结果object_detection/landpad_det，自主降落算法通过订阅话题object_detection/landpad_det，进行坐标转换并计算降落导航信息，发布控制指令话题：/control_command，并通过mav_ros发送给飞控计算机，由飞控计算机完成跟踪控制。
[0179]
本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。