一种无人艇载无人机海空协同视觉跟踪与自主回收方法与流程

1.本发明涉及无人控制技术与应用技术领域，尤其涉及无人艇载无人机基于视觉导航的目标跟踪和自主回收方法。


背景技术：

2.无人艇具有体积小，成本低，无人员伤亡等优点，在海洋探测、海洋主权维护和执行搜救等领域应用广泛。但是在其移动速度相对较慢、特殊海域的不可达性限制了无人艇的任务范围。而无人机同样具有成本低、无人员伤亡、功能多样的特点，并且无人机还具有机动灵活这一特点，能够有效的弥补无人艇的缺陷。通过在无人艇上携载无人机，来扩大无人机的飞行距离和执行任务的范围，在无人机上搭载摄像头将视角移到空中可以为无人艇提供空中视角和远程侦察，可以对视野中的目标物进行识别和跟踪。由于无人机的续航时间短，无人艇上搭载有无人艇续航的电源设备，在无人机任务完成后或续航能力不足时，能够自主降落到无人艇的特定区域内。目前的目标跟踪算法对于长时间跟踪都有不同方面的缺点，且在跟踪目标快速运动时易出现目标偏移等问题，需要提出一种能够长时间对目标准确的跟踪算法；无人艇和大型的舰船不同，其尺寸小，所以供无人机起降的区域的大小和位置较小，对无人机自主导航降落的精度要求较高。另外，在无人机着艇过程中，对合作目标识别的快速性和准确性是核心问题，海面的反光影响、无人艇上面安装有天线以及一系列感知设备，容易对合作目标造成一定的遮挡。海空协同与地空协同不同，即使无人艇停止航行，由于海面的影响，无人艇也不会静止不动，使无人机返航难度增大。无人机在降落过程中难度很大，极易发生事故，能否准确跟踪和自主降落成功与否就决定了空海协同工作成败的关键。
3.目前，国内外针对这个部分的研究还很少，大多是降落到静止的标志物上，并且不考虑目标的遮挡和海面反光造成的标识码识别失败问题。常用的引导无人机降落的辅助系统有：全球定位系统(gps)、惯性导航系统和视觉导航系统。但在移动导航中，移动gps接收机定位精度受卫星信号状况和外界环境的影响只能到米级；惯性导航的误差会随着时间的累积越来越大，甚至发散。二者均无法满足无人机降落到无人艇上的精度要求。视觉导航通过识别设计好的标识码，可以把定位精度降低到厘米级，可是在无人机降落过程中由于海面反光和遮挡易造成标识码定位失败；在近艇端，仍会出现无人机视野内标识丢失、位姿解算不准确的问题，最终导致无人机降落失败。


技术实现要素：

4.根据现有技术存在的问题，本发明公开了一种无人艇载无人机海空协同视觉跟踪与自主回收方法，具体包括如下步骤：
5.跟踪阶段：无人机采用摄像头利用深度学习的目标检测算法对无人艇进行搜索，当在帧图像中识别到无人艇后，将无人艇所在图像中的位置初始化k
‑
cftld目标跟踪算法，利用k
‑
cftld目标跟踪算法获得目标在图像中的位置信息，从而对无人艇进行动态跟踪；
6.下降阶段：当收到降落指令时，无人机下降到指定高度，采用机载摄像头对无人艇上设置的标识码进行识别，通过改进的标识码检测算法检测图片从而识别标识码，并获取无人机相对于艇端标识码的相对位置信息δx、δy和高度h，通过相对位置信息给定下降速度，使无人机不断靠近无人艇的降落平台；
7.当机艇之间高度小于设定值h1，则启用艇载摄像头对无人机底端设置的标识码进行识别并获取无人机相对于艇载摄像头的相对位置信息δx、δy和高度h，将机载摄像头和艇载摄像头获取的相对位置信息进行数据融合，将高度h和高度h分配权重，对相对位置信息δx、δy、δx、δy进行判断决策获得无人机靠近无人艇阶段的视觉定位信息，从而输出无人机调整飞行位姿的控制信息；
8.基于无人机相对于无人艇的相对位置信息调整无人机的姿态使无人机跟随无人艇运动，缩小无人机相对于降落平台的二维平面上的误差，根据无人机相对于标识码的垂直距离，给定相应的下降速度控制无人机降落到标识码的正中心。
9.进一步的，在跟踪阶段，采用k
‑
cftld目标跟踪算法获得目标在图像中的位置时：
10.对无人艇进行动态跟踪过程中，k
‑
cftld目标跟踪算法对无人艇视觉跟踪时，具有跟踪框包围无人艇，并根据无人艇在帧图像中所占的比例和位置，不断调整跟踪框的大小和位置，根据跟踪框在图像中的位置，计算跟踪框正中心与帧图像正中心的相对位置偏差δx、δy，以得到的偏差δx、δy为控制命令控制无人机在水平方向上的移动，实现对无人艇动态跟踪；
11.在k
‑
cftld目标跟踪算法中设置跟踪自校正环节，当跟踪结果的置信度低于设定阈值时，重启深度学习的目标检测算法进行目标检测，再次初始化k
‑
cftld目标跟踪算法进行无人艇的动态跟踪。
12.进一步的，在下降阶段，当机载摄像头识别到艇端标识码，将标识码所在图像中的位置信息初始化k
‑
cftld目标跟踪算法，当能识别到标识码时，根据无人机相对于艇端标识码的相对位置信息进行降落控制，当海面出现反光或标识码被部分遮挡时，采用k
‑
cftld目标跟踪算法对标识码进行跟踪控制。
13.进一步的，通过改进的标识码检测算法检测图片从而识别标识码具体采用如下方式：
14.当检测到标识码时框选出标识码所在的矩形边框，将检测到的标识码的位置作为初始位置，初始化k
‑
cftld目标跟踪算法进行视觉追踪，通过对标识码的识别进行角点检测，确认标识码的四个正方形顶点，求出标识码的正中心点和帧图像中心点在二维平面内的偏差δx和δy，以标识码的四个顶点作为特征点，将标识码平面转换到相机成像平面，在已知标识码的尺寸和标识码特征点的位置关系的前提下，根据pnp算法计算出相机外参矩阵旋转矩阵r和平移矩阵t，当得到旋转矩阵和平移向量后，经过坐标变换得到摄像机在世界坐标系中的三维坐标。
15.由于采用了上述技术方案，本发明提供的一种无人艇载无人机海空协同视觉跟踪与自主回收方法，该方法利用目标检测和目标跟踪相结合的方式，并根据目标检测模块设置目标跟踪自矫正模块，能够有效的解决目标跟踪算法长时间跟踪不准确的缺陷，提高系统的鲁棒性；本方法用标识码是aruco码，aruco是进行相机姿态估计的开源库，具有比其他库更快的运算速度。aruco码采用内部编码的方式，可以通过内部id确定标识码方向，减少
误判，标识码识别后的边框信息可以直接运用到视觉定位的位姿解算中。本发明艇端摄像头的设计，为视觉导航的无人机提供一个位置信息，并且避免无人机降落过程中随着高度降低导致标识物图像超出相机视野范围，解决无人机降落至超低空时定位不准的问题，提高自主降落的准确性和鲁棒性。
16.另外本方法采用aruco码定位算法和以tld算法为框架改进的尺度自适应kcf跟踪算法相结合的自主降落算法，能够有效解决在降落过程中，机载摄像头视野中aruco码定位算法失效所导致的降落失败的问题，提高降落的成功率。
17.另外本方法能够不依赖gps，利用俯视和仰视两个视角对无人机进行视觉导航，实现在无人艇运动状态下，无人机的自主跟随和降落。现有研究中，针对无人机降落至运动的无人艇上的研究很少，本发明为这方面提供了一种方法，弥补了这方面研究的不足。
附图说明
18.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1(a)为本发明无人艇降落平台上标识码示意图；
20.图1(b)为无人机底端标识码图案示意图；
21.图2为本发明无人机自主降落系统示意图；
22.图3为改进的tld kcf辅助定位算法；
23.图4(a)为本发明机载摄像头坐标系统示意图；
24.图4(b)为本发明机载摄像头坐标系统示意图；
25.图5为本发明降落方案流程图；
26.图6为本发明装置的硬件连接示意图。
具体实施方式
27.为使本发明的技术方案和优点更加清楚，下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚完整的描述：
28.本发明公开的方法通过利用深度学习的目标检测方法与改进后的k
‑
cftld目标跟踪算法相结合的方式，对无人艇进行动态跟踪，并利用校正模块来防止出现运动无人艇的错误跟踪；设计海空协同的视觉导航方式，通过在无人机和无人艇上均搭载摄像头，由视觉识别标识码并搭配抗遮挡目标跟踪算法，旨在弥补传统的基于视觉导航无人机降落系统的不足。
29.如图1所示，首先设计了以二进制编码为基础的标识码，基于增强现实库aruco算法的视觉定位方法，标识具体设计如下：标识码是由五个纯黑方块和四个aruco码组成的九宫格样式，五个纯黑方块分布在码的四个顶点及中心位置，其余四个aruco码置于剩下的四个底色为白色的空位中且大小一致，边长为纯黑方块的2/3。aruco码是由6*6个方格组成，且外圈方格均为黑方块，中间被包围的是id不同的二维码。标识码中四个aruco码分布为由上至下，从左到右的id依次为：1、2、3、7。方形标识码能够迅速算出其中心坐标，从而得到相
对位姿解算结果。四个方向的aruco码既提高了标识码的识别率，也能根据其id确定方向。在无人机跟随降落的过程中，既可识别整个标识码，也可识别单个aruco码，以视野内出现的id最小的码进行位姿估计。
30.在位于中心位置的黑方块处，安装作为艇端辅助视觉定位的向上视角的摄像头，降落平台摄像头将对无人机上的单个aruco码进行识别，识别结果在无人机近艇端降落阶段生效。
31.如图2所示的一种无人艇载无人机海空协同视觉跟踪与自主回收方法，具体包括如下步骤：
32.步骤s1:所述的方法中，无人机执行完任务后，飞到无人艇位置附近，无人机在上空调用摄像头利用深度学习的目标检测算法对无人艇进行搜索，一旦识别到无人艇，初始化改进的k
‑
cftld目标跟踪算法对无人艇动态跟踪。
33.具体的，所述的无人机的设定是四旋翼无人机，无人机通过图像处理模块检测无人艇，获取无人艇所在图像中的位置，将无人艇所在位置初始化改进的目标跟踪算法，改进的目标跟踪算法框图如图3所示，实现对无人艇的视觉跟踪，根据跟踪框在图像中的位置，计算相对偏差，以得到的偏差为控制命令控制无人机对无人艇动态跟踪。为防止跟踪出现偏差，设置了跟踪自校正环节，当跟踪模块的置信度低于设定的阈值，重启yolov5检测目标，再次初始化改进的目标跟踪算法，达到稳定跟踪的效果。
34.步骤s2:在收到降落命令后，无人机下降到指定高度后使用机载摄像头对无人艇上设计的合作标识码进识别检测，当标识码出现在摄像头视野中，通过改进的标识码检测算法以20ms一帧的速率检测图片，能够快速的识别检测到标识码。
35.具体的，无人艇上的降落标识码如图1中的(a)所示，安装在无人艇的降落平台上。为了获取图像准确，先对机载摄像头标定，获得相机的内参矩阵k。对获取的帧图片进行图像灰度处理，减少运算量，使用自适应阈值法寻找灰度图中的轮廓，对得到的轮廓进行多边形逼近，得到四边形的轮廓，经过透视变换得到多变形的正视图，利用大津算法对得到的四边形阈值处理，得到内部二进制的编码信息，与预先定义的字典相匹配，得到有效的合作标识码。
36.步骤s3:通过机载摄像头识别标识码，将检测到的标识码的第一帧位置初始化k
‑
cftld目标跟踪算法。利用标识码信息解算出无人机的位置信息和姿态信息。经过坐标系转换，计算出无人艇上的标识码相对无人机的位置。计算无人机与无人艇的位置偏差和k
‑
cftld目标跟踪算法中图像正中心和标识码正中心的偏差δx、δy，采用扩展卡尔曼滤波预测降落平台的移动特性。
37.具体的，一旦检测到目标标识码，框选出标识码所在的矩形边框，将检测到的标识码的位置作为初始位置给到本文所融合的k
‑
cftld目标跟踪算法进行视觉的追踪，通过特征点进行相机位姿解算。通过角点检测确认标识码的四个正方形顶点，可以求出标识码的正中心点和帧图像中心点在二维平面内的偏差δx、δy；以此四个顶点作为特征点，将标识码平面转换到相机成像平面，计算出相机外参矩阵，旋转矩阵r和平移矩阵t。
38.进一步的，解算位姿信息需要进行坐标系转换。经推导，转换公式如下：
[0039][0040]
其中，(u，v)为像素坐标，(x
w
,y
w
,z
w
)为世界坐标，z
c
为无人机相对降落平台的高度，等式右边第一个矩阵是相机内参，第二个矩阵是相机外参。
[0041]
若标识码在海面反光的情况下或者被部分遮挡，此时标识码无法提供无人机和标识码的相对位置信息，当标识码定位算法失效后，采用k
‑
cftld目标跟踪算法提供二维平面内的图像正中心和标识码正中心的偏差δx、δy。k
‑
cftld目标跟踪算法在追踪标识码的过程中，会在标识码周围产生一个矩形框，随着无人机不断靠近，矩形框的大小不断改变，根据矩形框的中心点与图像的中心点的位置偏差来实时反馈无人飞行器与无人水面艇的相对位置。对于目标定位均为一帧一帧的处理，得到的位置数据为离散数据，为了满足实时性的要求，采用扩展的卡尔曼滤波预测无人艇的位置和速度，并将预测得到的相对位置信息作为控制量控制无人机。
[0042]
步骤s4：艇端摄像头的识别结果有效后，计算出无人机相对降落平台的位置，经过如图4所示的坐标系统一，得到降落平台相对无人机位置。计算无人艇与无人机的位置偏差δx、δy。将两个摄像头的识别结果进行融合，获得无人机在近艇端降落阶段的位置信息和姿态信息。
[0043]
具体的，两个摄像头同时有效时，位置偏差需要进行融合再用作输入，融合后的为和由于观测角度的改变，需要将两个摄像头获得的位置偏差统一坐标系，具体做法如图4。
[0044]
步骤s5：根据步骤s3和s4得到的位置信息，不断调整无人机的姿态使无人机跟随无人艇运动，不断缩小无人机相对于降落平台的二维平面上的误差，降落过程中根据无人机相对于标识码的垂直距离，给定相应的下降速度，使无人机顺利降落到标识码的正中心。
[0045]
具体的，无人机跟踪控制中，根据标识码在视觉传感器中所得到的位置信息来控制无人飞行器的移动，为了实现稳定的跟踪效果，在控制器的选择上采用了基于扩张观测器的积分反步控制算法。在远艇阶段，采用机载摄像头提供定位信息，在近艇阶段由融合的机载和艇载摄像头的定位信息，经过控制器后输出飞行器的期望速度控制输入量，控制器得出的速度控制量同步给无人机，得出无人飞行器输出的实际速度。根据无人机相对于标识码的垂直高度，切换无人机垂直方向上的下降速度，使无人机安全的降落到标识码上。
[0046]
综上所述：
[0047]
基于视觉的目标区域识别检测，初始化k
‑
cftld目标跟踪算法，对帧图像进行处理，快速确定无人艇位置，解算所需信息，对无人艇动态跟踪；
[0048]
在降落阶段，通过对无人机的姿态估计，通过已经标定过的摄像头计算出无人机实时的姿态，得到旋转、平移矩阵和相对高度；
[0049]
视觉融合定位，远离艇降落依赖机载摄像头定位，近艇降落除依赖机载摄像头定位，艇端摄像头辅助定位，视觉融合导航；
[0050]
无人机的动态降落，以无人机和无人艇相对距离和相对高度为降落标志，使用基
于扩张观测器的积分反步控制算法调整无人机位姿，分阶段动态降落。
[0051]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。