无人机及返航控制方法、终端、系统和机器可读存储介质与流程

1.本发明涉及控制技术领域，尤其涉及一种无人机返航控制方法、无人机、移动终端、无人机系统和机器可读存储介质。


背景技术：

2.现有无人机需要采用控制设备，例如遥控器、智能手机或者触屏模拟摇杆等，实现精准控制。对于专业用户而言，由于具有丰富的使用经验，能够快速且精准地控制无人机。而对于普通用户而言，大部分未接触过无人机，需要付出较大的精力和时间学习精准控制。然而，在学习过程会出现控制不准的情况，此时无人机会降落在目标地点之外，损伤无人机，这样会降低用户使用体验。


技术实现要素：

3.本发明提供一种无人机返航控制方法、无人机、移动终端、无人机系统和机器可读存储介质。
4.根据本发明的第一方面，提供一种无人机返航控制方法，配置在无人机侧，所述方法包括：
5.在接收到返航触发指令之后，获取所述无人机和目标之间的相对距离；
6.控制所述无人机向所述目标返航；
7.在所述相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态；
8.在所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
9.根据本发明的第二方面，提供一种无人机返航控制方法，配置在移动终端侧，所述方法包括：
10.根据目标对象的触发操作生成返航触发指令；
11.将所述返航触发指令发送给无人机，所述返航触发指令用于控制所述无人机向所述目标返航，且在所述无人机与所述目标之间的相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
12.根据本发明的第三方面，提供一种无人机返航控制方法，所述方法包括：
13.移动终端生成返航触发指令发送给无人机；
14.所述无人机在接收到返航触发指令之后，获取与目标之间的相对距离；
15.所述无人机向目标返航过程中，在所述相对距离等于相对距离阈值时，调整飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
16.根据本发明的第四方面，提供一种无人机，所述无人机包括处理器，所述处理器用于：
17.在接收到返航触发指令之后，获取所述无人机和目标之间的相对距离；
18.控制所述无人机向所述目标返航；
19.在所述相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
20.根据本发明的第五方面，提供一种移动终端，所述移动终端包括处理器，所述处理器用于：
21.根据目标对象的触发操作生成返航触发指令；
22.将所述返航触发指令发送给无人机，所述返航触发指令用于控制所述无人机向所述目标返航，且在所述无人机与所述目标之间的相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
23.根据本发明的第六方面，提供一种无人机系统，所述系统包括无人机和移动终端；其中，
24.所述移动终端用于生成返航触发指令发送给所述无人机；
25.所述无人机用于在接收到返航触发指令之后，获取与目标之间的相对距离；
26.所述无人机还用于向所述目标返航过程中，在所述相对距离等于相对距离阈值时，调整飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
27.根据本发明的第七方面，提供机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：
28.在接收到返航触发指令之后，获取无人机和目标之间的相对距离；
29.控制所述无人机向所述目标返航；
30.在所述相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
31.根据本发明的第八方面，提供一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：
32.根据目标对象的触发操作生成返航触发指令；
33.将所述返航触发指令发送给无人机，所述返航触发指令用于控制所述无人机向所述目标返航，且在所述无人机与所述目标之间的相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态，并使所述无人机处于悬停状态时，调整云台的姿态，其中，所述云台配置在所述无人机上，用于安装拍摄设备。
34.由以上本发明实施例提供的技术方案可见，本发明在接收到返航触发指令后，获取无人机与目标之间的相对距离，控制无人机向该目标返航；根据上述相对距离确定无人机的悬停位置，在该无人机与该目标的相对距离等于相对距离阈值时，调整该无人机的飞行状态为悬停状态。可见，本发明中仅需要发送一个返航触发指令即可控制无人机返航，减少了与无人机的交互次数，降低用户学习成本。并且，本发明还可以避免用户控制精度不准确而损伤无人机的情况，提升用户使用体验。
附图说明
35.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
36.图1是本发明一实施例提供的一种无人机返航控制方法的流程示意图；
37.图2是本发明另一实施例提供的一种无人机返航控制方法的流程示意图；
38.图3是本发明又一实施例提供的一种无人机返航控制方法的流程示意图；
39.图4是本发明再一实施例提供的一种无人机返航控制方法的流程示意图；
40.图5是本发明又一实施例提供的一种无人机返航控制方法的流程示意图；
41.图6是本发明又一实施例提供的一种无人机返航控制方法的流程示意图；
42.图7是本发明又一实施例提供的一种无人机返航控制方法的流程示意图；
43.图8是本发明又一实施例提供的一种无人机返航控制方法的流程示意图；
44.图9是本发明又一实施例提供的一种无人机返航控制方法的流程示意图；
45.图10是本发明一实施例提供的无人机与目标之间相对高度的原理示意图；
46.图11是本发明一实施例提供的无人机的结构示意图；
47.图12是本发明一实施例提供的移动终端的结构示意图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。在不冲突的情况下，下述的实施例及实施方式中的特征可以相互组合。
49.图1示出了本发明一实施例提供的一种无人机返航控制方法的流程示意图。如图2所示，该无人机返航控制方法包括：
50.步骤101，在接收到返航触发指令之后，获取所述无人机和目标之间的相对距离；
51.步骤102，控制所述无人机向所述目标返航；
52.步骤103，在所述相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态。
53.本发明实施例中，在接收到返航触发指令之后，获取无人机与目标之间的相对距离，然后控制无人机向目标返航，根据该相对距离可以控制无人机返航过程中的速度以及悬停位置，最后，在相对距离等于相对距离阈值时，调整该无人机的飞行状态为悬停状态。可见，本发明仅需要一个返航触发指令即可控制无人机返航，可以减少与无人机的交互次数，降低成本。并且，还可以避免控制精度不准确而损伤无人机的情况，提升使用体验。
54.在步骤101中，上述返航触发指令可以来自移动终端，也可以由无人机主动获取。返航触发指令来自移动终端时，上述返航触发指令由移动终端根据目标(如用户、操控者、同行的其他用户等)的触发操作生成，此时返航触发指令可以是光信号、声信号、电信号或者磁信号等形式。例如，移动终端上设置有一键返航按钮，在需要无人机返航时，目标直接
触发操作上述一键返航按钮即可，此时移动终端生成返航触发指令以电磁脉冲或光信号的形式发送给无人机。又如，返航触发指令由无人机主动获取时，可以将该无人机设置为跟随模式，此时通过云台固定在无人机上的拍摄设备始终朝向目标，在目标将双手举高形成“v”字形、“u”字形或者其他形状时，如图2所示，此时接收到返航触发指令的步骤包括：
55.步骤201，拍摄设备获取目标图像；
56.步骤202，根据该目标图像确定目标的姿势；
57.步骤203，若上述姿势为指定姿势，该无人机确定接收到返航触发指令。
58.可理解的是，本发明实施例中，上述各种返航控制指令可按照需要进行选择，本发明不作限定。
59.本发明通过设置返航触发指令代替相关技术中的摇杆控制，可以减少目标与无人机的交互时间，降低交互难度，并且几乎不需要目标进行学习，降低学习成本。
60.在步骤101中，获取所述无人机和所述目标之间的相对距离主要分为三个阶段。阶段一，无人机返航之前，由拍摄设备获取无人机与目标之间的相对距离。阶段二，无人机开始返航，在返航阶段中，拍摄设备持续获取目标图像，然后根据相邻或者不相邻(例如间隔数张目标图像)的目标图像确定无人机与目标之间的相对距离。阶段三，无人机继续返航，若目标不能完整的呈现在拍摄设备的取景画面中，此时利用距离传感器获取无人机与目标之间的相对距离。
61.需要说明的是，本发明一实施例中，拍摄设备可以包括如下至少一种：摄像头、相机、vr/ar设备。距离传感器可以包括如下至少一种：激光传感器、声波传感器、雷达、双目系统、可测深度相机。本领域技术人员可以根据实际需要进行选择，本发明不作限定。
62.本发明一实施例中，拍摄设备的最大检测距离需要大于距离传感器的最大检测距离，且拍摄设备的最小检测距离需要小于或者等于该距离传感器的最小检测距离。
63.下面对各阶段获取相对距离的步骤作详细说明。
64.如图3所示，在阶段一中，获取无人机和目标之间的相对距离的步骤包括：
65.步骤301，在接收到返航触发指令时，调整拍摄设备的方向，以使拍摄设备朝向目标；
66.步骤302，若目标在拍摄设备的取景画面之内，利用拍摄设备获取至少两张目标图像；
67.步骤303，根据上述至少两张目标图像确定无人机与目标之间的相对距离。
68.需要说明的是，上述步骤303中可能无法确定无人机与目标之间的相对距离，例如无人机与目标之间距离过远，超过拍摄设备的检测范围，或者无人机与目标太近，无法解算出相对距离，此时无人机保持悬停状态，直至确定相对距离为止。下面以能够确定相对距离进行说明。
69.在阶段一确定无人机与目标之间的相对距离之后，还需要对该相对距离进行判断，然后根据判断结果决定采用阶段二或者阶段三获取相对距离。可理解的是，阶段一中还可以先采用距离传感器获取无人机与目标之间的相对距离。
70.在步骤303中，根据至少两张目标图像确定无人机与目标之间的相对距离的步骤，如图4所示，包括：
71.步骤401，从所述至少两张目标图像中选取两幅图像即第一图像和第二图像，根据
所述第一图像和所述第二图像计算位移比例矩阵；所述第一图像由拍摄设备在第一拍摄位置拍摄；
72.步骤402，获取所述拍摄设备在所述第一拍摄位置时的相机模型以及所述无人机在所述第一拍摄位置的导航坐标系；
73.步骤403，利用所述位移比例矩阵和所述相机模型计算所述目标与所述拍摄设备的位置关系；
74.步骤404，将所述位置关系转换到所述无人机的导航坐标系，得到所述无人机和所述目标之间的相对距离。
75.在步骤404中，根据云台姿态获取位于云台上的拍摄设备与无人机的第二旋转矩阵；获取拍摄设备与无人机的结构关系；根据位置关系、第二旋转矩阵和结构关系计算无人机与目标的相对距离。
76.在上述相对距离大于或者等于第一距离时，采用阶段二的方案获取相对距离，即确定以拍摄设备拍摄目标图像的方式获取无人机与目标之间的相对距离。其中，第一距离为，在目标即将超出拍摄设备取景画面时，该无人机与目标之间的相对距离。
77.在上述相对距离小于或者等于第二距离时，采用阶段三的方案获取相对距离，即利用距离传感器获取所述无人机与所述目标之间的相对距离。其中，第二距离为，在距离传感器能够检测到目标时，该无人机与目标之间的相对距离。
78.本发明一实施例中，第二距离大于或者等于第一距离，这样设置的目的是保证拍摄设备和距离传感器获取的是无人机与同一目标之间的相对距离，可以减少无人机和目标之间由于位置未知而带来的风险。无人机处于第二距离和第一距离之间时，如图5所示，本发明实施例提供的无人机返航控制方法，包括：
79.步骤501，利用拍摄设备获取至少两张目标图像确定无人机与目标之间的相对距离即第三距离；
80.步骤502，利用距离传感器获取无人机与待检测目标之间的相对距离即第四距离；
81.步骤503，若第三距离与第四距离之差大于设定阈值，则更换待检测目标，获取无人机与更换后的待检测目标之间的第四距离；
82.步骤504，若第三距离与第四距离之差小于或者等于所述设定阈值，则待检测目标或者更换后的待检测目标与上述目标为同一目标，确定距离传感器获取的第四距离为无人机与目标之间的相对距离。
83.上述设定阈值可以根据实际场景进行选择，例如，该设定阈值设置为10cm，本发明不作限定。
84.图5所示方法主要用于提高距离传感器获取的相对距离的准确度。即，当与拍摄设备获取的相对距离小于设定阈值时，可理解为两个相对距离相等，距离传感器获取的相对距离是准确的，可以采用距离传感器获取的相对距离控制无人机返航。本发明一实施例中，在第一距离之前，根据拍摄设备获取的相对距离控制无人机返航，并利用该相对距离验证此时距离传感器检测的待检测目标是否为同一目标，直至相对距离到达第一距离时切换为距离传感器，也可以在检测到两个相对距离差小于等于阈值时立刻进行切换，这样可以保证拍摄设备和距离传感器切换过程中获取的相对距离的准确性，提高无人机返航过程的控制精度。
85.实际应用中，由于目标所处位置会发生变化，使无人机与目标之间的相对距离大于第二距离(或者大于第一距离)，距离传感器无法检测到目标或者检测精度较低的情况，此时再切换至以拍摄设备拍摄目标图像的方式获取无人机与目标之间的相对距离，此切换过程可以反复多次。若无法准确获取无人机与目标的相对距离，则可以调整无人机的飞行状态为悬停状态，直至获取到准确的相对距离再返航，这样可以保证无人机的飞行安全。
86.本发明一实施例步骤102中，在接收到返航触发指令时无人机开始准备返航，此时目标所在位置可以根据拍摄设备获取的目标图像进行确定，也可以根据控制设备上的定位信息进行确定。在确定无人机与目标之间的相对距离后，无人机向目标返航的过程中，根据该无人机与目标之间的相对距离控制无人机返航的飞行速度，例如，无人机可以匀速飞行到悬停位置，也可以匀减速飞行到悬停位置，还可以先加速到预设速度再降速飞行到悬停位置。
87.一实施例中，根据相对距离控制无人机返航的飞行速度，如图6所示，包括：
88.步骤601，在相对距离大于第二距离时，控制无人机以变速飞行。
89.步骤602，在相对距离小于第二距离且大于第一距离时，控制无人机匀速飞行。
90.步骤603，在相对距离小于第一距离时，控制无人机减速飞行。
91.上述变速可指无人机从高速降速飞行，或者从静止(或者低速)提速度至预设速度再降速飞行。例如，无人机机头朝向目标(或者机头与目标之间可以有一定的夹角)，由于无人机无需调整飞行方向，其具有较高的飞行速度，此时控制无人机降速飞向目标。又如，无人机处于悬停状态，此时无人机的飞行速度为零，需要先提速到预设速度再降速飞向目标。再如，无人机还可以直接保持当前飞行速度飞行至目标。
92.本技术一实施例中，无人机返航过程的飞行速度可以随着无人机与目标之间相对距离的减小而降低。当然，无人机的飞行速度也可以与相对距离成线性比例关系，本领域技术人员可以根据实际场景进行选择，本发明不作限定。
93.为保证无人机最终悬停在目标前方，例如胸前，本发明一实施例中，还在控制无人机向目标返航的过程中调整无人机的飞行高度，包括：
94.根据目标在拍摄设备的取景画面中心和云台的俯仰角位于俯仰角预设范围之内的原则，调整无人机的飞行高度，以使无人机的飞行高度与目标平齐。
95.由于距离传感器仅能确定无人机与目标之间的直线距离，在无人机头部朝向与水平面成一定夹角时，距离传感器确定的悬停位置会偏离期望的悬停位置，例如，悬停在目标头部附近，高于目标胸前位置。为此，本发明一实施例中无人机飞行高度的调整过程需要在第二距离或者第一距离之前完成，经过调整后使距离传感器与目标保持平齐，这样距离传感器可直接检测与其处于同一平面(或者近似同一平面)的目标的相对距离，从而提高无人机最后悬停位置的准确性。
96.需要说明的是，本发明实施例中，可先调整无人机的飞行高度，然后再调整无人机与目标之间的相对距离；当然，飞行高度与相对距离可以同时调整，本领域技术人员可以根据实际场景进行选择。
97.为使无人机降落在预设对象上，例如该预设对象为目标的手掌，如图7所示，在步骤103之后，本发明一实施例提供的无人机返航控制方法还包括：
98.步骤701，检测所述无人机悬停位置的下方是否存在预设对象。
99.在步骤701中，在距离传感器为可测深度相机时，该距离传感器和拍摄设备可构成双目系统(stereo system)。如图8所示，此时步骤701检测预设对象的过程，包括：
100.步骤801，调整拍摄设备的朝向，以使拍摄设备与距离传感器构成双目系统。
101.步骤802，利用上述双目系统检测无人机悬停位置的下方是否存在预设对象。
102.步骤803，若存在预设对象，计算预设对象的空间位置，根据空间位置调整上述无人机的位置。其中，利用双目系统定位预设对象的计算过程可以采用相关技术中的方案实现，在此不再赘述。
103.步骤702，若存在预设对象，则控制所述无人机降落在所述预设对象之上。
104.可见，无人机利用双目系统降落在预设对象上，无需目标进行操控，可以进一步提升目标的使用体验。
105.下面以无人机携带拍摄设备和tof(time of flight)相机(作为距离传感器)，且遥控设备为移动终端为例，说明无人机返航的过程。
106.如图9所示，移动终端91(例如智能手机、遥控器、智能手表以及可与无人机通信的其他终端等)根据用户的触发操作生成返航触发指令，然后该移动终端91将上述返航触发指令发送给无人机92(对应步骤900)。本发明一实施例中，无人机92在接收到返航触发指令后，先进行高度调整。
107.目标希望无人机92返回到胸前位置，这样便于目标直接回收。一实施例中，拍摄设备通过云台固定在无人机上，此时利用无人机92上云台的俯仰角来调整无人机92与目标之间的相对高度。如图10所示，无人机92的下方设置有拍摄设备93，通过调整云台(图中未示出)姿态可控制拍摄设备93的朝向，使目标90保持在该拍摄设备93的取景画面94中，此时无人机92与目标90之间的水平距离记为d，该无人机92与目标90之间的相对高度记为δh，云台的俯仰角记为α，可得公式(1)：
108.δh＝d
·
tanα
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)。
109.为实现无人机92的飞行高度与目标90高度相同，即δh＝0，此时调整无人机92的飞行高度和云台朝向，使目标90保持在拍摄设备93的取景画面中心，云台的俯仰角α接近0
°
。本发明一实施例中，目标90倾向于无人机92悬停在胸口之前平齐的高度，即云台的俯仰角α控制在俯仰角预设范围之内，例如俯仰角预设范围可设置为
‑5°
～0
°
。
110.最终，无人机92根据目标90在拍摄设备93的取景画面中心和云台俯仰角位于俯仰角预设范围之内的原则，调整无人机92的飞行高度，达到无人机的飞行高度与目标平齐的目的。
111.本发明一实施例中，降低无人机的飞行高度之后，获取无人机与目标之间的相对距离，包括：
112.在第一时刻，利用拍摄设备获取第一张目标图像即第一图像，利用跟踪(tracking)算法框选出目标，然后从目标之上提取特征点，并记录第一时刻时无人机的位置信息即第一拍摄位置。该位置信息可以通过设置在无人机上的gps模块或者视觉系统给出的实时位置坐标。
113.在第二时刻，利用拍摄设备获取第二张目标图像即第二图像，同样利用跟踪(tracking)算法框选出目标，然后从目标之上提取特征点，并记录第二时刻时无人机的位置信息即第二拍摄位置。
114.然后，利用特征点跟踪算法匹配第一图像和第二图像中的特征点。首先，跟踪多张图像的特征点计算每个特征点的移动情况，取h作为相邻两张图像之间的偏移量(即displacement between two images f(x)and g(x))，即g(x)＝f(x h)。
115.针对每个特征点，利用公式(2)进行迭代可以得到每个特征点在相邻两张图像之间的位置h。公式(2)如下所示：
[0116][0117]
公式(2)中，h0表示目标图像中某特征点位移的初始值，h
k
表示第k张目标图像中某特征点的位移值，h
k 1
表示第k 1张目标图像中某特征点的位移值，ω(x)表示权重函数，f'(x)表示目标图像中某特征点位移的导数，且
[0118]
本发明一实施例中，对每个特征点作双重验证(double check)，即先令第二图像为f(x)，第一图像为g(x)，计算出一个特征点，得到第二图像相对于第一图像的偏移量h。反过来，计算该特征点，在第一图像相对于第二图像的偏移量h’。若h＝h’，则说明跟踪该特征点正确，该特征点可以称为共同特征点。
[0119]
本发明一实施例中，采用至少八对共同特征点，通过八点算法(eight
‑
point algorithm)解算出本质矩阵(essential matrix)。
[0120]
第一图像采用以下第一矩阵表示：
[0121][0122]
第二图像采用以下第二矩阵表示：
[0123][0124]
本质矩阵如下表示：
[0125][0126]
第一矩阵、第二矩阵和本质矩阵计算可得：
[0127]
y
′1y1e
11
y
′1y2e
12
y
′1e
13
y
′2y1e
21
y
′2y2e
22
y
′2e
23
y1e
31
y1e
31
y2e
32
e
33
＝0。
[0128]
或者
[0129]
[0130]
其中
[0131]
对本质矩阵进行矩阵奇异值分解e＝u∑v
t
，得到∑为3
×
3对角矩阵：
[0132][0133]
其中，u、v分别为3
×
3正交矩阵。
[0134]
对角矩阵∑中的对角线元素是本质矩阵的奇异值。定义：
[0135]
则
[0136]
从而得到以下公式：
[0137]
[t]
×
＝uwσu
t
；r＝uw
‑1v
t
。
[0138]
本技术一实施例中，进一步验证之后，得到旋转角矩阵r和第一位移矩阵t。其中，旋转角矩阵r是指第二图像在第一图像的坐标系下的旋转角；第一位移矩阵t是，第二图像相对于第一图像，在第一图像的坐标系下的位移。由于上述位移无标度(none scale)，因此旋转角矩阵r记为r1，第一位移矩阵t记为t1’。
[0139]
根据第一拍摄位置和第二拍摄位置解算出无人机在第二时刻相对于第一时刻的第二位移矩阵t2＝[x
2 y
2 z2]
t
，可得到第二位移矩阵t2计算出第一位移矩阵t1’的标度s，即：
[0140][0141]
t1＝[x
1 y
1 z1]
t
＝s
·
t1′
＝[sx
′
1 sy
′
1 sz
′1]
t
。
[0142]
记拍摄位置p＝k[r|t]，则第一时刻对应的第一拍摄位置p1可理解为无人机在第一时刻以第一时刻为基准参照，得到旋转角矩阵r是单位阵列i，第一位移矩阵t1’均为0。
[0143]
第二拍摄位置p2＝k[r1|t1]，其中，r1，t1’在上面已经计算得到。
[0144]
其中，k是指拍摄设备的内部矩阵(intrinsic matrix)，且为：
[0145][0146]
其中，α
x
＝fm
x
,α
y
＝fm
y
，f为焦距(focal length)，m
x
，m
y
分别表示x，y方向上，单位距离的像素数(scale factors)；γ为x，y轴之间的畸变参数(skew parameters)；μ0，v0为光心位置(principal point)。
[0147]
可理解的是，在拍摄设备的类型确定时，上述参数k则已确定。
[0148]
对于第一图像和第二图像的共同特征点，必须对应着目标上的某一参考点。该参考点与第一时刻时拍摄设备的位置关系为q
w
＝[x
w y
w z
w
]，并且：
[0149][0150]
在上述方程组内，未知数为s1、s2、x
w
、y
w
、z
w
共5个，但是该方程组展开后有6组等式，可以计算出位置关系q
w
。
[0151]
位置关系q
w
是第一时刻的拍摄设备的坐标系下计算出的，而将该共同特征点转换到第一时刻的无人机的导航坐标系。
[0152]
其中拍摄设备与无人机的结构关系r3可以由云台姿态计算得到，拍摄设备与无人机的位置关系则由上述结构关系决定即固定值t3，得到q’w
＝r3q
w
t3。由于无人机始终朝向目标，从而上述q’w
为无人机与目标上参考点的相对距离。
[0153]
从目标上选取多个参考点，求取相对距离的平均值，即可以得到无人机与目标之间的相对距离，提高计算精度。
[0154]
在确定无人机与目标之间的相对距离之后，无人机向目标返航(主要为水平方向方向的移动)。在返航过程中，利用拍摄设备持续拍摄目标对象，并且持续获取无人机与目标之间的相对距离，然后根据每次获取的相对距离控制无人机的飞行速度。
[0155]
例如，控制无人机变速运动。上述变速可指无人机从高速降速飞行，或者从静止(或者低速)提速度至预设速度再降速飞行。例如，无人机机头朝向目标(或者机头与目标之间可以有一定的夹角)，由于无人机无需调整飞行方向，其具有较高的飞行速度，此时控制无人机降速飞向目标。又如，无人机处于悬停状态，此时无人机的飞行速度为零，需要先提速到预设速度再降速飞向目标。再如，无人机还可以直接保持当前飞行速度飞行至目标。
[0156]
由于拍摄设备与目标之间相对距离过近时，目标无法全部呈现在该拍摄设备的取景画面中，这样会使无人机无法准确到达目标之前。在目标即将超出拍摄设备的取景画面时，此时无人机与目标的相对距离为第一距离，需要由利用拍摄设备拍摄目标图像的方式获取无人机与目标之间的相对距离，切换至由tof相机获取无人机与目标之间的相对距离。
[0157]
切换后，tof相机通过向前方发送检测脉冲，根据上述检测脉冲的发出时间与返回时间，得到无人机与目标之间的相对距离。然后根据上述相对距离控制无人机降速飞行，直至目标之前。
[0158]
实际应用中，目标所在位置可能还包括其他目标，导致tof相机检测的目标(即待检测目标)与拍摄设备拍摄的目标可能不是同一目标，这样会使无人机飞到其他目标之前，因此，在无人机与目标之间的相对距离为第一距离之前，对tof相机进行验证或者调整。
[0159]
由于tof相机的检测距离有限，假设tof相机的最大检测距离为第二距离，即tof相机与待检测目标之间的相对距离为第二距离，tof相机开始检测与待检测目标之间的相对距离，同时对tof相机检测的待检测目标进行调整。即在相对距离小于第二距离且大于第一距离之间，拍摄设备与tof相机同时拍摄。
[0160]
例如，tof相机的检测距离不超过5米(即最大检测距离为5米)，在大于5米之前，先利用跟踪(tracking)算法(即利用拍摄设备获取目标图像的方式)获取无人机与目标之间的相对距离，根据该相对距离粗略调整无人机向目标飞行。在进行tof相机的检测范围后，启动tof相机先检测待检测目标，确定tof相机与目标之间的距离为第四距离，在第三距离(此时根据目标图像获取的相对距离)与第四距离之差大于设定阈值时，说明拍摄设备和tof相机检测的不是同一目标。然后调整更换待检测目标，直至第三距离和第四距离之差小于或者等于设定阈值时，确定拍摄设备和tof相机两者检测的为同一目标，此时可以直接切换到tof相机，也可以等到相对距离等于第一距离时再切换至tof相机。
[0161]
需要说明的是，上述第三距离和第四距离是同一个坐标下的相对距离。即上述第三距离包括无人机与目标之间的相对距离，以及拍摄设备与tof相机之间的拍摄角度引起的距离。其中，上述拍摄角度引起的距离可由云台姿态和无人机的姿态确定。本发明一实施例中，根据云台姿态和无人机的姿态确定拍摄设备和tof相机的姿态关系，然后根据姿态关系确定两张目标图像(分别由拍摄设备和tof相机拍摄)的旋转角度和位移得到拍摄角度引起的距离。
[0162]
在相对距离小于第二距离且大于第一距离之间，或者相对距离小于第二距离且tof相机切换之前，控制无人机保持匀速飞行。当然无人机也可以处于悬停状态进行调整，本发明不作限定。
[0163]
最终，在tof相机获取相对距离等于相对距离阈值时，调整无人机的飞行状态为悬停状态，即无人机悬停在目标之前(例如胸前)。
[0164]
目标希望无人机最终落在手掌之上，为此无人机到达悬停位置时(飞行状态变为悬停状态时，无人机所在位置)调整云台姿态，例如将云台向下调整90
°
，此时tof相机与拍摄设备构成双目系统。当目标手掌伸到无人机下方时，上述双目系统可以检测到手掌，并计算出手掌的空间位置，根据该空间位置调整无人机机身的位置，并最终降落在手掌之上。
[0165]
至此，目标通过发送一次返航触发指令，然后伸手即可取回无人机，操作简单易行，提升用户体验。
[0166]
本发明实施例还提供了一种无人机，如图11所示，所述无人机1100包括处理器1101和存储器1102，处理器1101用于：
[0167]
在接收到返航触发指令之后，获取所述无人机和目标之间的相对距离；
[0168]
控制所述无人机向所述目标返航；
[0169]
在所述相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态。
[0170]
可理解的是，处理器1101将拍摄设备获取的至少两张图像存储到存储器1102中。当然也可以存储到拍摄设备的存储卡(例如sd卡)中。
[0171]
可选地，获取无人机和目标之间的相对距离的步骤，上述处理器1101还用于：
[0172]
在接收到返航触发指令时，调整拍摄设备的方向，以使拍摄设备朝向目标；
[0173]
若目标在拍摄设备的取景画面之内，利用拍摄设备获取至少两张目标图像；
[0174]
根据至少两张目标图像确定无人机与目标之间的相对距离。
[0175]
可选地，根据至少两张目标图像确定无人机与目标之间的相对距离的步骤之后，上述处理器1101还用于：
[0176]
若无人机与目标的相对距离大于第一距离，确定以拍摄设备拍摄目标图像的方式获取无人机与目标之间的相对距离；
[0177]
上述第一距离为，在目标即将超出拍摄设备取景画面时，上述无人机与目标之间的相对距离。
[0178]
可选地，根据至少两张目标图像确定无人机与目标之间的相对距离的步骤之后，上述处理器1101还用于：
[0179]
若无人机与目标的相对距离小于第二距离，利用距离传感器获取无人机与目标之间的相对距离；
[0180]
上述第一距离为，在目标即将超出拍摄设备取景画面时，无人机与目标之间的相对距离；上述第二距离为，在距离传感器能够检测到目标时，无人机与目标之间的相对距离；第二距离大于或者等于第一距离。
[0181]
可选地，距离传感器包括如下至少一种：激光传感器、声波传感器、雷达、双目系统、可测深度相机。
[0182]
可选地，在相对距离大于第一距离且小于第二距离时，上述处理器1101还用于：
[0183]
利用拍摄设备获取至少两张目标图像确定无人机与目标之间的相对距离即第三距离；
[0184]
利用距离传感器获取无人机与待检测目标之间的相对距离即第四距离；
[0185]
若第三距离与第四距离之差大于设定阈值，则更换待检测目标，获取无人机与更换后的待检测目标之间的第四距离；
[0186]
若第三距离与第四距离之差小于或者等于设定阈值，确定距离传感器获取的第四距离为无人机与所述目标之间的相对距离。
[0187]
可选地，根据至少两张目标图像确定无人机与目标之间的相对距离的步骤，上述处理器1101用于：
[0188]
从至少两张目标图像中选取两幅图像即第一图像和第二图像，根据第一图像和第二图像计算位移比例矩阵；第一图像由拍摄设备在第一拍摄位置拍摄；
[0189]
获取拍摄设备在第一拍摄位置时的相机模型以及无人机在第一拍摄位置的导航坐标系；
[0190]
利用位移比例矩阵和相机模型计算目标与拍摄设备的位置关系；
[0191]
将位置关系转换到无人机的导航坐标系，得到无人机和目标之间的相对距离。
[0192]
可选地，将位置关系转换到无人机的导航坐标系，得到无人机和目标之间的相对
距离的步骤，上述处理器1101用于：
[0193]
根据云台姿态获取位于云台上的拍摄设备与无人机的第二旋转矩阵；
[0194]
获取拍摄设备与无人机的结构关系；
[0195]
根据位置关系、第二旋转矩阵和结构关系计算无人机与目标的相对距离。
[0196]
可选地，根据相对距离控制无人机向目标返航的步骤，上述处理器1101用于：
[0197]
根据相对距离控制无人机的飞行速度。
[0198]
可选地，根据相对距离调整无人机的飞行速度的步骤，上述处理器1101用于：
[0199]
在相对距离大于第二距离时，控制无人机以变速飞行；
[0200]
在相对距离小于第二距离且大于第一距离时，控制无人机匀速飞行；
[0201]
在相对距离小于第一距离时，控制无人机减速飞行；
[0202]
第一距离为，在目标即将超出拍摄设备取景画面时，无人机与目标之间的相对距离；第二距离为，在距离传感器能够检测到目标时，无人机与目标之间的相对距离；第二距离大于或者等于第一距离。
[0203]
可选地，根据相对距离控制无人机向目标返航的过程中，上述处理器1101还用于：
[0204]
根据目标在拍摄设备的取景画面中心和云台的俯仰角位于俯仰角预设范围之内的原则，调整无人机的飞行高度，以使无人机的飞行高度与目标平齐。
[0205]
可选地，调整无人机的飞行状态为悬停状态的步骤之后，上述处理器1101还用于：
[0206]
检测无人机悬停位置的下方是否存在预设对象；
[0207]
若存在预设对象，则控制无人机降落在所述预设对象之上。
[0208]
可选地，检测无人机悬停位置的下方是否存在预设对象的步骤，上述处理器1101用于：
[0209]
调整拍摄设备的朝向，以使拍摄设备与距离传感器构成双目系统；上述距离传感器为可测深度相机；
[0210]
利用双目系统检测无人机悬停位置的下方是否存在预设对象；
[0211]
若存在预设对象，计算预设对象的空间位置，根据空间位置调整无人机的位置。
[0212]
可选地，接收到返航触发指令的步骤，上述处理器1101用于：
[0213]
利用拍摄设备获取目标图像；
[0214]
根据所述目标图像确定所述目标的姿势；
[0215]
若所述姿势为指定姿势，则确认接收到返航触发指令。
[0216]
本发明另一实施例中还提供了一种移动终端，如图12所示，上述移动终端包括处理器1201，上述处理器1201用于：
[0217]
根据目标对象的触发操作生成返航触发指令；
[0218]
将返航触发指令发送给无人机，该返航触发指令用于根据相对距离控制无人机向目标返航，且在无人机与目标之间的相对距离等于相对距离阈值时，调整无人机的飞行状态为悬停状态。
[0219]
本发明另一实施例中还提供了一种无人机系统，所述系统包括无人机和移动终端；其中，
[0220]
所述移动终端用于生成返航触发指令发送给所述无人机；
[0221]
所述无人机用于在接收到返航触发指令之后，获取与目标之间的相对距离；
[0222]
所述无人机还用于向所述目标返航过程中，在所述相对距离等于相对距离阈值时，调整飞行状态为悬停状态。
[0223]
本发明又一实施例中还提供了一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：
[0224]
在接收到返航触发指令之后，获取所述无人机和目标之间的相对距离；
[0225]
控制所述无人机向所述目标返航；
[0226]
在所述相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态。
[0227]
可选地，获取所述无人机和所述目标之间的相对距离的步骤，所述计算机指令被执行时还进行如下处理：
[0228]
在接收到所述返航触发指令时，调整拍摄设备的方向，以使所述拍摄设备朝向所述目标；
[0229]
若所述目标在所述拍摄设备的取景画面之内，利用所述拍摄设备获取至少两张目标图像；
[0230]
根据所述至少两张目标图像确定所述无人机与所述目标之间的相对距离。
[0231]
可选地，根据所述至少两张目标图像确定所述无人机与所述目标之间的相对距离的步骤之后，所述计算机指令被执行时还进行如下处理：
[0232]
若所述无人机与所述目标的相对距离大于第一距离，确定以所述拍摄设备拍摄目标图像的方式获取所述无人机与所述目标之间的相对距离；
[0233]
所述第一距离为，在所述目标即将超出所述拍摄设备取景画面时，所述无人机与所述目标之间的相对距离。
[0234]
可选地，根据所述至少两张目标图像确定所述无人机与所述目标之间的相对距离的步骤之后，所述计算机指令被执行时还进行如下处理：
[0235]
若所述无人机与所述目标的相对距离小于第二距离，利用距离传感器获取所述无人机与所述目标之间的相对距离；
[0236]
所述第二距离为，在所述距离传感器能够检测到所述目标时，所述无人机与所述目标之间的相对距离；所述第二距离大于或者等于第一距离。
[0237]
可选地，所述距离传感器包括如下至少一种：激光传感器、声波传感器、雷达、双目系统、可测深度相机。
[0238]
可选地，在所述相对距离大于所述第一距离且小于所述第二距离时，所述计算机指令被执行时还进行如下处理：
[0239]
利用所述拍摄设备获取至少两张目标图像确定所述无人机与所述目标之间的相对距离即第三距离；
[0240]
利用所述距离传感器获取所述无人机与待检测目标之间的相对距离即第四距离；
[0241]
若所述第三距离与所述第四距离之差大于设定阈值，则更换待检测目标，获取所述无人机与更换后的待检测目标之间的第四距离；
[0242]
若所述第三距离与所述第四距离之差小于或者等于所述设定阈值，所述更换后的待检测目标与所述目标为同一目标，确定所述距离传感器获取的第四距离为所述无人机与所述目标之间的相对距离。
[0243]
可选地，根据所述至少两张目标图像确定所述无人机与所述目标之间的相对距离
的步骤，所述计算机指令被执行时还进行如下处理：
[0244]
从所述至少两张目标图像中选取两幅图像即第一图像和第二图像，根据所述第一图像和所述第二图像计算位移比例矩阵；所述第一图像由拍摄设备在第一拍摄位置拍摄；
[0245]
获取所述拍摄设备在所述第一拍摄位置时的相机模型以及所述无人机在所述第一拍摄位置的导航坐标系；
[0246]
利用所述位移比例矩阵和所述相机模型计算所述目标与所述拍摄设备的位置关系；
[0247]
将所述位置关系转换到所述无人机的导航坐标系，得到所述无人机和所述目标之间的相对距离。
[0248]
可选地，将所述位置关系转换到所述无人机的导航坐标系，得到所述无人机和所述目标之间的相对距离的步骤，所述计算机指令被执行时还进行如下处理：
[0249]
根据云台姿态获取位于所述云台上的所述拍摄设备与所述无人机的第二旋转矩阵；
[0250]
获取所述拍摄设备与所述无人机的结构关系；
[0251]
根据所述位置关系、所述第二旋转矩阵和所述结构关系计算所述无人机与所述目标的相对距离。
[0252]
可选地，控制所述无人机向所述目标返航的步骤，所述计算机指令被执行时还进行如下处理：
[0253]
根据所述相对距离控制所述无人机的飞行速度。
[0254]
可选地，根据所述相对距离调整所述无人机的飞行速度的步骤，所述处理器用于：
[0255]
在所述相对距离大于第二距离时，控制所述无人机以变速飞行；
[0256]
在所述相对距离小于所述第二距离且大于第一距离时，控制所述无人机匀速飞行；
[0257]
在所述相对距离小于所述第一距离时，控制所述无人机减速飞行；
[0258]
所述第一距离为，在所述目标即将超出所述拍摄设备取景画面时，所述无人机与所述目标之间的相对距离；所述第二距离为，在所述距离传感器能够检测到所述目标时，所述无人机与所述目标之间的相对距离；所述第二距离大于或者等于第一距离。
[0259]
可选地，控制所述无人机向所述目标返航的过程中，所述计算机指令被执行时还进行如下处理：
[0260]
根据所述目标在拍摄设备的取景画面中心和云台的俯仰角位于俯仰角预设范围之内的原则，调整所述无人机的飞行高度，以使所述无人机的飞行高度与所述目标平齐。
[0261]
可选地，调整所述无人机的飞行状态为悬停状态的步骤之后，所述计算机指令被执行时还进行如下处理：
[0262]
检测所述无人机悬停位置的下方是否存在预设对象；
[0263]
若存在预设对象，则控制所述无人机降落在所述预设对象之上。
[0264]
可选地，检测所述无人机悬停位置的下方是否存在预设对象的步骤，所述计算机指令被执行时还进行如下处理：
[0265]
调整所述拍摄设备的朝向，以使所述拍摄设备与距离传感器构成双目系统；所述距离传感器为可测深度相机；
[0266]
利用所述双目系统检测所述无人机悬停位置的下方是否存在预设对象；
[0267]
若存在所述预设对象，计算所述预设对象的空间位置，根据所述空间位置调整所述无人机的位置。
[0268]
可选地，接收到返航触发指令的步骤，所述计算机指令被执行时还进行如下处理：利用拍摄设备获取目标图像；
[0269]
根据所述目标图像确定所述目标的姿势；
[0270]
若所述姿势为指定姿势，则确认接收到返航触发指令。
[0271]
本发明再一实施例提供了一种机器可读存储介质，所述机器可读存储介质上存储有若干计算机指令，所述计算机指令被执行时进行如下处理：
[0272]
根据目标对象的触发操作生成返航触发指令；
[0273]
将所述返航触发指令发送给无人机，所述返航触发指令用于控制所述无人机向所述目标返航，且在所述无人机与所述目标之间的相对距离等于相对距离阈值时，调整所述无人机的飞行状态为悬停状态
[0274]
最后需要说明的是，本发明实施例提供的无人机中处理器的处理操作，在上述无人机返航控制方法中已经作过详细描述相关之处参见方法实施例。另外，移动终端中处理的处理操作在上述无人机返航控制方法中已经作过详细描述相关之处参见方法实施例。另外，随着使用场景的变化，返航控制方法也会发生变化，相应地，无人机或者移动终端中处理器的处理操作也会相应的调整。此处将不做详细阐述说明。
[0275]
需要说明的是本实施例提供的无人机返航方法，还可以用于无人驾驶汽车，自动飞行的无人机和vr/ar眼镜等设备。例如，用于无人驾驶汽车时，该汽车上安装有拍摄设备，然后利用该拍摄设备确定汽车与目标之间的相对距离，根据该相对距离控制汽车的速度，最终依靠在目标面前或者身边。又如，vr/ar眼镜时，可使眼镜与移动终端建立通信，由眼镜获取无人机图像，然后计算无人机与眼镜之间的相对距离，由移动终端根据上述相对距离控制无人机的飞行，最终悬停在目标之前。可理解的是，本发明实施例的无人机返航控制方法在应用于不同的场景时，可以对部分特征做适当的调整，从而使该控制方法适于该场景。例如用于vr/ar眼镜时，计算相对距离可以由眼镜或者移动终端完成，根据相对距离生成不同的指令控制无人机。而用于自动飞行的无人机时，上述相对距离由无人机的处理器完成，自动完成返航过程。
[0276]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0277]
以上对本发明实施例所提供的无人机返航控制方法进行了详细介绍，本发明中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。