用于控制可移动物体的设备和方法与流程

用于控制可移动物体的设备和方法
1.相关申请的交叉引用
2.本技术要求在2015年9月15日提交的题为“支撑平滑目标跟随的系统和方法(system and method for supporting smooth target following)”的国际申请号pct/cn2015/089594的优先权，所述国际申请的内容以其全文通过援引并入本文。
技术领域
3.本发明的实施例涉及可移动物体技术领域，具体涉及一种用于控制可移动物体的设备和方法。


背景技术：

4.在针对真实世界应用的一些监视、搜索及探查任务中，可能需要检测和跟踪一个或多个物体。可以使用携带了有效载荷(例如，相机)的飞行器来跟踪物体，或控制所述飞行器沿某个方向移动。跟踪和飞行导航方法可以是基于全球定位系统(gps)数据或相机视觉的。然而，跟踪/导航的实际应用的发展由于缺乏容易使用的交互控制与指导系统而已经受到阻碍。目前，一个或多个操作员可能必须手动选择目标物体，并且手动控制飞行器/相机移动到所述目标物体或跟随所述目标物体。这些操作员可能还必须手动控制飞行器使得它沿希望的方向飞行和/或规避沿途的障碍物。目前已知的飞行控制系统一般要求操作员具有一定程度的航空经验或者操作飞行器的手动技能，并且提供的实时自动控制能力是有限的。缺少容易使用的交互控制与指导系统可能在某些应用中降低飞行器的有用性。


技术实现要素：

5.需要直观的且容易使用的、并且允许人类通过与人-系统界面进行交互来管理和操作飞行器的飞行控制与跟踪系统。用户对飞行器进行手动驾驶的负担可以大大减小，因此允许用户更容易关注有效载荷或任务操作，例如视觉监测和/或拍摄静止目标或移动目标的空中图像。
6.改进的飞行控制与跟踪能力可以允许可移动物体自动地检测一个或多个静止/移动的目标物体并且自主地跟踪这些目标物体，而不需要用户的手动输入和/或操作。当所述可移动物体被用来跟踪目标物体、朝向目标物体移动、和/或沿选定方向移动时，改进的飞行控制与跟踪能力可能是特别有用的。可以将这种改进的跟踪能力结合到飞行器中，诸如无人飞行器(uav)。
7.在基于视觉的跟踪方法中，可以使用位于飞行器上的成像装置来跟踪目标物体。基于视觉的跟踪方法可以是手动的或自动的。
8.例如，在基于视觉的手动跟踪方法中，可以首先使用成像装置捕捉图像，并且操作者可以从图像中手动选择有待跟踪的目标物体。这种手动选择可以使用输入装置来执行，例如，平板计算机、移动装置、或个人计算机(pc)。在一些例子中，飞行器可以被配置成在操作者利用输入装置已经手动地选定了所述目标物体之后自动地跟踪所述目标物体。在其他
例子中，所述操作者可以甚至在已经选定目标物体之后继续手动地控制飞行器来跟踪所述目标物体。
9.相反，在基于视觉的自动跟踪方法中，可以使用跟踪算法来实现自动跟踪，所述跟踪算法可以自动地检测特定类型的物体或携带有标记的物体。所述物体类型可以是基于不同的物体类别(例如，人、建筑物、风景等)的。所述标记可以包括一个或多个包括独特图案的光学标记。
10.在基于视觉的跟踪方法中，目标物体可以基于预定特征(例如，颜色、结构、突出特征等)和/或通过建模(例如，物体类别)来限定。在已经限定了目标物体之后，可以随着目标物体移动实时地检测和计算这些特征和/或模型的移动。在这些方法中，通常可能要求这些特征和/或模型的高度一致性，以便精确地跟踪目标物体。特别地，跟踪精度水平可能取决于这些特征之间的空间关系和/或模型中的误差。
11.虽然可以使用基于视觉的跟踪方法来跟踪物体，但它们对于在飞行器的飞行路径中出现障碍物时跟踪物体而言是不够的。这些障碍物可能是静止的或者能够移动。在一些情况下，这些障碍物可能是快速移动的一群物体，由此这个群的大小和/或形状可能是无定形的并且在物体移动时随时间而改变。这样的物体群体的示例可以包括但不限于移动动物群体(例如，在平原上奔跑的马群、或以不同队形飞翔的鸟群)，人群(例如，游行队伍中移动的大群人)，载运工具群体(例如，执行空中杂技表演的飞机编队)、或者包括以不同队形移动的不同物体的群体(例如，由有待跟踪的移动动物、人以及载运工具构成的群体)。当这些障碍物在飞行器上的相机的视野中在视觉上阻挡了目标物体时，就可能丢失对所述目标物体的跟踪，因为基于视觉的跟踪方法一般要求在相机与目标物体之间的清晰视线。
12.在基于全球定位系统(gps)的跟踪方法中，成像装置和目标物体可以各自配备有gps设备(例如，gps接收器)。所述成像装置与目标物体之间的空间关系可以基于对它们的实时位置的估计来计算。所述成像装置可以被配置成基于它们的空间关系来跟踪目标物体。然而，这种方法可能受gps信号质量和gps信号的可获得性的限制。例如，基于全球定位系统(gps)的跟踪方法在室内、或者当gps信号接收被建筑物和/或自然地形特征(例如山谷、高山等等)阻挡时可能不工作。此外，这些方法是基于gps跟踪，并且因此在这个或这些目标物体(例如，动物群体)不携带gps设备时无法使用。此外，基于gps的跟踪方法不能考虑到在所述可移动物体的路径中的障碍物。
13.相应地，存在为多种不同应用改进飞行器在不同条件下的跟踪能力和稳健性的需要。这些条件可以包括室内和室外环境、没有gps信号的地方或者gps信号接收差的地方、多种不同地形、静止的障碍物、动态出现的障碍物等等。这些应用可以包括跟踪静止的物体、移动的目标物体、或一群移动的目标物体，或沿选定方向进行移动。这些目标物体可以包括没有携带gps设备的目标物体，以及没有明确定义的特征或没有落入已知物体类别中的目标物体。这些障碍物可以共同形成大小和/或形状可能是无定形的并且随时间改变(例如，鸟群)的群体、以不同形式移动的不同障碍物(其他飞行器)、或以上各项的任何组合。在此提供了多种系统、方法、以及装置来至少解决以上需要。
14.例如，在本发明的一些方面，提供了一种用于控制可移动物体的方法。所述方法可以包括：接收指示选定模式的输入，其中所述选定模式是选自多种模式的；并且基于所述选定模式来实施所述可移动物体的移动。
15.根据本发明的一个方面，提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：接收指示选定模式的输入，其中所述选定模式是选自多种模式的；并且基于所述选定模式来实施所述可移动物体的移动。
16.根据本发明的另一方面，提供了一种非瞬态计算机可读介质，所述非瞬态计算机可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括：接收指示选定模式的输入，其中所述选定模式是选自多种模式的；并且基于所述选定模式来实施所述可移动物体的移动。
17.根据本发明的一个额外方面，可以提供一种无人飞行器(uav)系统。所述系统可以包括用于控制所述uav的飞行控制模块。所述飞行控制模块可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：接收指示选定模式的输入，其中所述选定模式是选自多种模式的；并且基于所述选定模式来实施所述uav的移动。
18.本发明的另外方面可以涉及一种用于控制可移动物体的方法。所述方法可以包括：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且生成所述可移动物体从所述第一位置到所述第二位置的路径。
19.根据本发明的一个方面，提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且生成所述可移动物体从所述第一位置到所述第二位置的路径。
20.根据本发明的另一方面，提供了一种非瞬态计算机可读介质，所述非瞬态计算机可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且生成所述可移动物体从所述第一位置到所述第二位置的路径。
21.根据本发明的一个额外方面，可以提供一种无人飞行器(uav)系统。所述系统可以包括用于控制所述uav的飞行控制模块。所述飞行控制模块可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：在所述uav处于第一位置时获得所述uav的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且生成所述uav从所述第一位置到所述第二位置的路径。
22.本发明的另外方面可以涉及一种用于控制可移动物体的方法。所述方法可以包括：在所述可移动物体处于第一位置时从所述可移动物体搭载的成像装置所捕捉的一个或多个图像中获取目标；并且控制所述可移动物体来跟踪所获取的目标。
23.根据本发明的一个方面，提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：在所述可移动物体处于第一位置时从所述可移动物体搭载的成像装置所捕捉的一个或多个图像中获取目标；并且控制所述可移动物体来跟踪所获取的目标。
24.根据本发明的另一方面，提供了一种非瞬态计算机可读介质，所述非瞬态计算机
可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括：在所述可移动物体处于第一位置时从所述可移动物体搭载的成像装置所捕捉的一个或多个图像中获取目标；并且控制所述可移动物体来跟踪所获取的目标。
25.根据本发明的一个额外方面，可以提供一种无人飞行器(uav)系统。所述系统可以包括用于控制所述uav的飞行控制模块。所述飞行控制模块可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：在所述uav处于第一位置时从所述uav搭载的成像装置所捕捉的一个或多个图像中获取目标；并且控制所述uav来跟踪所获取的目标。
26.本发明的另外方面可以涉及一种用于控制可移动物体的方法。所述方法可以包括：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且引导所述可移动物体从所述第一位置沿着目标方向朝向所述第二位置移动。
27.根据本发明的一个方面，提供了一种用于控制可移动物体的设备。所述设备可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且引导所述可移动物体从所述第一位置沿着目标方向朝向所述第二位置移动。
28.根据本发明的另一方面，提供了一种非瞬态计算机可读介质，所述非瞬态计算机可读介质储存有当被执行时致使计算机执行用于控制可移动物体的方法的多个指令。所述方法可以包括：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且引导所述可移动物体从所述第一位置沿着目标方向朝向所述第二位置移动。
29.根据本发明的一个额外方面，可以提供一种无人飞行器(uav)系统。所述系统可以包括用于控制所述uav的飞行控制模块。所述飞行控制模块可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：在所述可移动物体处于第一位置时获得所述可移动物体的目标信息，其中所述目标信息指示不同于所述第一位置的第二位置；并且引导所述可移动物体从所述第一位置沿着目标方向朝向所述第二位置移动。
30.本发明的另外方面可以涉及一种使用计算机实现的图形显示器来控制可移动物体的方法。所述方法可以包括：接收当用户选择在所述图形显示器上的图像内视觉描绘的点时的输入，其中所述可移动物体定位在第一位置处，并且其中所述点对应于：(1)不同于所述第一位置的第二位置和/或(2)从所述第一位置起的方向；并且处理所述输入以生成：(1)供所述可移动物体从所述第一位置朝向所述第二位置移动的路径，和/或(2)所述可移动物体从所述第一位置移动的方向。
31.根据本发明的一个方面，提供了一种使用计算机实现的图形显示器来控制可移动物体的设备。所述设备可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：接收当用户选择在所述图形显示器上的图像内视觉描绘的点时的输入，其中所述可移动物体定位在第一位置处，并且其中所述点对应于：(1)不同于所述第一位置的第二位置和/或(2)从所述第一位置起的方向；并且处理所述输入以生成：(1)供所述可移动物体从所述第一位置朝向所述第二位置移动的路径，和/或(2)所述可移动物体从所述第
一位置移动的方向。
32.根据本发明的另一方面，提供了一种非瞬态计算机可读介质，所述非瞬态计算机可读介质储存有当被执行时致使计算机执行使用计算机实现的图形显示器来控制可移动物体的方法的多个指令。所述方法可以包括：接收当用户选择在所述图形显示器上的图像内视觉描绘的点时的输入，其中所述可移动物体定位在第一位置处，并且其中所述点对应于：(1)不同于所述第一位置的第二位置和/或(2)从所述第一位置起的方向；并且处理所述输入以生成：(1)供所述可移动物体从所述第一位置朝向所述第二位置移动的路径，和/或(2)所述可移动物体从所述第一位置移动的方向。
33.根据本发明的一个额外方面，可以提供一种无人飞行器(uav)系统。所述系统可以包括计算机实现的图形显示器以及用于控制所述uav的飞行控制模块。所述飞行控制模块可以包括一个或多个处理器，所述一个或多个处理器被单独地或共同地配置成用于：接收当用户选择在所述图形显示器上的图像内视觉地描绘的点时的输入，其中所述uav定位在第一位置处，并且其中所述点对应于：(1)不同于所述第一位置的第二位置和/或(2)从所述第一位置起的方向；并且处理所述输入以生成：(1)供所述可移动物体从所述第一位置朝向所述第二位置移动的路径，和/或(2)所述可移动物体从所述第一位置移动的方向。
34.应当理解的是，本发明的不同方面可以单独地、共同地、或相互组合地进行理解。本发明在此所描述的各个方面可以被应用于以下阐述的这些具体应用中的任一应用中或应用于任何其他类型的可移动物体。在此对飞行器的任何描述都可以应用于并且使用于任何可移动物体，例如任何载运工具。此外，在本文中在空中运动(例如，飞行)的背景下公开的这些系统、装置、及方法也可以应用于其他类型运动的背景中，例如，在地面上或水上的移动、或在太空中的运动。
35.通过浏览说明书、权利要求书及附图，将清楚本发明的其他目的和特征。
36.援引并入
37.本说明书中提及的所有出版物、专利和专利申请均通过援引并入本文，其程度就如同明确且单独地指明了每一个单独的出版物、专利或专利申请均通过援引并入本文。
附图说明
38.在所附权利要求书中具体阐述了本发明的新颖特征。通过参考对在其中利用到本发明原理的说明性实施方式加以阐述的以下详细描述和附图，将会对本发明的特征和优点获得更好的理解；在附图中：
39.图1示出了根据一些实施方式在视觉交互导航中使用的系统的示例；
40.图2示出了根据一些实施方式在视觉交互导航中可能出现的通信的示例；
41.图3示出了根据一些实施方式可以使用多个成像装置来确定目标的位置的示例；
42.图4示出了根据一些实施方式的一种使用3d图来生成飞行路径并规避障碍物的示例性方法；
43.图5示出了根据一些实施方式的占据网格的示例；
44.图6图示了根据一些实施方式的可用以操作uav的不同飞行模式的流程图；
45.图7示出了根据一些实施方式用户可以通过其来选择目标并致使uav朝向目标移动的用户界面(ui)的示例；
46.图8示出了根据一些实施方式用户可以通过选择多个不同点来以其选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例；
47.图9示出了根据一些实施方式用户可以通过绕目标绘制形状来以其选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例；
48.图10示出了根据一些实施方式用户可以通过其来选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例，所述用户界面包括第一人称视角(fpv)的拍摄图像/视频图像以及2d图；
49.图11示出了根据一些实施方式用户可以通过其来从多个物体之中选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例；
50.图12示出了根据一些实施方式用户可以通过其来选择新目标并致使uav朝向所述新目标移动的用户界面(ui)的示例；
51.图13和14示出了根据一些实施方式用户可以通过其来选择移动目标并致使uav跟踪所述移动目标的用户界面(ui)的示例；
52.图15图示了根据一些实施方式对移动目标的uav跟踪；
53.图16示出了根据一些实施方式在uav朝向目标移动和/或跟踪移动目标时规避障碍物；
54.图17示出了根据一些实施方式用户可以通过其来选择目标方向的用户界面(ui)的示例；
55.图18示出了根据一些实施方式用户可以通过其来调整目标方向的用户界面(ui)的示例；
56.图19示出了根据一些实施方式当用户调整目标方向时uav的飞行路径改变的示例；
57.图20示出了根据一些实施方式在一个环境中沿目标方向行进的uav的示例；
58.图21示出了根据一些实施方式在一个环境中沿目标方向行进的uav的示例，其中所述uav和/或成像装置已相对于所述环境改变了朝向；
59.图22示出了根据一些实施方式的相机成像的几何模型，其中所述几何模型用于将相机坐标变换为世界坐标；
60.图23示出了根据一些实施方式在一个环境中选择目标方向的示例，其中在uav沿着所述目标方向行进的路径中可能存在障碍物；
61.图24示出了根据一些实施方式uav在规避障碍物时的飞行路径的示例；
62.图25图示了根据一些实施方式的在可移动物体环境中的示例性目标跟踪系统；
63.图26图示了根据各种实施方式在可移动物体环境中支撑目标跟踪；
64.图27图示了根据各种实施方式在可移动物体环境中初始化目标跟踪；
65.图28图示了根据各种实施方式在可移动物体环境中跟踪目标；
66.图29图示了根据各种实施方式在可移动物体环境中支撑目标跟踪和再检测；
67.图30图示了根据各种实施方式在可移动物体环境中使用多个定位装置来辅助目标跟踪；
68.图31图示了根据各种实施方式在可移动物体环境中基于距离测量来跟踪目标；并且
69.图32是根据一些实施方式的用于控制可移动物体的系统的示意性框图。
具体实施方式
70.可以使用在此提供的系统、方法和装置来改善可移动物体例如无人飞行器(uav)的操作方便性。在此提供的飞行控制与跟踪系统是直观的且容易使用的，并且允许人类通过与人-系统界面进行交互来管理和操作uav。用户对uav进行手动驾驶的负担可以大大减小，因此允许用户更容易关注有效载荷或任务操作，例如视觉监测和/或拍摄静止目标或移动目标的空中图像。也可以通过以图形人-系统界面来控制飞行器沿任何所希望的方向自动飞行，而使用户对uav进行手动驾驶的负担大大减小。
71.改进的飞行控制与跟踪能力可以进一步允许uav自动地检测一个或多个静止/移动的目标物体并且自主地跟踪这些目标物体，而不需要用户的手动输入和/或操作。当所述uav被用来跟踪目标物体、朝向目标物体移动、和/或沿选定方向移动时，改进的飞行控制与跟踪能力可能是特别有用的。这种改进的跟踪能力可以被结合到任何类型的飞行器中。
72.应当理解的是，本发明的不同方面可以单独地、共同地、或相互组合地进行理解。本发明在此所描述的多个不同方面可以被应用于以下阐述的这些具体应用中的任一应用或应用于任何其他类型的遥控载运工具或可移动物体。
73.图1示出了在视觉导航中使用的系统的示例。视觉导航系统100可以包括可移动物体102和能够与所述可移动物体进行通信的用户终端106。所述可移动物体可以被配置成用于携带有效载荷104。可以用用户终端来控制所述可移动物体和/或有效载荷的一个或多个运动特性。例如，可以用用户终端来控制所述可移动物体以使得所述可移动物体能够在一个环境中朝向目标物体108导航。还可以用用户终端来控制所述可移动物体以使得所述可移动物体能够在所述环境中跟踪或跟随所述目标物体。另外，可以用用户终端来控制所述可移动物体以使得所述可移动物体能够在所述环境中沿指定方向110导航。
74.可移动物体102可以是能够跨越一个环境的任何物体。所述可移动物体可能能够跨越空中、水、陆地、和/或天空。所述环境可以包括不能运动的物体(静止物体)以及能够运动的物体。静止物体的示例可以包括地理特征、植物、地标、建筑物、整体结构、或任何固定结构。能够运动的物体的示例包括人、载运工具、动物、发射体等。
75.在一些情况下，所述环境可以是惯性参照系。所述惯性参照系可以用来一致地、各向同性地、并且以不依赖于时间的方式来描述时间和空间。所述惯性参照系可以是相对于可移动物体来建立，并且根据所述可移动物体而移动。惯性参照系中的测量值可以通过变换(例如，牛顿物理学中的伽利略变换)而转换为另一参照系(例如，全局参照系)中的测量值。
76.可移动物体102可以是载运工具。所述载运工具可以是自推进式载运工具。所述载运工具可以借助于一个或多个推进单元跨越环境。所述载运工具可以是空中载运工具、陆地载运工具、水上载运工具、或太空载运工具。所述载运工具可以是无人载运工具。所述载运工具可能能够在其上没有人类乘员的情况下跨越环境。替代地，所述载运工具可以携带人类乘员。在一些实施方式中，所述可移动物体可以是无人飞行器(uav)。
77.在此对uav或任何其他类型可移动物体的任何描述都可以应用于任何其他类型的可移动物体或者一般意义上多种不同范畴的可移动物体，或反之亦然。例如，在此对uav的
任何描述都可以应用于任何无人的陆地、基于水上、或基于太空的载运工具。在本文的其他地方更详细地提供了可移动物体的进一步示例。
78.如上所述，可移动物体可能能够跨越环境。可移动物体可能能够在三个维度内飞行。可移动物体可能能够沿着一条、两条或三条轴线进行空间平移。所述一条、两条或三条轴线可以是彼此正交的。这些轴线可以是沿着俯仰、偏航和/或横滚轴线的。可移动物体可能能够绕一条、两条或三条轴线旋转。所述一条、两条或三条轴线可以是彼此正交的。这些轴线可以是俯仰、偏航和/或横滚轴线。所述可移动物体可能能够沿着多达6个自由度移动。所述可移动物体可以包括可以辅助可移动物体移动的一个或多个推进单元。例如，所述可移动物体可以是带有一个、两个或更多个推进单元的uav。这些推进单元可以被配置成为uav产生升力。这些推进单元可以包括旋翼。所述可移动物体可以是多旋翼uav。
79.所述可移动物体可以具有任一物理配置。例如，所述可移动物体可以具有中央本体，其中一个或多个臂或分支从所述中央本体延伸。这些臂可以从所述中央本体横向或径向地延伸。这些臂可以是相对于所述中央本体可移动的或者可以是相对于所述中央本体静止的。这些臂可以支撑一个或多个推进单元。例如，每个臂可以支撑一个、两个或更多个推进单元。
80.所述可移动物体可以具有壳体。所述壳体可以由单一的集成件、两个集成件、或多个件形成。所述壳体可以包括空腔，所述空腔内布置了一个或多个部件。这些部件可以是电气部件，例如飞行控制器、一个或多个处理器、一个或多个存储器存储单元、一个或多个传感器(例如，一个或多个惯性传感器或本文其他地方描述的任意其他类型的传感器)、一个或多个导航单元(例如，全球定位系统(gps)单元)、一个或多个通信单元、或任意其他类型的部件。所述壳体可以具有单一空腔或多个空腔。在一些情形下，飞行控制器可以与一个或多个推进单元进行通信和/或可以控制所述一个或多个推进单元的运行。所述飞行控制器可以借助于一个或多个电子速度控制(esc)模块与所述一个或多个推进单元进行通信和/或控制其运行。所述飞行控制器可以与这些esc模块进行通信以控制这些推进单元的操作。
81.所述可移动物体可以支撑机载有效载荷104。所述有效载荷可以相对于可移动物体具有固定的位置，或者是相对于可移动物体可移动的。所述有效载荷可以相对于可移动物体进行空间平移。例如，所述有效载荷可以相对于可移动物体沿着一条、两条或三条轴线移动。所述有效载荷可以相对于可移动物体旋转。例如，所述有效载荷可以相对于可移动物体绕一条、两条或三条轴线旋转。这些轴线可以相互正交。这些轴线可以是俯仰、偏航和/或横滚轴线。替代地，所述有效载荷可以固定或集成到所述可移动物体中。
82.所述有效载荷可以借助于载体而相对于可移动物体是可移动的。所述载体可以包括可以准许所述载体相对于可移动物体移动的一个或多个云台级。例如，所述载体可以包括：可以准许所述载体相对于可移动物体绕第一轴线旋转的第一云台级、可以准许所述载体相对于可移动物体绕第二轴线旋转的第二云台级、和/或可以准许所述载体相对于可移动物体绕第三轴线旋转的第三云台级。本文其他地方描述的载体的任何说明和/或特性也可以适用。
83.所述有效载荷可以包括能够感测所述可移动物体周围的环境的装置、能够发送信号到所述环境中的装置、和/或能够与所述环境进行交互的装置。
84.可以作为有效载荷提供一个或多个传感器，并且所述传感器可能能够感测环境。
所述一个或多个传感器可以包括成像装置。成像装置可以是物理成像装置。成像装置可以被配置成用于检测电磁辐射(例如，可见光、红外光和/或紫外光)并基于检测到的电磁辐射生成图像数据。成像装置可以包括响应于光的波长生成电信号的电荷耦合装置(ccd)传感器或互补型金属氧化物半导体(cmos)传感器。可以处理所产生的电信号来产生图像数据。由成像装置生成的图像数据可以包括一张或多张图像，所述一张或多张图像可以是静态图像(例如，照片)、动态图像(例如，视频)、或其合适的组合。图像数据可以是多色的(例如，rgb、cmyk、hsv)或单色的(例如，灰度、黑白、棕褐)。所述成像装置可以包括被配置成将光引导到图像传感器上的镜头。
85.所述成像装置可以是相机。相机可以是捕捉动态图像数据(例如，视频)的动态相机或视频摄相机。相机可以是捕捉静态图像(例如，照片)的静态相机。相机可以捕捉动态图像数据和静态图像两者。相机可以在捕捉动态图像数据与静态图像之间切换。虽然在此提供的某些实施方式是在相机的背景下描述的，但是应理解的是，本公开可以适用于任何适合的成像装置，并且在此关于相机的任何描述也可以适用于任何适合的成像装置，并且在此关于相机的任何描述也可以适用于其他类型的成像装置。可以用相机来生成3d场景(例如，环境、一个或多个物体等等)的多个2d图像。由相机生成的这些图像可以表示3d场景到2d图像平面上的投影。因此，2d图像中的每一点与场景中的一个3d空间坐标相对应。相机可以包括光学元件(例如，镜头、反射镜、滤镜等)。相机可以捕捉彩色图像、灰度图像、红外图像等等。相机在其被配置成捕捉红外线图像时可以是热成像装置。
86.在一些实施方式中，有效载荷可以包括多个成像装置、或带有多个镜头和/或图像传感器的一个成像装置。所述有效载荷可能能够实质上同时地拍摄多个图像。这多个图像可以辅助创建3d场景、3d虚拟环境、3d图、或3d模型。例如，可以拍摄右图像和左图像并用于立体映射。可以从经校准的双目图像中计算出深度图。可以同时拍摄任意数量的图像(例如，2个或更多、3个或更多、4个或更多、5个或更多、6个或更多、7个或更多、8个或更多、9个或更多)以辅助创建3d场景/虚拟环境/模型、和/或以用于深度映射。这些图像可以实质上指向同一方向或者可以指向多个略微不同的方向。在一些情形下，来自其他传感器的数据(例如，超声波数据、lidar数据、来自本文其他地方描述的任何其他传感器的数据、或来自外部装置的数据)可以辅助创建2d或3d图像或图。
87.成像装置可以用特定图像分辨率来捕捉图像或一系列图像。在一些实施方式中，图像分辨率可以是由图像中的像素数目限定的。在一些实施方式中，图像分辨率可以大于或等于约352
×
420像素、480
×
320像素、720
×
480像素、1280
×
720像素、1440
×
1080像素、1920
×
1080像素、2048
×
1080像素、3840
×
2160像素、4096
×
2160像素、7680
×
4320像素、或15360
×
8640像素。在一些实施方式中，相机可以是4k相机或者具有更高分辨率的相机。
88.所述成像装置可以用特定捕捉速率捕捉一系列图像。在一些实施方式中，能够以如约24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i、或60i的标准视频帧速率捕捉此系列图像。在一些实施方式中，能够以小于或等于约每0.0001秒、0.0002秒、0.0005秒、0.001秒、0.002秒、0.005秒、0.01秒、0.02秒、0.05秒、0.1秒、0.2秒、0.5秒、1秒、2秒、5秒或10秒一张图像的速率捕捉此系列图像。在一些实施方式中，捕捉速率可以根据用户输入和/或外部条件(例如，雨、雪、风、环境的不明显的表面纹理)而改变。
89.成像装置可以具有多个可调参数。成像装置可以用不同的参数在经受相同的外部
条件(例如，位置、光照)时捕捉不同的图像。可调参数可以包括曝光(例如，曝光时间、快门速度、光圈、胶片速度)、增益、提亮系数(gamma)、兴趣区、像素合并/子采样、像素时钟、偏移、触发、iso等。与曝光相关的参数可以控制到达成像装置中的图像传感器的光量。例如，快门速度可以控制光照到图像传感器的时间量，而光圈可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。iso可以控制相机对可用光的灵敏度水平。控制曝光和增益的参数在本文中可以统一被认为并且被称作expo。
90.在一些替代性实施方式中，成像装置可以延伸超出物理成像装置。例如，成像装置可以包括能够捕捉和/或生成图像或视频帧的任何技术。在一些实施方式中，所述成像装置可以是指能够处理从另一物理装置获得的图像的算法。
91.有效载荷可以包括一种或多种类型的传感器。传感器类型的一些示例可以包括：位置传感器(例如，全球定位系统(gps)传感器、能够实现方位三角测量的移动装置发射器)、视觉传感器(例如，能够检测可见光、红外光或紫外光的成像装置，如相机)、接近度传感器或范围传感器(例如，超声波传感器、激光雷达、飞行时间相机或深度相机)、惯性传感器(例如，加速度计、陀螺仪、和/或重力检测传感器，其可以形成惯性测量单元(imu))、高度传感器、姿态传感器(例如，罗盘)、压力传感器(例如，气压计)、温度传感器、湿度传感器、震动传感器、音频传感器(例如，麦克风)、和/或场传感器(例如，磁力计、电磁传感器、无线电传感器)。
92.有效载荷可以包括一个或多个能够发送信号到环境中的装置。例如，所述有效载荷可以包括沿着电磁波谱的发射体(例如，可见光发射体、紫外线发射体、红外线发射体)。所述有效载荷可以包括激光器或任何其他类型的电磁发射体。所述有效载荷可以发出一种或多种震动，例如超声波信号。所述有效载荷可以发出音频声音(例如，来自扬声器)。所述有效载荷可以发出无线信号，例如无线电信号或其他类型的信号。
93.所述有效载荷可能能够与环境进行交互。例如，所述有效载荷可以包括机械臂。所述有效载荷可以包括用于输送的物品，例如液体、气体和/或固体组分。例如，所述有效载荷可以包括农药、水、肥料、灭火材料、食物、包裹、或任何其他物品。
94.本文中有效载荷的任何示例都可以应用于所述可移动物体所可以携带的或可以是所述可移动物体的一部分的装置。例如，一个或多个传感器可以是所述可移动物体的一部分。所述一个或多个传感器可以是除了所述有效载荷之外提供的。这可以适用于任何类型的有效载荷，例如本文描述的那些。
95.所述可移动物体可能能够与用户终端106进行通信。所述用户终端可以与可移动物体本身、与可移动物体的有效载荷、和/或与可移动物体的载体进行通信，其中所述载体用来支撑所述有效载荷。本文中对于与可移动物体的通信的任何说明也都可以应用于与可移动物体的有效载荷、可移动物体的载体、和/或可移动物体的一个或多个独立部件(例如，通信单元、导航单元、推进单元、电源、处理器、存储器存储单元、和/或致动器)的通信。
96.所述可移动物体与用户终端之间的通信可以是无线通信。可以在所述可移动物体与用户终端之间提供直接通信。这种直接通信可以无需任何中间装置或网络而发生。可以在所述可移动物体与用户终端之间提供间接通信。这种间接通信可以借助于一个或多个中间装置或网络来发生。例如，间接通信可以利用电信网络。间接通信可以借助于一个或多个
路由器、通信塔、卫星、或任何其他的中间装置或网络来进行。通信类型的示例可以包括但不限于经由以下方式的通信：因特网，局域网(lan)，广域网(wan)，蓝牙，近场通信(nfc)技术，基于诸如通用分组无线电服务(gprs)、gsm、增强型数据gsm环境(edge)、3g、4g、或长期演进(lte)协议的移动数据协议的网络，红外线(ir)通信技术，和/或wi-fi，并且可以是无线式、有线式、或其组合。
97.所述用户终端可以是任何类型的外部装置。用户终端的示例可以包括但不限于：智能电话/手机、平板计算机、个人数字助理(pda)、膝上计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式装置(例如，手表、眼镜、手套、头饰(例如，帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(hmd)、头带)、挂件、臂章、腿环、鞋子、马甲)、手势识别装置、麦克风、能够提供或渲染图像数据的任意电子装置、或者任何其他类型的装置。所述用户终端可以是手持物体。所述用户终端可以是便携式的。所述用户终端可以由人类用户携带。在一些情况下，所述用户终端可以远离人类用户，并且用户可以使用无线和/或有线通信来控制所述用户终端。在本文其他地方更详细地提供了用户终端的多种不同示例和/或特征。
98.这些用户终端可以包括一个或多个处理器，所述一个或多个处理器可以是能够执行可以提供针对一个或多个动作的指令的非瞬态计算机可读介质。这些用户终端可以包括一个或多个存储器存储装置，所述一个或多个存储器存储装置包括非瞬态计算机可读介质，所述非瞬态计算机可读介质包括用于执行所述一个或多个动作的代码、逻辑、或指令。所述用户终端可以包括软件应用程序，这些软件应用程序允许用户终端与可移动物体进行通信并从其接收图像数据。这些用户终端可以包括通信单元，所述通信单元可以准许与所述可移动物体的通信。在一些情形下，所述通信单元可以包括单一通信模块或多个通信模块。在一些情形下，用户终端可能能够使用单一通信链路或多个不同类型的通信链路来与所述可移动物体进行交互。
99.所述用户终端可以包括显示器。所述显示器可以是屏幕。所述显示器可以是或者可以不是触摸屏。所述显示器可以是发光二极管(led)屏幕、oled屏幕、液晶显示器(lcd)屏幕、等离子体屏幕、或任何其他类型的屏幕。所述显示器可以被配置成用于显示一个图形用户界面(gui)。所述gui可以显示出可以允许用户控制uav的动作的图像。例如，用户可以从所述图像中选择目标。所述目标可以是静止的目标或移动的目标。用户可以从所述图像中选择行进方向。用户可以选择所述图像的一部分(例如，点、区域、和/或物体)来限定所述目标和/或方向。用户可以通过直接触摸屏幕(例如，触摸屏)来选择所述目标和/或方向。用户可以触摸屏幕的一部分。用户可以通过触摸屏幕上的一个点来触摸屏幕的所述部分。替代地，用户可以在屏幕上从预先存在的区域集合中选择一个区域，或者可以针对一个区域绘出边界、区域的直径，或者以任何其他方式指定所述平面的一部分。用户可以通过借助于用户交互装置(例如，鼠标、操纵杆、键盘、跟踪球、触式控制板、按钮、口头命令、手势识别、姿态传感器、热学传感器、触碰式电容性传感器、或任何其他装置)选择图像的所述部分来选择目标和/或方向。触摸屏可以被配置成用于检测用户的触摸位置、触摸时长、触摸压力、和/或触摸运动，其中上述触摸方式中的每一种都可以指明用户的特定输入命令。
100.所述显示器上的图像可以显示出借助于可移动物体的有效载荷所收集到的视图。例如，可以将成像装置收集的图像显示在所述显示器上。这可以被视为第一人称视角
(fpv)。在一些情形下，可以提供单一的成像装置并且可以提供单一的fpv。替代地，可以提供具有不同视野的多个成像装置。可以在这多个fpv之间转换视角，或者可以同时显示出这多个fpv。这多个fpv可以对应于可以具有不同视野的不同成像装置(或由其产生)。用户终端处的用户可以选择所述成像装置所收集的图像的一部分来指定可移动物体的目标和/或运动方向。
101.在另一个示例中，所述显示器上的图像可以显示出可以借助于来自可移动物体的有效载荷的信息而生成的图。这个图可以可选地是借助于多个成像装置(例如，右相机、左相机、或更多相机)生成的，这可以利用立体映射技术。在一些情形下，这个图可以是基于关于uav相对于环境的、成像装置相对于环境的、和/或uav相对于成像装置的位置信息而生成的。位置信息可以包括姿势信息、空间位置信息、角速度、线速度、角加速度、和/或线加速度。这种图可以可选地是借助于一个或多个额外传感器而生成的，例如在本文其他地方更详细描述。这种图可以是二维图或三维图。可以在二维图视角与三维图视角之间转换，或者可以同时显示二维图视角和三维图视角。用户终端处的用户可以选择这个图的一部分来指定可移动物体的目标和/或运动方向。可以在一个或多个fpv与一个或多个图视角之间转换视角，或者可以同时显示所述一个或多个fpv和一个或多个图视角。用户可以使用这些视角中的任一个来对目标或方向进行选择。用户选择的部分可以包括目标和/或方向。用户可以使用所描述的任一选择技术来选择所述部分。
102.在一些实施方式中，所述图像可以是以显示于用户终端(例如，虚拟现实系统或增强现实系统)上的3d虚拟环境来提供的。所述3d虚拟环境可以可选地对应于一个3d图。所述虚拟环境可以包括可以由用户操纵的多个点或物体。用户可以通过在所述虚拟环境中的多种不同动作来操纵这些点或物体。这些动作的示例可以包括：选择一个或多个点或物体、拖放、平移、旋转、自旋、推、拉、放大、缩小等。可以想到在三维虚拟空间中对这些点或物体的任何类型的移动动作。用户终端处的用户可以操纵虚拟环境中的这些点或物体以控制uav的飞行路径和/或uav的运动特性。
103.所述用户终端可以可选地用来控制可移动物体的移动，例如uav的飞行。所述用户终端可以准许用户手动地直接控制所述可移动物体的飞行。替代地，可以提供一个可以允许用来手动地直接控制可移动物体的飞行的单独的装置。这个单独的装置可以与或者可以不与用户终端进行通信。所述可移动物体的飞行可以可选地是全自主的或半自主的。用户终端可以可选地用来控制所述可移动物体的任一部件(例如，有效载荷的操作、载体的操作、一个或多个传感器、通信、导航、着陆架、一个或多个部件的致动、电源控制、或任何其他功能)。替代地，单独的装置可以用来控制所述可移动物体的一个或多个部件。这个单独的装置可以与或者可以不与用户终端进行通信。可以借助于一个或多个处理器来自动控制一个或多个部件。
104.目标物体108可以是由用户选择的。可移动物体102可以朝向所述目标物体行进和/或视觉跟踪所述目标物体。所述目标物体可以是静止的目标或是移动的目标。在一些情形下，用户可以指明所述目标是静止的还是移动的目标。用户可以通过选择一种定标模式(例如，选择飞到模式或跟踪模式)来指明。替代地，用户可以提供目标是静止还是移动目标的任何其他类型的指示。替代地，可以不提供指示，并且可以借助于一个或多个处理器来自动进行确定，而可选地无需要求用户输入目标是静止的目标还是移动的目标，并且无需选
择定标模式(例如，选择飞到模式或跟踪模式)。可以取决于目标物体的运动状态来将其分类为静止的目标或移动的目标。在一些情况下，目标物体可以在任何给定时间点是移动的或静止的。当目标物体在移动时，所述目标物体可以被分类为移动的目标。相反，当同一目标物体为静止时，所述目标物体可以被分类为静止的目标。
105.静止的目标可以在环境内保持实质上静止。静止的目标的示例可以包括但不限于：景观特征(例如，树、植物、山脉、山丘、河流、小溪、小河、山谷、大圆石、岩石等等)或人造特征(例如，结构、建筑物、道路、桥梁、杆柱、栅栏、不动的载运工具、标志、灯，等等)。静止的目标可以包括大目标或小目标。用户可以选择静止的目标。可以识别出静止的目标。可选地，可以对静止的目标进行测绘。可移动物体可以行进到所述静止的目标。可以规划路径(例如，飞行路径)以使得所述可移动物体行进到所述静止的目标。替代地，可移动物体可以无需规划的路径而行进到所述静止的目标。在一些情形下，所述静止的目标可以对应于结构或物体的一个选定部分。例如，静止的目标可以对应于摩天大楼的具体区段(例如，顶层)。
106.移动的目标可能能够在环境内移动。移动的目标可以一直在运动，或者可以在一段时间的多个部分是运动的。移动的目标可以沿相对稳定的方向移动或者可以改变方向。移动的目标可以在空气中、陆地上、地下、水上或水中、和/或太空中移动。移动的目标可以是有生命的移动的目标(例如，人、动物)或没有生命的移动的目标(例如，移动的载运工具、移动的机械、随风飞舞的或被水承载的物体、被有生命的目标携带的物体)。移动的目标可以包括单一移动的目标或一群移动的目标。例如，移动的目标可以包括单个人或一群移动的人。移动的目标可以是大目标或小目标。用户可以选择移动的目标。可以识别出移动的目标。可选地，可以对移动的目标进行测绘。所述可移动物体可以行进到所述移动的目标/或视觉跟踪所述移动的物体。可以规划路径(例如，飞行路径)以使得所述可移动物体行进到所述移动的物体。可以随着所述移动的物体的移动来改变或更新所述路径。替代地，可移动物体可以无需规划路径而行进到所述静止的物体/或视觉跟踪所述移动的物体。
107.移动的目标可以是被配置成在如下任何合适的环境中移动的任何物体，诸如在空气中(例如，固定翼飞行器、旋翼飞行器或者既不具有固定翼也不具有旋翼的飞行器)、在水中(例如，船舶或潜艇)、在地面上(例如，机动车，诸如轿车、卡车、客车、厢式货车、摩托车；可移动结构或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星、或探测器)，或者这些环境的任何组合。
108.移动的目标可能能够在所述环境内关于六个自由度(例如，三个平移自由度和三个旋转自由度)自由移动。替代地，移动的目标的移动可以是相对于一个或多个自由度受约束的，例如受到预设的路径、轨道、或朝向的约束。这种移动能够是由诸如引擎或电机的任何合适的致动机构来致动的。移动的目标的致动机构可以是由任何合适的能源提供动力的，例如，电能、磁能、太阳能、风能、重力能、化学能、核能、或它们任何合适的组合。移动的目标可以是由如下文中进一步描述的推进系统来自推进的。所述推进系统可以任选地以一种能源来运行，诸如电能、磁能、太阳能、风能、重力能、化学能、核能、或它们的任何合适组合。
109.在一些情形下，移动的目标可以是载运工具，例如遥控的载运工具。适合的载运工具可以包括水上载运工具、空中载运工具、太空载运工具、或地面载运工具。例如，飞行器可
以是固定翼飞行器(例如，飞机、滑翔机)、旋转翼飞行器(例如，直升飞机、旋翼飞行器)、具有固定翼和旋转翼二者的飞行器、或不具有二者的飞行器(例如，飞艇、热气球)。载运工具可以是自推进的，如穿过空气、在水面上或在水中、在太空中、或者在地上或地下进行自推进。自推进式载运工具可以利用推进系统，例如，包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴、或其任意合适的组合的推进系统。在一些情形下，所述推进系统可以用来使得可移动物体能够从表面起飞、在表面上着落、维持其当前位置和/或朝向(例如，悬停)、改变朝向、和/或改变位置。
110.用户可以选择方向110。可移动物体102可以沿用户选择的方向来行进。所述方向可以由用户通过选择一个图像的一部分(例如，在fpv或图视角中)来选择。可移动物体可以沿所述选定方向行进直到接收到撤退指令或者达到撤退条件时。例如，可移动物体可以自动沿选定方向行进直到输入了新方向或者输入了新目标。所述可移动物体可以沿选定方向行进直到选择了不同的飞行模式。例如，用户可以对可移动物体的飞行实行手动控制。
111.可以对所述可移动物体的行进提供限制因素。在另一情形下，可以检测可以应用飞行限制的条件。如下文更详细描述，当进行目标或方向跟踪时可能发生障碍规避。也可以适用额外的限制例如飞行顶边界、飞行底边界、受限范围、或其他类型的飞行限制。
112.图2示出了在视觉导航系统中可能出现的通信的示例。在视觉导航系统200中，可以提供能接受来自用户的输入的用户终端202。所述用户终端可以包括输出装置204。所述用户终端还可以与飞行控制器206通信，所述飞行控制器可以与图像分析器208通信。所述图像分析器可以与成像装置210通信。所述图像装置可以捕捉图像，这些图像可以包括指示了一个或多个目标物体212和/或一个或多个目标方向214的多个部分。
113.用户终端202可以包括所述用户终端的输出装置204。所述输出装置可以是显示器，例如屏幕。用户可以经由所述输出屏幕来与用户终端进行交互。例如，当所述输出装置是触摸屏时，用户可以在所述触摸屏上通过各种动作来选择(触摸)gui中的视觉物体而操纵这些视觉物体。这些动作的示例可以包括：选择一个或多个点或物体、绘制形状、拖放、平移、旋转、自旋、推、拉、放大、缩小等。在所述gui中可以预期任何类型的用户动作。用户终端处的用户可以操纵gui中的这些视觉物体以控制uav的飞行路径、飞行方向、跟踪功能、和/或运动特性。
114.所述显示器可以具有如本文其他地方描述的任意特性。所述显示器可以并入所述用户装置中或者可以与所述用户终端的其余部分分开提供。如果是与所述用户终端的其余部分分开提供的，则所述显示装置可以与所述用户终端进行通信。可选地可以在所述输出装置与所述用户终端的其余部分之间提供双向通信。
115.用户终端可以被配置成用于在所述输出装置上显示用户可以通过其来选择目标和/或方向的一个或多个图像。如之前描述，这些图像可以包括fpv和/或图视角。图像可以包括目标和/或方向的真实图像或虚拟表示。目标物体和/或方向可以由用户鉴别，所述用户可以在所述图像中进行选择。例如，用户选择的图像的一部分可以变成目标物体。用户选择的图像的一部分可以变成目标方向。
116.可以提供一个或多个成像装置210。所述一个或多个成像装置可以具有实质上相同的视野或不同的视野。一个或多个成像装置可以是相对于可移动物体可移动的，而一个或多个成像装置可以是相对于可移动物体静止的。在一个示例中，这些成像装置中的一个
或多个可以由载体支撑，所述载体可以准许成像装置相对于可移动物体移动。这些成像装置中的一个或多个成像装置可以直接位于可移动物体上、与可移动物体以相同的方向和速度移动、和/或可以不相对于可移动物体移动。
117.一个或多个成像装置可以捕捉环境的图像。所述环境可以包括一个或多个目标物体212和/或目标方向214。这些目标物体和/或方向可以是由可以在图像中做出选择的用户来限定或确定的。由所述一个或多个成像装置捕捉到的图像数据可以例如对应于一个或多个物体的静止图像或视频帧。这些物体可以包括所述可移动物体能够光学地鉴别和/或实时跟踪的任何实体物体或结构。光学跟踪具有若干优点。例如，光学跟踪允许无线“传感器”(不太易受噪声的影响)，并且允许同时跟踪许多物体(例如，不同物体类型)。这些物体可以是以2d或3d格式的静止图像和/或视频帧，可以是现实生活状态和/或动画状态的，可以是彩色的、黑/白、或灰度的，可以用任何色彩空间，或者可以用线条框架模型来描绘。
118.图像分析器208可以可选地接收来自所述一个或多个成像装置的图像。所述图像分析器可以是所述成像装置搭载的、载体所搭载的、可移动物体所搭载的、或是外部装置(例如，用户终端、服务器等)。在一些实施方式中，所述图像分析器可以被定位成远离所述成像装置。例如，所述图像分析器可以安置在与所述成像装置通信的远程服务器中。可以将所述图像分析器提供在任何其他类型的外部装置处(例如，用于跟踪装置的遥控器、所述目标物体所携带的物体、诸如基站的参考位置、或另一个跟踪装置)，或可以使其分布在云计算构架上。在一些实施方式中，所述图像分析器和所述飞行控制器可以定位在同一装置上。在其他实施方式中，所述图像分析器和所述飞行控制器可以定位在不同装置上。所述图像分析器和所述飞行控制器可以通过有线或无线连接来通信。在一些实施方式中，所述图像分析器可以定位在可移动物体上。例如，所述图像分析器可以安置在所述可移动物体的壳体中。在另外一些实施方式中，所述图像分析器可以安置在与所述可移动物体通信的基站处。所述图像分析器可以位于任何地方，只要所述图像分析器能够：(i)接收使用成像装置在不同时刻捕捉的多个图像帧，并且(ii)分析所述多个图像帧。
119.在一些实施方式中，由所述成像装置捕捉的图像数据可以在图像数据被提供给图像分析器之前储存在介质存储器(未示出)中。所述图像分析器可以被配置成从所述介质存储器直接接收所述图像数据。在一些实施方式中，所述图像分析器可以被配置成同时接收来自所述成像装置和介质存储器的图像数据。所述介质存储器可以是能够储存多个物体的图像数据的任何类型的存储介质。如先前所描述，所述图像数据可以包括视频或静止图像。图像分析器可以处理和分析这些视频或静止图像，如在说明书中稍后描述。所述介质存储器可以提供为cd、dvd、蓝光盘、硬盘、磁带、闪速存储卡/驱动器、固态驱动器、易失性或非易失性存储器、全息数据存储器、以及任何其他类型的存储介质。在一些实施方式中，所述介质存储器还可以是能够给图像分析器提供图像数据的计算机。
120.作为另一示例，所述介质存储器可以是网站服务器、企业服务器、或者任何其他类型的计算机服务器。所述介质存储器可以是被编程为接受来自所述图像分析器的请求(例如，http、或者可以开始数据传输的其他协议)并以所请求的图像数据服务所述图像分析器的计算机。另外，所述介质存储器可以是用于分发图像数据的广播设施，例如免付费广播、有线广播、卫星、和其他广播设施。所述介质存储器还可以是数据网络中的服务器(例如，云计算网络)。
121.在一些实施方式中，所述介质存储器可以被定位成装载在所述成像装置上。在一些其他实施方式中，所述介质存储器可以被定位在所述可移动物体自身上但不在所述成像装置上。在另外一些实施方式中，所述介质存储器可以位于在所述可移动物体和/或所述成像装置外的一个或多个外部装置上。在这些另外实施方式中，所述介质存储器可以定位在遥控器、地面站、服务器等上。可以考虑上述部件的任何安排或组合。在一些实施方式中，所述介质存储器可以通过一个对等网络架构与所述成像装置和跟踪装置通信。在一些实施方式中，可以使用云计算架构来实现所述介质存储器。
122.所述图像数据可以(例如，以图像信号的形式)提供至图像分析器以便进行图像处理/分析。在一些示例中，所述图像分析器可以实现为在处理器中执行的软件程序和/或实现为分析所述多个图像帧以鉴别目标物体和/或方向的硬件。例如，所述图像分析器可以被配置成用于分析这些图像帧以鉴别目标物体，例如静止的目标或移动的目标。这可以包括基于用户的输入、例如选择所述图像的一部分来检测物体。例如，即使选择了单个点，也可以确定与所述点对应的物体。所述图像分析器可以被配置成用于分析这些图像帧以鉴别目标方向。
123.所述图像分析器可以被配置成用于确定可移动物体与目标物体或方向之间的相对位置。在一些情形下，所述图像分析器可以确定所述成像装置和/或可移动物体相对于环境(例如，惯性参照系)的和/或相互之间的位置。所述图像分析器可以确定目标物体相对于环境(例如，惯性参照系)的和/或相对于所述可移动物体(可以包括由所述可移动物体支撑的成像装置在内)的位置。可选地，可以用来自一个或多个额外传感器和/或外部装置的数据来辅助所述图像分析器确定位置信息(例如，imu数据或来自本文其他地方描述的任何其他传感器的数据)。如之前描述，位置信息可以包括空间方位(例如，参照一条、两条或三条轴线)、姿态(例如，相对于一条、两条或三条轴线)、线速度、角速度、线加速度和/或角加速度。
124.可以(以分析好的信号的形式)将这些图像帧的所得到的分析显示在用户终端的输出装置上。例如，可以生成指示环境和/或所述环境内的各个物体和/或可移动物体的位置的图。这个图可以是2d或3d图。这个图可以显示在所述输出装置上。可选地，来自所述图像分析器的数据可以被直接提供给用户终端，所述用户终端可以将其显示在其输出装置上而无需任何中间分析或处理。例如，可以可选地传送来自所述图像分析器的数据以便显示在所述用户终端的输出装置上，而不通过飞行控制器。
125.可选地，来自所述图像分析器的数据可以被提供给飞行控制器206。所述飞行控制器可以是所述可移动物体机载、载体机载、所述成像装置机载提供的，和/或提供在外部装置或网络上。所述飞行控制器可以是使用本文其他地方针对其他部件(例如图像分析器或存储器)提供的任何示例性的装置或配置来提供的。
126.所述飞行控制器可以控制所述可移动物体的飞行。可选地，所述飞行控制器可以生成将被提供给所述可移动物体的一个或多个推进单元的飞行指令。所述飞行控制器可以可选地生成用于所述可移动物体的飞行路径。所述飞行路径可以实质上是固定的，或者可以是可变的或动态的。所述飞行路径可以朝向目标物体。在一些实施方式中，飞行路径可以朝向静止的物体。飞行路径可以可选地朝向移动的物体，但是航向和/或路径可以随着物体的移动而改变。替代地，不针对移动的物体生成飞行路径。所述飞行路径可以包括沿目标方
向的航向。所述飞行路径可以保持在目标方向上的航向，直到检测到撤退条件(例如，检测到进一步的输入，或者适用飞行限制)。所述飞行控制器可以与所述可移动物体的一个或多个推进单元进行通信(未图示)。
127.可选地，可以将来自一个或多个传感器的信息提供给所述飞行控制器。例如，可以将来自一组或多组imu的信息提供给所述飞行控制器。所述一组或多组imu可以是所述可移动物体机载的、载体机载的和/或有效载荷机载的。来自这些imu的数据可以指示所述可移动物体、载体和/或有效载荷的位置信息。所述飞行控制器可以可选地使用来自所述一个或多个传感器的信息来控制uav的飞行。可选地，可以用来自所述一个或多个传感器的信息来控制成像装置相对于uav和/或其环境的位置。
128.所述飞行控制器可以接收来自用户终端的信息。所述飞行控制器可以接收指示了用户对目标和/或方向的选择的信息。所述飞行控制器可以响应于这种对目标和/或方向的选择来生成飞行路径和/或控制uav的飞行。
129.可以可选地将来自所述飞行控制器的信息提供给用户终端。例如，所述用户终端可以接收关于飞行路径的信息。可以可选地将飞行路径和/或航向显示在所述输出装置上。
130.虽然在图2中作为操作性相连接的多个分开的部件进行了示出，但应理解的是，所示的配置仅是出于展示的目的。可以移除或组合某些部件或装置，并且可以添加其他部件或装置。
131.使用图2的系统可以实现一种用于控制可移动物体(例如uav)的方法。所述方法可以包括在所述可移动物体处于第一位置时获得用于所述可移动物体的目标信息。所述目标信息可以指示不同于所述第一位置的第二位置。所述方法可以进一步包括生成所述可移动物体从所述第一位置到所述第二位置的路径。所述目标信息可以是使用一个或多个成像装置获得的。用于可移动物体的所述路径可以是飞行路径，并且可以由所述飞行控制器和/或用户终端生成。
132.所述第二位置可以基于在所述可移动物体于所述第一位置处所捕捉的至少一个图像中的一个或多个选定点。所述图像可以使用位于所述可移动物体上的至少一个成像装置来捕捉。所述成像装置可以是所述可移动物体所携带的有效载荷。所述图像可以显示在所述用户终端的输出装置上。所述一个或多个选定点可以与目标相关联。当用户在所述显示器上的图像中选择一个或多个点时，就可以选定显示在所述图像中的这个目标的至少一部分。在一些情况下，选择所述一个或多个点可以致使选定显示在所述图像中的整个目标。
133.所述目标在真实世界中的位置(即，世界坐标)可以使用单一成像装置或多个成像装置来确定。
134.当是使用单一成像装置确定出所述目标的位置时，可以使用三角测量方法来确定所述目标的位置。首先，可以使所述成像装置相对于所述目标以横向方式并且垂直于从所述成像装置到所述目标的方向进行平移(通过移动所述可移动物体)。在这个横向平移过程中，所述成像装置可以捕捉多个图像。可以将所述多个图像提供给图像分析器，所述图像分析器接着基于以下各项来计算从所述目标到可移动物体的距离：(1)在所述多个图像中所述目标的位置变化，以及(2)在所述横向平移过程中所述可移动物体的行进距离。在所述横向平移过程中所覆盖的距离可以由所述成像装置和/或可移动物体上的imu进行记录。替代地，在所述横向平移过程中所覆盖的距离可以从一个或多个全球导航卫星系统(gnss)来获
得。例如，所述成像装置和/或可移动物体上的gnss接收器可以通过处理这些卫星所广播的信号来确定估算位置、速度和准确时间(pvt)。所述pvt信息可以用来计算在所述横向平移过程中所覆盖的距离。
135.所述imu可以是被配置成使用多个加速度计与多个陀螺仪的组合来测量并报告uav的速度、朝向和重力的电子装置。可以可选地包括磁力计。所述imu可以使用一个或多个加速度计来检测当前加速速率，并且使用一个或多个陀螺仪来检测旋转属性(例如俯仰、横滚和偏航)的变化。可以包括磁力计来辅助针对朝向漂移进行校准。
136.在一些实施方式中，可以使用单个成像装置来确定目标的位置，所述成像装置为飞行时间(tof)相机。在这些实施方式中，可以在不移动所述tof相机的情况下确定目标的位置。飞行时间相机(tof相机)可以是能通过针对图像的每个点测量所述相机与物体之间的光信号的飞行时间、基于已知的光速而解析距离的范围成像相机系统。在一些情况下，使用tof相机可以改善跟踪精度。
137.在一些其他实施方式中，可以使用多个成像装置来确定目标的位置。图3示出了可以使用多个成像装置来确定目标的位置的示例。可以提供第一成像装置304和第二成像装置306。所述第一成像装置和第二成像装置可以安置在不同位置处。例如，第一成像装置可以是可移动物体302搭载的有效载荷，而第二成像装置可以位于所述可移动物体上或之内。在一些实施方式中，第一成像装置可以是相机并且第二成像装置可以是双目视觉传感器。在一些实施方式中，所述第一成像装置和第二成像装置可以是同一双目相机的一部分。第一imu可以安置在有效载荷上，例如第一成像装置自身上或者将有效载荷联接到可移动物体的载体上。第二imu可以位于所述可移动物体的本体内。所述第一成像装置和第二成像装置可以具有不同的光学轴线。例如，第一成像装置可以具有第一光学轴线305而第二成像装置可以具有第二光学轴线307。所述第一成像装置和第二成像装置可以属于彼此独立移动的不同惯性参照系。替代地，所述第一成像装置和第二成像装置可以属于同一惯性参照系。所述第一成像装置可以被配置成用于捕捉图像310，所述图像被显示在用户终端的输出装置上。所述第二成像装置可以被配置成用于捕捉包括左眼图像314-1和右眼图像314-2的双目图像314。如图3所示，所述第一成像装置和第二成像装置可以捕捉一个目标308的多个图像。然而，在所捕捉的这些图像中目标的位置可以不同，因为第一成像装置和第二成像装置是在不同的位置处。例如在图3中，目标在图像310中的位置308’可以位于所述图像的右底拐角处。相反，所述目标在左眼图像314-1中的位置308-1’和所述目标在右眼图像314-2中的位置308-2’可以位于对应的左眼和右眼图像的左部分中。在左眼和右眼图像中的位置308-1’和308-2’也可能由于双目视觉而略微不同。
138.所述第一成像装置与第二成像装置之间的位置差异可以是基于从所述第一imu和第二imu获得的实时位置信息来确定的。来自第一imu的实时位置信息可以指示第一成像装置的实际位置，因为所述第一imu是安装在所述有效载荷上的。同样地，来自第二imu的实时位置信息可以指示第二成像装置的实际位置，因为所述第二imu是位于所述可移动物体的本体上在所述第二成像装置处。在一些情形下，所述飞行控制器可以基于所计算出的位置差异来调整所述可移动物体和/或有效载荷的姿态。所述图像分析器可以被配置成基于所计算出的位置差异来将所述第二成像装置所获得的这些图像与所述第一成像装置所获得的这些图像进行相关或映射。可以基于所述第一与第二成像装置的图像之间的关联以及所
述第一与第二成像装置在不同时刻的位置差异来确定目标的位置。
139.在一些实施方式中，目标的实际位置是不需要知道的。跟踪可以主要基于图像中目标的大小和/或位置。例如，所述可移动物体可以被配置成朝向所述目标移动到在所述图像内所述目标的大小达到预定阈值。替代地，所述可移动物体的成像装置可以镜头拉近到所述目标上，而无需可移动物体移动，直到在所述图像内所述目标的大小达到预定阈值。可选地，所述成像装置可以拉近镜头，并且可移动物体可以同时朝向目标物体移动，直到在所述图像内所述目标的大小达到预定阈值。在一些实施方式中，目标的实际位置可以是已知的。在所述图像内所述目标的大小包括所述图像内所述目标的特征长度。所述图像内所述目标的特征长度可以是基于所述目标的最显著尺寸标度。所述目标的最显著尺寸标度可以是用所述目标的显著部分的长度、宽度、高度、厚度、弧度、和/或圆周表示的。所述预定阈值可以是基于所述图像的宽度限定的。在一些实施方式中，所述可移动物体可以被配置成朝向目标移动和/或可以致动所述成像装置直到图像内的目标被显示在目标区域中。所述目标区域可以是所述图像的中央部分以及所述图像的任何其他部分。所述成像装置以n个自由度的这种致动可以是使用载体(例如，云台)来实现的。
140.所述可移动物体可以被配置成沿着所述路径从所述第一位置移动到所述第二位置。对于许多真实世界的应用而言，仅已知目标和可移动物体的位置可能不足以进行实时跟踪。例如，周围环境可能在可移动物体与目标之间的路径中包括障碍物。这些障碍物可能是静止的、能够移动的、或在运动中的。这样，关于外部环境的信息对于通过实时地重新规划路径来使可移动物体规避此类障碍物是必须的。在一些实施方式中，关于外部环境的信息可以提供成基于一个或多个成像装置所捕捉的一个或多个图像的3d图。所述可移动物体的飞行路径可以是通过使用所述3d图来生成的。
141.图4示出了根据一些实施方式的一种使用3d图来生成飞行路径并规避障碍物的示例性方法。首先，可以由成像装置捕捉图像。所述成像装置可以是所述可移动物体上的双目视觉传感器。所述图像可以是包括左眼图像和右眼图像的双目图像。如之前提到的，可以用另一个相机(有效载荷)所捕捉的图像进行校正/校准所述双目图像。使用所述双目图像、通过左眼图像和右眼图像的立体匹配，就可以生成深度图。可以将所述左眼图像和右眼图像进行匹配以获得在其中可以检测环境中的障碍物/物体的位置的一种深度图。在一些实施方式中，可以使用安置在多个位置处的多个相机来生成深度图。这种立体匹配可以使用实时块匹配(bm)或半全局块匹配(sgbm)算法来进行，所述算法是使用一个或多个处理器实现的。在一些实施方式中，可以额外使用来自超声波传感器的超声波数据来检测没有明显纹理的物体的位置/距离(例如，双目视觉传感器可能不能够检测白色墙壁或玻璃墙壁的位置)。
142.通过将所述双目图像或任何图像与所述深度图进行关联就可以生成外部环境的3d图。例如，所述左眼图像和/或右眼图像可以被映射到所述深度图。在一些情况下，可以将所述另一个相机(有效载荷)所捕捉的图像映射到所述深度图。所述深度图可以包括多个像素点。有效像素点可以对应于外部环境中的障碍物。像素点与障碍物之间的关系可以是一对多或者多对一的。例如，一个有效像素点可以对应于多个障碍物。替代地，多个有效像素点可以对应于一个障碍物。在一些情况下，一组有效像素点可以对应于一组障碍物。有效像素点具有大于0的值。相反，无效像素点是从所映射的图像中不可鉴别的点。无效像素点具
有等于或小于0的值。没有明显纹理的或透明的物体可能在图像中显示为无效像素点。在一些实施方式中，来自超声波成像的超声波数据可以用来补充这种视觉关联以鉴别出这些无效像素点。所述超声波成像可以例如采用位于所述可移动物体上的激光雷达传感器来执行。来自超声波传感器的超声波数据可以用来检测没有明显纹理的或透明的物体的位置/距离。
143.接下来，可以生成与所述深度图中的这些像素点相对应的3d空间点。与所述深度图中的像素点相对应的3d空间点可如下地给出：
144.如果d》0.
145.其中d是在所述深度图中的深度，f是所述成像装置的焦距，(cx，cy)是距所述可移动物体的中央点(形心)的偏离量，并且(x，y)是在所述深度图上的像素点。可以将多个3d空间点分布到一个占据网格的多个单元格中。所述可移动物体的位置可以定位在所述占据网格的中心处。在一些情况下，所述可移动物体的位置可以定位在所述占据网格的另一个部分(例如，边缘)。所述占据网格可以用来定义所述可移动物体周围的空间环境的3d图。
146.所述占据网格可以具有多个单元格。所述占据网格可以具有n
x
×
ny×
nz的大小，其中n
x
是沿着x轴线的单元格数量，ny是沿着y轴线的单元格数量，并且nz是沿着z轴线的单元格数量。n
x
、ny和nz可以是任何整数，并且可以是相同或不同的。在一些实施方式中，n
x
＝ny＝80并且nz＝40。在一些实施方式中，n
x
和ny可以小于80或大于80。在一些实施方式中，nz可以小于40或大于40。所述占据网格中的每一单元格可以具有m
×m×
m的大小，其中m可以是任何尺寸。在一些实施方式中，m可以小于或等于0.1米、0.2米、0.3米、0.4米、0.5米、或1米。在一些实施方式中，m可以大于1米、1.1米、1.2米、1.3米、1.4米、1.5米、或2米。
147.所述占据网格可以具有i个单元格，其中i＝n
x
×
ny×
nz。每个单元格可以表示为第i单元格。例如，i＝1可以表示第一单元格，并且i＝10可以表示第十单元格。对于每一第i单元格而言，可以确定落入所述单元格内的3d空间点的数量。可以通过针对每一第i单元格确定落入所述第i单元格内的3d空间点的数量是否大于预定阈值τ来生成环境的3d图。每个第i单元格可以具有二元状态ci。当落入第i单元格内的3d空间点的数量大于预定阈值τ时，则ci＝1。当落入第i单元格内的3d空间点的数量等于或小于预定阈值τ时，则ci＝0。预定阈值τ可以是基于所捕捉图像的采样频率以及从深度图中获得的3d空间点的精度来确定的。预定阈值τ可以在采样频率增大时以及落入单元格内的3d空间点的数量的增大时增大。预定阈值τ可以在3d空间点的精度增大时减小。预定阈值τ可以具有取值范围。例如，所述预定阈值的范围可以是从约5到约30。在一些情况下，所述预定阈值的范围可以是从小于5到大于30。
148.如之前提到的，可以用超声波数据来补充这种视觉关联以鉴别无效像素点。当检查到有效超声波读数ds时，可以将所有具有为ds的距离的、在声纳作用距离以内的单元格的状态ci设为1。
149.图5示出了占据网格的示例。虽然未示出单元格，但可以理解的是，所述占据网格可以包括i个单元格，并且这些单元格可以安排成3d配置。每个第i单元格可以具有二元状态ci(0或1)。这样，所述占据网格可以包括具有两个不同灰度级的区域。单元格状态0可以用灰度值255表示，并且单元格状态1可以用显著小于255的灰度值表示，以便区分不同的单
元格。
150.如图4所示，可以基于所述3d图来生成路径。例如，所述路径可以是基于所述3d图、所述可移动物体的当前位置、以及所述目标的位置来生成的。所述路径可以通过考虑所述可移动物体周围的、或者位于可移动物体与目标之间的、或者位于可移动物体和/或目标附近的障碍物来生成。例如，所述飞行控制器可以被配置成用于生成一条穿过所述3d图内的可通行(开放)空间的路径。
151.在一些实施方式中，所述路径可以使用快速扩展随机树(rrt)算法来生成。所述rrt算法可以包括在所述可移动物体的当前位置与所述目标的位置之间沿x、y和z方向(或其他方向)连接多条线，并且对所述多条线应用多项式平滑处理以生成所述路径。在每个方向(x、y或z)上对这些线的平滑化可以是独立于其他方向进行处理的。所述rrt算法可以进一步包括将所述路径离散成多个控制点。所述可移动物体可以被配置成用于沿着所述路径从一个点移动到下一个点。
152.为了在每个方向(x、y或z)上对这些线进行平滑化，可以求解多个n阶多项式，以便通过采取以下已知的值来确保位置、速度和加速度在所述路径的起点和终点处是连续的：(1)起点的位置、(2)终点的位置、(3)速度，以及(4)加速度。例如，在x方向上，起点处的位置、速度和加速度是对应地与在时刻t＝0时的相对应的已知的值。终点处的位置、速度和加速度是对应地与在时刻t＝t时的相对应的已知的值。t是可移动物体从起点行进到终点所花的时间，并且是可调的参数。较小的t使得所述路径中的曲线更陡，而较大的t使得曲线更加渐变。可以求解以下5阶多项式方程：
[0153][0154]
以获得x方向上控制点的时间序列。类似的方法可以应用于y方向和z方向的每一方向上。
[0155]
图6示出了根据一些实施方式可以用来操作可移动物体(例如uav)的不同飞行模式的流程图。
[0156]
可以使用图2的系统实现一种用于控制uav的方法。所述方法可以包括在用户终端处接收指示了选定模式的输入。例如，用户可以从多种模式中选择一种模式。所述多种模式可以至少包括目标模式(“目标指点飞行”)和定向模式(“方向指点飞行”)。所述飞行控制器可以基于所述选定模式完成所述uav的移动。例如，uav可以在所述选定模式为目标模式时朝向选定目标移动和/或跟随所述选定目标。当选定模式为目标模式时，可以调整uav位置和/或成像装置位置。uav可以在所述选定模式为定向模式时沿选定方向移动。目标可以是基于由所述可移动物体(例如，所述可移动物体所携带的成像装置)所捕捉的至少一个图像中的一个或多个选定点来选择的。可以一次选择这些不同模式中的一种模式。可选地，这些不同模式可以是可同时选择的。可以是通过用户输入来选择这些模式的。可选地，可以是基于外部环境、uav和目标的位置、和/或方向来选择这些模式的。
[0157]
图6的a部分示出了用于实施目标指点飞行的方法的流程图。用户可以在图像上选择一个或多个点。所述图像可以在用户终端的输出装置上再现的gui中提供。当用户选择所述一个或多个点时，这个选择可以扩展至与所述点相关联的目标。在一些情况下，这个选择可以扩展至所述目标的一部分。这个点可以位于图像内的所述目标上或附近。接着uav可以
飞向和/或跟踪所述目标。例如，uav可以飞到相对于目标的预定距离、位置和/或朝向处。在一些情形下，uav可以通过以预定的距离、位置和/或朝向跟随目标来跟踪所述目标。uav可以继续朝所述目标移动、跟踪所述目标、或者以相对于所述目标的预定距离、位置和/或朝向而悬停，直到在用户终端处接收到新的目标指令。当用户在所述图像上选择另一不同的一个或多个点时，可以接收到新的目标指令。当用户选择所述不同的一个或多个点时，目标选择可以从原始目标切换至与所述新的一个或多个点相关联的新目标。uav接着可以改变其飞行路径并飞向和/或跟踪所述新目标。
[0158]
图6的b部分示出了用于实现方向指点飞行的方法的流程图。用户可以在图像上选择一个点。所述图像可以在用户终端的输出装置上再现的gui中提供。当用户选择所述点时，这个选择可以扩展至与所述点相关联的目标方向。uav接着可以沿所述方向飞行。uav可以继续沿所述方向移动，直到检测到撤退条件。例如，uav可以沿所述目标方向飞行，直到在用户终端接收到新的目标方向指令。当用户在所述图像上选择另一个不同的点时，可以接收到新的目标方向指令。当用户选择一个不同的点时，目标方向选择可以从原始方向切换至与所述新的点相关联的新目标方向。uav接着可以改变其飞行路径并沿所述新目标方向飞行。
[0159]
在一些实施方式中，图像分析器可以进一步基于多个捕捉图像来确定所述目标是静止的还是移动的。目标模式可以包括飞到模式和跟踪模式。uav可以被配置成在所述uav处于飞到模式时朝向目标飞行。uav可以被配置成在所述uav处于跟踪模式时跟踪目标。当处于跟踪模式时，uav可以与目标维持预定距离或者将目标维持在其视野内，并且可以飞向或者可以不飞向目标。
[0160]
目标的运动状态可以决定将选择目标模式的哪种模式。例如，当确定目标为静止时可以选择飞到模式。当在uav与目标之间存在相对直接路径时可以选择飞到模式。当存在相对直接的路径时，所述uav可以被配置成沿着所述路径实质上直线移动。在一些情况下，路径可以通过uav与目标之间的清晰视线来建立。
[0161]
当在uav朝选定目标移动时确定了没有障碍物存在时，也可以选择飞到模式。在一些情况下，当在所述uav朝向选定目标移动时确定了有少于预定数量和/或类型的障碍物存在时，就可以选择飞到模式。
[0162]
uav可以被配置成在选定模式为飞到模式时朝向所述静止的目标移动。所述uav可以被配置成移动到距所述静止的目标预定距离处。在一些情况下，当uav在朝静止的目标移动时可以调整所述uav的一个或多个运动特性。当在uav与静止的目标之间的路径中出现一个或多个障碍物时，就可以调整uav的所述一个或多个运动特性。
[0163]
如上所述，目标的运动状态可以决定将选择目标模式的哪种模式。例如，当确定目标在移动时可以选择跟踪模式。当在uav与目标之间存在相对复杂的飞行路径时可以选择跟踪模式。所述复杂的飞行路径可能要求可移动物体沿着所述路径以之字形方式、沿多个不同方向、和/或在多个不同海拔上移动。在这样的情况下，通常在可移动物体与目标之间可能不存在清晰视线。
[0164]
在一些实施方式中，当在uav朝选定目标移动时确定了存在至少一个障碍物时，就可以选择跟踪模式。当在uav朝向选定目标移动时确定了有大于预定数量和/或类型的障碍物存在时，就可以选择跟踪模式。
[0165]
uav可以被配置成在选定模式为跟踪模式时跟随移动的目标。uav可以被配置成在预定距离处跟随移动的目标。在一些情况下，当uav在跟随移动的目标时可以调整所述uav的一个或多个运动特性。当在uav与移动的目标之间的路径中出现一个或多个障碍物时，就可以调整uav的所述一个或多个运动特性。
[0166]
在一些实施方式中，所述飞行控制器和/或用户终端可以基于确定了所述目标是静止的还是移动的来在所述飞到模式与所述跟踪模式之间自动转换/切换。在一些情况下，飞到模式与跟踪模式之间的自动转换/切换可以取决于在uav朝向选定目标移动时存在的障碍物的数量和/或类型来进行。例如，当在uav朝选定目标移动时确定没有障碍物存在时，选定模式可以切换至飞到模式。当在uav朝向选定目标移动时确定有少于预定数量和/或类型的障碍物存在时，选定模式则可以切换至飞到模式。在一些情况下，当在uav朝选定目标移动时确定存在至少一个障碍物时，选定模式则可以切换至跟踪模式。在其他情况下，当在uav朝向选定目标移动时确定有大于预定数量和/或类型的障碍物存在时，选定模式则可以切换至跟踪模式。
[0167]
在一些实施方式中，目标模式可以涵盖飞到模式和跟踪模式二者的同时运行。例如，uav可以被配置成飞到目标而同时跟踪所述目标。uav还可以无论目标的运动状态如何(例如，无论目标是静止的还是移动的)都跟踪所述目标。
[0168]
如之前提到的，所述uav可以被配置成在选定模式为定向模式时沿选定方向移动。所述方向可以是基于由所述可移动物体(例如，所述可移动物体所携带的成像装置)所捕捉的至少一个图像中的一个或多个选定点来选择的。
[0169]
在一些情况下，当uav在沿选定方向移动时可以调整所述uav的一个或多个运动特性。例如，当在uav移动的选定方向上出现一个或多个障碍物时，可以调整所述uav的所述一个或多个运动特性。
[0170]
所述uav可以被配置成取决于在所述图像中选择了哪个点来从一个方向到另一个方向切换行程。所述uav可以被配置成当选择第一点时沿第一方向移动，并且当选定第二点时沿第二方向移动。第二点的选择可以取代第一点的选择。所述第一点和所述第二点位于所述图像的不同部分处。所述第二方向可以不同于所述第一方向。当uav在从一个方向到另一个方向切换行程时，可以改变所述uav的姿态和/或朝向。
[0171]
在一些实施方式中，所述飞行控制器可以被配置成用于生成过渡路径，所述过渡路径允许uav以曲线方式从一个方向到另一个方向切换行程。以曲线方式切换行程可以提供某些益处，例如减小uav的功耗和/或改善uav的飞行稳定性。
[0172]
所述uav可以被配置成在所述选定模式是目标模式或是定向模式时沿一个路径移动。在一些情况下，所述飞行控制器可以当在所述路径中检测到一个或多个障碍物时生成所述路径的迂回。所述一个或多个障碍物可能是静止的、能够移动的、或在运动中的。所述uav可以被配置成通过沿着所述迂回路线移动来自动规避所述一个或多个障碍物。所述迂回路线可以在第一点处离开所述路径并且在第二点处重新汇入所述路径。在一些情形下，原始飞行路径可以实质上被迂回路线取代。所述迂回路线可以是在所述一个或多个障碍物周围、上方、和/或下方成形的。所述迂回路线可以是沿横向和/或竖直方向或是三维空间中的任一方向的。所述迂回路线可以是直线、曲线、曲线路径、或其任何组合。在一些实施方式中，在所述迂回路线之中可以改变uav和/或位于其上的成像装置的朝向，以使得目标保持
在所述成像装置的视野内。
[0173]
图7示出了用户可以通过其来选择目标并致使uav朝向目标移动的用户界面(ui)的示例。a部分示出了包括目标的环境的初始显示。b部分示出了用户在所述初始显示内选择目标。c部分示出了指示选定目标的框。d部分示出了在uav已朝目标移动并与目标相隔一定距离之后所述目标的图像。
[0174]
a部分示出了包括目标的环境的初始显示。如图所示可以提供fpv。所述fpv可以包括来自成像装置的实时流媒体图像。所述成像装置可以是uav的有效载荷。所述成像装置可以安装在uav的本体上。在一些情形下，所述成像装置可以位于远离uav的不同位置处。在一些情形下，所述成像可以位于另一个uav上。所述fpv可以替代地是来自所述成像装置的图像的图形描绘或表示。目标位于所述成像装置的视野内。在一些情况下，目标可以是独立的目标。在其他情况下，一个或多个其他物体可以环绕或者靠近目标。目标可能是静止的和/或能够移动。在进行环境的初始显示时，uav可以是静止的或移动的。
[0175]
当展示fpv时，替代地或者结合所述fpv可以展示其他类型的视角。例如，在一些实施方式中，可以提供图视角。图视角可以包括2d图，例如俯视图。图视角可以包括3d图。所述3d图可以是可变的以从不同角度观察3d环境。如本文之前描述的，可以示出立体渲染、线条框架、或其他类型的成像。
[0176]
这种显示可以是示出在用户终端上的。用户可以可选地握持所述用户终端。用户可以通过在所述fpv中选择多个点或物体来与此显示交互。
[0177]
b部分示出了用户在所述初始显示内选择目标。用户可以选择所述图像的一部分来选择所述目标。所述图像可以包括fpv和/或图。这个图可以是2d图或3d图。所述图像可以可选地包括多个fpv。用户可以选择所述fpv或图的一部分来选择所述目标。用户选择的所述图像的一部分可以可选地是一个点。这个点可以位于在所述显示器上所示出的目标上。在一些实施方式中，这个点可以位于所述显示器上所示出的目标附近。当用户选择所述点时，目标可以被自动选定。在一些情况下，可以使用一种或多种类型的标记方案(例如，阴影、彩色、高亮等)来标记目标，以指示目标已被选中。在一些情况下，在所述显示器上的目标处可能出现向用户请求确认用户是否希望选择目标的弹出窗口。在一些实施方式中，在选定点附近可以生成多个边界框。每个边界框可以与一个不同目标相关联。可以向用户提供选项来通过相应边界框选择目标。在一些情形下，用户可以选择多于一个目标。在这些情形下，uav可以被配置成首先飞到一个较接近的目标，然后飞到一个较远的目标。
[0178]
可以从2d图像或3d图中鉴别出所述目标。
[0179]
从3d图中鉴别目标可以是基于从例如图4描绘的3d图中获得的物体/特征的空间信息和/或与图5所示相似的占据网格。
[0180]
通过在图像中选择点来鉴别目标可以是使用不依赖于类别的分割算法来执行的。例如，当用户在图像上选择目标上或附近的点时，所述目标可以是与邻近的或周围的物体分割开的。这种分割可以是在不知道目标可能属于的物体类别的情况下进行的。在一些情况下，所述分割算法可以在所述一个或多个图像中生成多个种子区域并且对每个区域评级，使得顶级区域易于实现与不同物体的良好分割(即，对应于不同的物体)。
[0181]
在一些情况下，可以基于移动目标检测来选择目标。在这些情形下，假定uav和周围环境是静态的/静止的，并且待跟踪的目标可以是图像中的唯一移动的目标。可以通过背
景减除来鉴别和选择目标。
[0182]
从2d图像中鉴别目标可以是基于特征点识别的。特征点可以是图像的一部分(例如，边缘、角、兴趣点、斑点、脊等等)，所述部分独特地可区别于所述图像中的剩余部分和/或其他特征点。可选地，特征点可以是对于所成像物体的变换(例如，平移、旋转、缩放)和/或图像的特性(例如，亮度、曝光)的改变相对不变的。特征点可以是在图像的信息含量丰富的部分(例如，显著的2d纹理)中检测到的。特征点可以是在图像的在扰动下(例如，当改变图像的照度和亮度时)稳定的部分中检测到的。
[0183]
可以使用不同的算法(例如，纹理检测算法)来检测特征点，这些算法可以从图像数据中提取一个或多个特征点。这些算法可以额外进行关于这些特征点的多种不同计算。例如，这些算法可以计算特征点的总数目、或“特征点数目”。这些算法还可以计算特征点的分布。例如，这些特征点可以被广泛地分布在一个图像(例如，图像数据)或图像的一个子区内。例如，这些特征点可以被狭窄地分布在一个图像(例如，图像数据)或图像的一个子区内。这些算法还可以计算特征点的质量。在一些例子中，可以基于通过本文所提及的算法(例如，fast、角点检测器、harris，等等)计算的值来确定或估算特征点的质量。
[0184]
所述算法可以是边缘检测算法、角点检测算法、斑点检测算法、或脊检测算法。在一些实施方式中，所述角点检测算法可以是“加速分割检测特征”(fast)。在一些实施方式中，所述特征检测器可以提取多个特征点并且使用fast作出关于特征点的计算。在一些实施方式中，所述特征检测器可以是canny边缘检测器、sobel算子、harris和stephens/plessy/shi-tomasi角点检测算法、susan角点检测器、等位曲线曲率方法、高斯-拉普拉斯算子、高斯差值、hessian行列式、mser、pcbr、或灰度等级斑点、orb、freak、或者其适当组合。
[0185]
在一些实施方式中，一个特征点可以包括一个或多个非显著性特征。如本文所使用的，非显著性特征可以指图像中的非显著区域或者不明显的(例如，不可识别的)物体。非显著性特征可以指图像中不太可能突显出来或者引起人类观察者注意的元素。非显著性特征的示例可以包括当在它们的周围像素背景之外观察时不明显的或观察者不可标识的单独的像素或像素组。
[0186]
在一些替代性实施方式中，一个特征点可以包括一个或多个显著性特征。显著性特征可以指图像中的显著性区域或者明显的(例如，可识别的)物体。如本文所使用的，显著性特征可以指图像中的显著性区域或者明显的(例如，可识别的)物体。显著性特征可以指图像中可能突显出来或者引起人类观察者注意的元素。显著性特征可以具有语义意义。显著性特征可以指可以在计算机视觉过程下被一致地识别出的元素。显著性特征可以指图像中的有生命的物体、无生命的物体、地标、标记、图标、障碍物等等。显著性特征可以在不同条件下被持久地观察到。例如，从不同的视点、在一天的不同时间、在不同的照明条件下、在不同的气象条件下、在不同的图像采集设置下(例如，不同的增益、曝光度等)等等获取的图像中的显著性特征可以被持久地识别出(例如，由人类观察者或由计算机程序识别)。例如，显著性特征可以包括人类、动物、脸部、身体、结构、建筑物、车辆、飞机、标志等等。
[0187]
可以采用任何现有的显著性计算方法识别或确定显著性特征。例如，可以通过以下方式识别显著性特征：通过基于对比度的滤波(例如，基于色彩、强度、朝向、尺寸、运动、深度等)、使用一种频谱残差方法、通过频率调谐的显著性区域检测、通过用于物体估计的
二值归一化梯度、使用一种情境感知自顶而下的方法、通过用选址熵率(site entropy rate)来测量视觉显著性等等。例如，可以在由一张或多张图像经过基于对比度(例如，色彩、强度、朝向等)的滤波后生成的显著性图中识别出显著性特征。显著性图可以表示具有特征对比度的多个区域。显著性图可以预测人们将看向何处。显著性图可以包括表示特征或注视点的空间热图。例如，在一张显著性图中，显著性区域可以具有比非显著性区域更高的亮度对比度、色彩对比度、边缘内容、强度等。在一些实施方式中，可以使用物体识别算法(例如，基于特征的方法、基于外观的方法等)来识别显著性特征。任选地，可以将一个或多个物体或者一种或多种类型的图案、物体、图形、色彩、图标、轮廓等预先储存为可能的显著性特征。可以分析图像来标识出预先储存的显著性特征(例如，物体或物体的类型)。这些预先储存的显著性特征可以被更新。可替代地，显著性特征可以不需要被预先储存。显著性特征可以是在实时的基础上不依赖于预先储存的信息而识别的。
[0188]
用户可以指定一个点的精度可以在0.01度或更小、0.05度或更小、0.1度或更小、0.5度或更小、1度或更小、2度或更小、3度或更小、5度或更小、7度或更小、10度或更小、15度或更小、20度或更小、或30度或更小的数量级上。
[0189]
uav可以朝所述选定点所指示的目标行进。可以从uav的当前位置到目标的位置来限定uav的飞行路径。飞行路径可以用uav的当前位置到目标的位置的向量来表示。
[0190]
当用户选择图像的一部分来指定目标时，到选定目标的飞行路径可以被或可以不被视觉地在屏幕上指明。例如，可以在所述图像上提供指示了到目标物体的飞行路径的视觉标记物。这个视觉标记物可以是点、区域、图标、线、或向量。例如，线或向量可以指示朝向目标的飞行路径方向。在另一个示例中，线或向量可以指示uav在前进的方向。
[0191]
在一些实施方式中，用户可以指定uav处于目标模式。当uav处于目标模式时，用户所选择的图像部分可以决定着uav在遭遇障碍物之前、或在选择另一个不同目标时、或者在uav遭遇飞行限制时将朝其行进的目标。uav可以朝向目标物体行进直到遭遇停止或改变准则，例如目标改变、飞行限制、飞行模式改变、低电量、或障碍物。用户可以通过从一种或多种可用模式(例如如之前提到的定向模式)中选定目标模式来指定uav处于目标模式。
[0192]
可以提供能允许用户使用用户界面来指定目标物体的任何其他用户界面工具或技术。
[0193]
在已选择了目标之后，可以在所述显示器中使用标记或鉴别方案来指示目标已被选中。例如，图7的c部分示出了在显示器上的选定目标周围的一个框702。这个框可以是任何形状的，例如n边多边形，其中n可以是大于2的任何整数。在图7中，这个框是4边多边形(四边形的)。这个框可以用作给用户的视觉指示物，以将选定目标与邻近物体区分开。在一些实施方式中，在这个框内或附近可能出现提示窗口(未示出)，所述提示窗口请求用户确认选定目标是否对应于用户的既定目标。用户可以通过点击这个框来确认选定的目标。
[0194]
图7的d部分示出了uav已朝目标移动之后所述目标物体的图像。例如，从fpv中，当uav在朝向目标行进时，曾经较远的物体可能变得靠近。从图视角中，当uav已移动到更靠近目标之后，uav与目标之间的距离减小。
[0195]
uav可以朝目标移动直到它与目标偏离了预定距离。所述预定距离可以包括水平距离分量和/或竖直距离分量。uav可以停留在距目标所述预定距离处。在一些情况下，uav可以保持在距目标所述预定距离之外。所述预定距离可以是基于目标的大小以及从uav到
目标的初始距离来确定的。所述预定距离可以自动生成，或者可选地是用户可调整的。例如，如果用户希望uav移动到更靠近目标，那么用户可以选择(例如，“点击”)图像中的目标多次以调整所述预定距离。调整这个距离可以可选地取决于用户在图像中选择(例如，触摸)目标的时长。在一些实施方式中，所述预定距离可以是基于例如目标的大小以及从uav到目标的初始距离等因素来动态地计算的。
[0196]
用户可以通过与所述显示器的gui进行交互来以多种不同配置控制uav的飞行。例如，当用户在图像中选择目标上的点时，uav可以朝目标飞行。可选地，当用户在图像中选择位于目标下方的点时，uav可以沿着其原始飞行路径向后且离开目标而飞行。替代地，在图像中选择目标上方的点可以致使uav向前飞行。在一些情况下，在图像中双击(或触摸)目标多次可以致使uav飞到更靠近目标。要注意，可以预期用户与用户终端/输出装置的用于控制uav飞行的各种功能的任何交互形式。
[0197]
在一些情形下，当用户指定了目标时，uav可以用固定的速度或变化的速度朝目标行进。可以提供标准目标行进速度。也可以提供可变目标行进速度。替代地，用户可以指定uav朝目标行进所可以使用的速度和/或加速度。在此对于影响uav速度的任何说明也都可以应用于影响uav在朝目标移动时的加速度。在一些情形下，用户可以在指定目标的同时影响速度。例如，当用户选择目标时，用户触摸目标的点击或触摸次数可以影响uav的速度。例如，如果用户单次触摸指示目标的点，则uav可以用第一速度行进，并且如果用户多次触摸所述点，则uav可以用第二速度行进。第二速度可以大于第一速度。uav行进的速度可以对应于触摸或选择指示了目标的这个点的次数。在选择次数与uav的速度之间可以提供正比例关系。在一些情形下，在选择次数与uav的速度之间可以提供线性关系。例如，如果用户n次点击这个点/目标，则uav的速度可以是x n*y，其中x是速度值，y是速度乘数，并且n是选择目标的次数。可以提供任何其他的数学关系。用户可以进行第一次选择来获得第一速度，并且接着再次进行选择来使uav速度增大。用户可以一直进行选择以便一直使uav速度增大。
[0198]
在另一个示例中，当用户选择目标时，与目标的选择相关联的时长可以影响uav的速度。例如，如果用户持续第一时间段地触摸指示目标的点，则uav可以用第一速度行进，并且如果用户持续大于所述第一时间段的第二时间段地触摸，则uav可以用第二速度行进。第二速度可以大于第一速度。uav行进的速度可以对应于触摸或选择指示了目标的这个点的时长。在选择时长与uav的速度之间可以提供正比例关系。在一些情形下，在选择时长与uav的速度之间可以提供线性关系。
[0199]
多种不同其他类型的用户交互可以影响uav朝目标行进的速度。在一些示例中，滑动运动(例如，滑动速率、滑动时长、滑动次数)可以影响uav的速度。在其他示例中，可以触摸不同的区域来影响uav的速度。在另一个示例中，可以针对速度控制提供分开的控制。例如，用户可以在uav朝目标行进时使用手动控制来调整速度。可以根据这种手动控制来实时地调整速度。在另一个示例中，用户可以输入所希望的速度数值，或者从多个预选项中选择速度。
[0200]
图8示出了用户可以通过选择多个不同点来以其选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例。图8类似于图7，除了以下区别。在图8中，用户可以通过在图像上触摸多个点来生成含有目标的框而选定目标。a部分示出了包括目标的环境的初始显示。b部分示出了用户在所述初始显示内选择靠近目标的第一点。c部分示出了用户在所述
初始显示内选择靠近目标的第二点。d部分示出了在uav已朝目标移动并与目标相隔一定距离之后所述目标的图像。
[0201]
参见图8的b部分和c部分，当用户在图像上触摸所述第一点和第二点时，可以生成一个将目标包含在其中的框。这个框可以是任何形状的，例如n边多边形，其中n可以是大于2的任何整数。在图8中，这个框是4边多边形(四边形的)。当目标实质上位于图像中的这个框之内时，目标就可以是选中的。
[0202]
图9示出了用户可以通过绕目标绘制形状来以其选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例。图9类似于图8，除了以下区别。在图9中，用户可以通过绕目标绘制一个框来选择目标。a部分示出了包括目标的环境的初始显示。b部分示出了用户在所述初始显示内绕目标绘制一个框。c部分示出了在uav已朝目标移动并与目标相隔一定距离之后所述目标的图像。
[0203]
参见图9的b部分，用户通过围绕目标以圆形方式触摸显示器来在图像上绕目标绘制一个框。这个框可以将目标包含在其中。这个框可以是任何形状的，例如n边多边形、椭圆、不规则形状等。在图9中，这个框可以是椭圆。当目标实质上位于图像中的这个椭圆之内时，目标就可以是选中的。替代地，当用户在图像上触摸目标上或附近的一个点时，可以生成这个框。这个框可以指示其中显示的目标已被选中。
[0204]
图10示出了用户可以通过其来选择目标并致使uav朝向所述目标移动的用户界面(ui)的示例，所述用户界面包括第一人称视角(fpv)的拍摄图像/视频图像以及2d图。所述ui可以包括实质上占据了显示器的大部分的fpv 1002，以及位于所述显示器的一部分(例如，左下拐角)上的2d图1004(例如，俯视图)。所述fpv可以包括由uav上的成像装置所捕捉的图像。用户可以通过在所述图像上触摸点1006来选择目标。在一些实施方式中，可以生成气球1008来显示目标的放大视图。在图10中，目标对应于建筑物的一部分，如气球中所示的。在一些实施方式中，用户可以通过在气球内选择一个或多个点或一个区域来进一步细化目标选择。例如，用户可以点击气球内的具体特征。替代地，用户可以在气球内绘制形状来使得区域封闭。另外，用户可以使得显示在所述气球内的视角镜头拉近或镜头放远。用户还可以在显示在所述气球内的视角中沿任何方向导航。在一些实施方式中，用户可以使所述气球在图像内四处移动以便显示所述图像的不同部分的放大视图。当用户使所述气球在图像内四处移动时，用户可以注意到感兴趣的特征或点，并且将这些感兴趣的特征或点选择为目标。在一些实施方式中，在选定点旁边可能出现提示窗口(未示出)，所述提示窗口请求用户确认所述选定点是否对应于用户的既定目标。一旦用户确认了目标，目标和uav的位置就可以显示在2d图1004中在所述显示器的左下角上。uav可以朝向目标移动。例如，uav可以朝气球1008中显示的建筑物移动。在所述图像中图像的大小随着uav朝向目标移动而增大。可以在所述2d图上实时更新目标和uav的位置。例如，当uav朝向目标移动时，在所述2d图上uav与目标之间的距离开始减小。在一些实施方式中，用户可以在飞行前(即，在uav运行之前或当uav在固定点处悬停时)从所述气球中选择目标。替代地，在其他实施方式中，用户可以在飞行过程中细化对目标的选择。在一些情况下，用户可以通过在显示的图像中、例如从气球中选择不同的点来选择新目标。在此，当uav在飞向和/或跟踪目标时，显示的图像可以包括关于原始目标(还以及在其周围)的更多细节。当uav在飞向和/或跟踪目标时，用户可以基于关于原始目标(还以及在其周围)的更多细节来细化其目标选择。例如，用户可
以选择不同的点或选择不同的区域来细化其目标选择。当目标选择被细化时，uav可以略微修正其行程并且飞向和/或跟踪细化后的目标。此外，用户可以在uav飞行过程中通过在图像上将气球移动到另一个位置来选择全新的目标。当选择了新目标时，uav可以改变行程并且飞向和/或跟踪所述新目标。
[0205]
虽然图10中展示了fpv，但替代地或者结合所述fpv可以展示其他类型的视角。例如，在一些实施方式中，图视角可以包括3d图而非2d图。所述3d图可以是可变的以从不同角度观察3d环境。在一些实施方式中，3d环境可以包括多个虚拟物体。这些虚拟物体可以是图形的实心物体或图形的线条框架。这些虚拟物体可以包括用户可能感兴趣的多个点或物体。用户可能较不感兴趣的点或物体可以从所述3d虚拟环境中省略，以减少物体杂乱并更清晰地描绘感兴趣的点/物体。减少的杂乱使得用户更容易从所述3d虚拟环境中选择或鉴别希望的点或感兴趣的物体。
[0206]
图11示出了用户可以通过其来选择目标并致使uav朝向目标移动的用户界面(ui)的示例。a部分示出了包括多个物体的环境的初始显示。这些物体可以包括静止的物体(例如，建筑物、树、高尔夫球场、加油站等)以及能够移动的物体(例如，一群人)。b部分示出了用户在所述初始显示内选择目标。c部分示出了在uav已朝目标移动并与目标相隔一定距离之后所述目标的图像。
[0207]
如图11的b部分所示，用户可以在图像上选择一个点。这个点可以在高尔夫球场处或附近。选择这个点可以使得所述高尔夫球场被选择为目标。uav可以朝向所述高尔夫球场移动。如c部分所示，高尔夫球场的大小现在已经增大，因为uav现在更靠近所述高尔夫球场(目标)。
[0208]
图12示出了用户可以通过其来选择新的目标并致使uav朝向新的目标移动的用户界面(ui)的示例。图12的a部分示出了与图11的c部分相对应的初始显示。b部分示出了用户操纵所述图像以增大视野从而生成更新的显示。c部分示出了用户在更新的显示内选择新目标。d部分示出了在uav已朝新的目标移动并与在所述新目标相隔一定距离之后所述新目标的图像。
[0209]
图12的a部分示出了当前选定目标1202的图像。在图12的b部分中，用户可以通过操纵图像来增大视野。例如，用户可以在所述触摸显示上实施“夹挤”运动来增大视野，这允许更多物体显示在所述图像中。在图12的c部分中，用户可以在更新后的显示中选择新的点。这个新的点可以与不同的目标物体1204(例如，建筑物)相关联。选择这个新的点可以使得所述建筑物被选择为新目标1204。uav可以朝向所述建筑物移动。如图12的d部分所示，建筑物的大小现在已经增大，因为uav现在更靠近所述建筑物(新目标)。
[0210]
图13和14示出了用户可以通过其来选择目标并致使uav跟踪目标的用户界面(ui)的示例。图13的a部分示出了包括多个物体的环境的初始显示。这些物体可以包括静止的物体(例如，建筑物、树、高尔夫球场、加油站等)以及能够移动的物体(例如，一群人)。图13的b部分示出了用户在所述初始显示内选择目标。图14的a部分示出了选定目标的图像。图14的b部分示出了在uav已朝目标移动并在与目标相隔一定距离处之后所述目标的图像。图14的c部分示出了当uav在跟踪目标时所述目标的图像。
[0211]
如图13的b部分所示，用户可以在图像上选择一个点。这个点可以在一群人之处或附近。选择这个点可以使得这群人被选择为目标。uav可以向这群人移动和/或跟踪这群人。
这群人可以是静止的和/或在不同时间点移动。如图14的b和c部分所示，可以在uav跟踪目标时持续更新图像。
[0212]
在一些情形下，这群人可以在某个时间之后消失。uav可以被配置成跟踪位置最靠近选定点的一个人。在一些情况下，uav可以跟踪这个群体中剩下的显著部分。
[0213]
图15中展示了在跟踪目标的uav。例如，如图13和14所示，用户可以在显示器上选择目标。所述目标可以是一群人。在跟踪过程中，uav可以用速度vi移动并且目标可以用速度vt移动。速度vi和vt可以实质上相同。在一些情况下，速度vi和vt可以不同。例如，vi《vt使得uav比目标移动更慢，或者vi》vt使得uav比目标移动更快。
[0214]
在一些实施方式中，使用图2的系统可以实现一种用于控制uav的方法。所述方法可以包括：在所述uav处于第一位置时从所述uav携带的成像装置所捕捉的一个或多个图像中获取一个目标；并且控制所述uav跟踪所获取的目标。目标可以是基于所述一个或多个图像中的选定点来获取的。这些图像可以是由所述可移动物体上的成像装置在所述第一位置处捕捉的。
[0215]
在所述一个或多个图像中的所述选定点可以是与一组图像坐标相关联的。目标可以位于与一组世界坐标相关联的第二位置处。可以生成从所述组图像坐标到所述组世界坐标的变换。基于所述变换可以计算出从所述第一位置到所述第二位置的方向向量。基于所述方向向量可以生成供uav跟踪所获取的目标的路径。
[0216]
在一些实施方式中，可以从用户接收初始化图像中的选定点。所述初始化图像可以被包括在所述一个或多个图像内。可以提供多个物体候选项供所述用户选择，其中每个物体候选项可以是使用边界框指代的。当用户选择与选定的目标候选项相关联的边界框时，可以接收所述选定的目标候选项作为目标。
[0217]
在一些实施方式中，基于所述成像装置的状态信息可以获得所述目标在所述一个或多个图像中的投影变换。所述成像装置的状态信息可以是基于uav的位置和姿态信息以及所述成像装置的姿态信息来确定的。
[0218]
在一些实施方式中，可以从用户接收初始化图像中的选定点。所述初始化图像可以被包括在所述一个或多个图像内。可以基于所述选定点来确定供uav移动的目标方向。在一些实施方式中，可以动态地调整所述目标方向，使得uav规避在所述目标方向上的一个或多个障碍物。可以调整所述成像装置和/或uav的姿态以便当所述uav规避所述一个或多个障碍物时将所述目标维持在所述成像装置的视野内。例如，可以控制uav的偏航角移动和平移移动以便将目标维持在视野内。
[0219]
在一些实施方式中，当目标不再存在于所述一个或多个图像中和/或所述成像装置的视野内时，可以确定发生了跟踪失败。在此类情形下，可以调整所述可移动物体的位置和姿态和/或所述成像装置的姿态以便在一个或多个后续图像中重新捕捉到所述目标。可以分析所述一个或多个后续图像以检测目标，并且一旦检测到就可以跟踪所述目标。
[0220]
在一些实施方式中，可以获得目标相对于uav的距离和/或速度。可以基于目标相对于uav的距离和/或速度来跟踪所述目标。
[0221]
在一些实施方式中，所述路径可以是第一位置(与uav相关联)与第二位置(与目标相关联)之间的优化路线。所述路径可以基于一个或多个参数来优化，包括飞行距离、飞行时间、能量消耗、海拔、包括风向和风速的天气影响、和/或对目标的跟踪(例如，目标的速率
和方向)。所述路径也可以被优化来使uav在所述第一位置与所述第二位置之间规避一个或多个障碍物。所述路径可以包括多条直线和/或多条曲线。
[0222]
例如，所述路径可以被配置成在uav从所述第一位置移动到所述第二位置时使得所述uav的能量消耗最小化。所述路径可以被配置成用于使得天气对uav移动的影响最小化。所述路径可以基于风速和风向来配置。所述路径可以被配置成用于减小uav在逆风中的移动。所述路径可以被配置成考虑当uav朝向目标移动时海拔和压力的改变。所述路径可以基于所述第一位置与所述第二位置之间的周围景观来配置。例如，所述路径可以被配置成考虑在所述周围景观中存在的人造结构和自然地形。例如，所述路径可以被配置成在所述第一位置与所述第二位置之间的路径中的例如人造结构和自然地形等障碍物的周围/上方/下方导航。
[0223]
在一些实施方式中，可以基于以下各项来获得周围景观的3d模型：(1)由所述可移动物体上的一个或多个成像装置所捕捉的一个或多个图像，以及(2)从全球定位系统(gps)数据获得的地形图。所述gps数据可以从服务器被提供到用来控制uav的用户终端。所述路径可以被配置成使得，当uav在从第一位置移动到第二位置时，兴趣点维持在所述uav上的成像装置的视野内，其中所述兴趣点可以是目标和/或其他物体。
[0224]
图16示出了在uav朝向目标移动和/或跟踪移动目标时规避障碍物。参见图16的a部分，uav可以被配置成沿路径1602飞向目标1604。所述目标可以与显示器上的图像中由用户选择的一个点相关联。所述目标可以是静止的目标、移动的目标、或者方向。在飞行路径1602中可能检测到障碍物1606。可以生成所述路径的迂回路线1608以使得uav规避所述障碍物。所述uav可以被配置成通过沿着所述迂回路线移动来自动规避所述障碍物。所述迂回路线可以在第一点1609-1处离开所述路径并且在第二点1609-2处重新汇入所述路径。
[0225]
图16的b部分示出了用于在uav成功绕过障碍物1606之后生成(例如，重新规划)路径的不同配置。uav可以初始地位于第一位置1616并且目标可以位于第二位置1618。可以在所述第一位置与第二位置之间定义向量v1。向量v1可以与从uav到目标的初始路径相关联。当在所述初始路径中检测到障碍物1606时，uav可以采用迂回路线以规避所述障碍物(通过在障碍物上方、周围、或下方飞行)。uav在成功绕过了所述障碍物之后可以飞到第三位置1620。例如，所述uav飞到位于所述障碍物右方的第三位置1620-1，如图16的b部分所示。可以在所述第一位置与第三位置之间定义向量v2-1。当uav在所述第三位置1620-1处时可以为所述uav生成朝目标移动和/或跟踪所述目标的新路径。所述新路径可以用向量v3-1定义。向量v3-1可以是基于向量v1和向量v2-1确定的。在一些实施方式中，可以基于在所述第三位置处获得的一个或多个图像以及在一个或多个之前已知的位置(例如，所述第一位置和/或所述第二位置)处获得的一个或多个图像使用三角测量方法来生成所述新路径。在一些其他实施方式中，可以控制uav飞回到其初始位置(例如，所述第一位置或者uav已经过的任何其他位置)，并且可以从所述初始位置生成新路径。在一些实施方式中，可以例如使用之前在图6中描述的方法从第三位置到第二位置生成新路径，而不使用第一位置。
[0226]
在一些实施方式中，可以确定用于规避障碍物的最短(或最直接)路径。例如，所述uav可以飞到位于所述障碍物左方的第四位置1620-1，如图16的b部分所示。从第一位置到第四位置的距离可以小于从第一位置到第三位置的距离。在一些情形下，从第一位置到第四位置的距离可以指示uav绕过障碍物所行进的最短距离。可以在所述第一位置与第四位
置之间定义向量v2-2。当uav在所述第四位置处时可以为所述uav生成(例如，重新规划)朝目标移动和/或跟踪所述目标的新路径。所述新路径可以用向量v3-2定义。向量v3-2可以是基于向量v1和向量v2-2确定的。
[0227]
在一些实施方式中，如图16的c和d部分所示，uav与目标之间的原始路径可以被迂回路线或新路径实质上取代。所述迂回路线可以是在障碍物周围(1612和1614)、上方(1610)和/或下方成形的。所述迂回路线可以是沿横向和/或竖直方向的。
[0228]
在一些实施方式中，在所述迂回路线之中可以改变uav和/或位于其上的成像装置的朝向，使得目标的位置保持在所述成像装置的视野内。
[0229]
返回参见图16的a部分，uav可以初始地位于第一位置并且目标可以位于第二位置。uav在成功绕过了所述障碍物之后可以处于第三位置。基于在所述第一位置与所述第二位置之间的向量、以及在所述第一位置与所述第三位置之间的向量可以生成用于uav的新路径。所述新路径可以用所述第三位置与第二位置之间的向量来定义。第一位置与第二位置之间的向量可以基于目标信息(例如，来自成像数据)而获得。第一位置与第三位置的向量可以从uav的imu获得。
[0230]
可以基于uav搭载的成像装置所捕捉的一个或多个图像中的一个点来选择目标。所述一个或多个图像可以是从fpv提供的。uav可以被配置成取决于在所述一个或多个图像中选择了哪个点来从朝向一个目标移动切换行程到朝向另一个目标移动。所述uav可以被配置成当选择第一点时朝向第一目标移动，并且当选定第二点时朝向第二目标移动。第二目标的选择可以取代第一目标的选择。所述第一点和所述第二点可以位于所述图像的不同部分处。所述第二目标可以不同于所述第一目标。当uav在从朝一个目标移动切换到朝另一个目标移动时，可以改变所述uav的姿态和/或朝向。可以生成过渡路径，所述过渡路径允许uav从一个目标以曲线方式切换行程到另一个目标。通过以曲线方式切换行程可以减小uav的功耗。而且，通过以曲线方式切换行程可以改善uav的飞行稳定性。
[0231]
图17示出了用户可以通过其来选择目标方向的用户界面(ui)的示例。a部分示出了一个环境的初始显示。b部分示出了用户在所述初始显示内选择目标方向。c部分示出了沿目标方向行进的可移动物体的图像。以罗盘显示了uav的对应的移动/航向。
[0232]
a部分示出了环境的初始显示。如图所示可以提供fpv。所述fpv可以包括来自成像装置的实时流媒体图像。所述fpv可以替代地是来自所述成像装置的图像的图形描绘或表示。在所展示的示例中，示出了水平面以及在视野内的物体。在进行环境的初始显示时，uav可以是静止的或移动的。例如，对应的罗盘示出了静止的uav。
[0233]
当展示fpv时，替代地或者结合所述fpv可以展示其他类型的视角。例如，可以提供图视角。图视角可以包括2d图，例如俯视图。图视角可以包括3d图。所述3d图可以是可变的以从不同角度观察3d环境。如本文之前描述的，可以示出立体渲染、线条框架、或其他类型的成像。
[0234]
这种显示可以是示出在用户终端上的。用户可以可选地握持所述用户终端。
[0235]
b部分示出了用户在所述初始显示内选择目标方向。用户可以选择所述图像的一部分来选所述目标方向。如之前描述的，所述图像可以包括fpv和/或图。用户可以选择所述fpv或图的一部分来选择目标方向。用户选择的所述图像的一部分可以可选地是一个点。uav可以沿所述选定点所指示的方向行进。uav的方向航向可以由uav的当前位置以及沿着
轨迹的包括选定点的角度来确定。
[0236]
在所展示的示例中，用户可以选择在uav的当前位置东北方向的目标方向。对应的罗盘示出了uav可以沿对应的东北方向移动。
[0237]
目标方向的用户选择可以包括目标方向的横向选择。在一些情形下，目标方向可以是在二维平面内的。例如，用户可以指定uav向北、南、东、西、或其间的任何地方移动。uav在沿指定的二维方向行进时可以保持在实质上相同的海拔上。
[0238]
在一些实施方式中，uav可能遭遇会影响uav的飞行路径的飞行限制。例如，可以适用一些横向飞行限制。在一个示例中，uav可以保持在用户终端的某个范围之内。如果uav在目标方向上行进并且即将超过用户终端的范围，则所述uav可以停止并悬停，或者可以朝所述用户终端返回。在另一个示例中，用户可以保持在地理围栏的区域之内。如果uav在目标方向上行进，并且即将超出所述地理围栏的区域之外，则所述uav可以停止并悬停，或者可以朝所述用户终端返回。障碍物可以是限飞区域。替代地，限飞区域可以含有或可以不含有任何障碍物。也可以适用任何其他类型的飞行限制。
[0239]
替代地，对目标方向的用户选择可以包括目标方向的三维选择。目标方向可以是三维空间内的任何地方。例如，用户可以指定uav向北、南、东、西、上、或下、或其间的任何地方移动。uav在指定的三维方向内行进时能够改变海拔。
[0240]
在一些实施方式中，uav可能遭遇会影响uav的飞行路径的飞行限制。可以提供如之前描述的横向飞行限制。可以提供可以限制uav的海拔改变的额外海拔飞行限制。例如，如果目标方向是向上，则uav可以沿所述目标方向不确定地飞行，一路增大uav的海拔。替代地，飞行限制，例如飞行顶边界，可以生效。当uav到达飞行顶边界时，uav可以持平并保持在实质上相同的海拔上。然而，uav可以沿相同的指定横向方向继续行进。类似地，如果目标方向是向下，则uav可以沿所述方向不确定地行进直到到达地面，一路减小海拔。替代地，飞行限制，例如飞行底边界，可以生效。当uav到达飞行底边界时，uav可以持平并保持在实质上相同的海拔上。然而，uav可以沿相同的指定横向方向继续行进。
[0241]
在一些实施方式中，可以可选地显示选定目标的视觉指示物(例如罗盘和/或向量)。另外，可以可选地将指示了飞行角度、罗盘方向、未来/目标目的地等的航向信息显示在2d图和/或3d图上。
[0242]
用户可以指定方向的精度可以是在0.01度或更小、0.05度或更小、0.1度或更小、0.5度或更小、1度或更小、2度或更小、3度或更小、5度或更小、7度或更小、10度或更小、15度或更小、20度或更小、或30度或更小的数量级上。
[0243]
当用户选择图像的一部分来指定目标方向时，选定的目标方向可以被或可以不被视觉地指示在屏幕上。例如，可以在所述图像上提供指示目标方向的视觉标记物。这个视觉标记物可以是点、区域、图标、线、或向量。例如，这个点可以指示对目标方向的选择。在另一个示例中，所述向量可以指示uav正前往的方向。
[0244]
在一些实施方式中，用户可以指定uav处于定向模式。当uav处于定向模式时，用户所选择的图像部分可以决定uav在遇到其他方向之前、或在遭遇飞行限制之前将朝其行进的方向。uav可以沿所述方向不确定地行进直到遭遇停止或改变准则，例如方向改变、飞行限制、飞行模式改变、低电量、或障碍物。用户可以通过从一种或多种可用模式(例如目标跟踪模式)中选择定向模式来指定uav处于定向模式。
[0245]
在另一个示例中，当用户选择的用户界面工具指示了用户将选择的图像部分是目标方向时，uav可以沿所述目标方向飞行。所述目标方向工具可以是单次使用工具(例如，用户可能需要重新选择所述工具来选择另一个目标方向)，或者可以被使用多次(用户可以保持指定目标方向，而不必重新选择所述工具，除非用户切换了工具)。
[0246]
在其他示例中，屏幕上的一个或多个图像(例如，fpv、2d图和/或3d图)可以具有指示飞行方向的一个或多个预定区域。这些区域可以是与其他区域可视觉区分开的。例如，这些区域可以包括边界、或箭头、或可以区分所述区域的任何其他类型的特征。在一些情形下，这些区域可以被提供在包围所述图像的边界内。在其他情形下，可以提供可以允许对uav的目标方向进行调整的一个或多个箭头按钮。在额外的示例中，用户可以指明一个或多个指示uav要行进的目标方向的值或坐标。例如，角度可以提供uav要前往的目标方向。这些角度可被提供用于二维或三维方向控制。在另一个示例中，这些值可以包括沿着描述目标方向的向量的多个空间坐标。
[0247]
可以提供能允许用户使用用户界面来指定目标方向的任何其他用户界面工具或技术。
[0248]
c部分示出了沿目标方向行进的可移动物体的图像。例如，从fpv中，当uav在指定方向上行进时，曾经较远的物体可能变得靠近。从图视角，可以显示出uav遵循目标方向时所述uav将经过的物体。如在对应罗盘上显示，uav可以继续在所述目标方向上行进。
[0249]
在一些情形下，当用户指定了目标方向时，uav可以用固定的速度或变化的速度沿所述目标方向行进。可以提供标准目标行进速度。也可以提供可变目标行进速度。替代地，用户可以指定uav沿目标方向行进所可以使用的速度和/或加速度。在此对于影响uav速度的任何描述也都可以应用于影响uav在目标方向上的加速度。在一些情形下，用户可以在指定目标方向的同时影响速度。例如，当用户选择目标方向时，用户触摸目标方向的点击或触摸次数可以影响uav的速度。例如，如果用户单次触摸指示目标方向的点，则uav可以用第一速度行进，并且如果用户多次触摸所述点，则uav可以用第二速度行进。第二速度可以大于第一速度。uav行进的速度可以对应于触摸或选择指示了目标方向的这个点的次数。在选择次数与uav的速度之间可以提供正比例关系。在一些情形下，在选择次数与uav的速度之间可以提供线性关系。例如，如果用户n次点击这个点，则uav的速度可以是x n*y，其中x是速度值，y是速度乘数，并且n是选择目标方向的次数。可以提供任何其他的数学关系。用户可以进行第一次选择来获得第一速度，并且接着再次进行选择来使uav速度增大。用户可以一直进行选择以便一直使uav速度增大。
[0250]
在另一个示例中，当用户选择目标方向时，目标方向的选择的时长可以影响uav的速度。例如，如果用户持续第一时间段地触摸指示目标方向的点，则uav可以用第一速度行进，并且如果用户持续大于所述第一时间段的第二时间段地触摸，则uav可以用第二速度行进。第二速度可以大于第一速度。uav行进的速度可以对应于触摸或选择指示了目标方向的这个点的时长。在选择时长与uav的速度之间可以提供正比例关系。在一些情形下，在选择时长与uav的速度之间可以提供线性关系。
[0251]
多种不同其他类型的用户交互可以影响uav在目标方向上行进的速度。在一些示例中，滑动运动(例如，滑动速率、滑动时长、滑动次数)可以影响uav的速度。在其他示例中，可以触摸不同的区域来影响uav的速度。在另一个示例中，可以针对速度控制提供分开的控
制。例如，用户可以在uav沿目标方向行进时使用手动控制来调整速度。可以根据这种手动控制来实时地调整速度。在另一个示例中，用户可以输入所希望的速度的数值，或者从多个预选项中选择速度。
[0252]
图18示出了用户可以通过其来调整目标方向的用户界面(ui)的示例。a部分示出了当uav沿第一目标方向前行时的环境的显示。b部分示出了用户在所述显示内选择不同于所述第一目标方向的第二目标方向。c部分示出了沿所述第二目标方向行进的可移动物体的图像。以罗盘显示了uav的对应的移动/航向。
[0253]
a部分示出了当uav沿第一目标方向前行时的环境的显示。对应的罗盘示出了uav在东北方向上行进。当选择了目标方向时，uav可以沿着所述目标方向继续直到遭遇一种需要改变方向的情况，例如之前所描述(例如，方向改变、飞行限制、飞行模式改变、低电量、或障碍物)。uav可以在所述目标方向上以恒定的速度和/或加速度或变化的速度和/或加速度继续。
[0254]
b部分示出了用户在所述显示内选择不同于所述第一目标方向的第二目标方向。例如，所述第二目标方向可以是在西北方向上。所述第二目标方向可以是按与第一目标方向相同的方式来选择的。所述第二目标方向可以是在uav正以第一目标方向行进时选择的。对应的罗盘示出了uav现在是在西北方向上行进。
[0255]
c部分示出了沿所述第二目标方向行进的可移动物体的图像。uav可以从沿第一目标方向行进过渡到沿第二目标方向行进。从第一到第二目标方向的过渡可以是相对突然的或渐进的。
[0256]
如之前描述的，图像被展示为fpv，但也可以是与fpv相结合的或替代其的图。
[0257]
图19示出了uav的飞行路径的示例。如图所示，uav可以初始地在由第一向量1902所展示的第一目标方向(即，原始方向)上行进。所述uav可能接收到沿着第二向量1904所展示的第二目标方向(即，新方向)前行的指令。uav的飞行路径可以是曲线的1906以从第一方向过渡到第二方向。
[0258]
所述飞行路径的曲率可以取决于一个或多个因素，例如uav在接收到改变方向的指令时的速度和/或加速度、方向改变程度、推进单元的类型、uav的配置、uav用户的规范、或任何其他因素。在一些情形下，可以提供飞行路径的标准曲率或逐渐改变。替代地，曲率可以是根据所描述的这些因素中的一个或多个因素而改变的。例如，如果uav行进非常快，则不能像较慢地行进时那样陡然地转弯。飞行控制器可以进行计算来完成飞行路径中的方向改变。所述飞行控制器可以具有如本文其他地方描述的任意特性。
[0259]
图20示出了在一个环境中沿目标方向行进的uav的示例。环境2000可以可选地包括一个或多个物体2002。uav 2004可能能够跨越所述环境。可以提供2008所述uav的成像装置的视野。在一些情形下，可以在视野内捕捉一个或多个物体。可以选择uav的目标方向2006。uav可能能够在所述目标方向上行进。
[0260]
a部分示出了uav 2004在环境2000中的初始位置。可以指定2006所述uav的目标方向。在一些情形下，用户可通过选择所述成像装置所捕捉的图像的一部分来指定目标方向。所述目标方向可以包括在由所述成像装置捕捉的视野内的一个点。所述目标方向可以可选地是通过基于所述成像装置捕捉的信息选定图像的一部分来选择的。所述图像可以是由所述成像装置捕捉的图像或者是基于所述成像装置捕捉的图像的再现图像。所述图像可以是
fpv或者可以是代表uav所行进的环境的图。用户可以从不需要在成像装置的视野内的图视角中选择目标方向。
[0261]
b部分示出了当uav沿目标方向2006行进时uav 2004在环境2000中的随后位置。如图所示，uav可以相对于所述环境、例如所述环境内的一个或多个物体2002移动。
[0262]
可选地，当uav在目标方向上行进时，uav和/或所述uav的成像装置可以在沿所述目标方向行进时维持其相对于环境的方向。例如，如果uav和/或所述uav的成像装置初始地面向北方，则所述uav和/或成像装置可以在沿目标方向行进时保持面向北方。在其他实施方式中，所述uav和/或成像装置可以改变朝向。
[0263]
图21示出了在环境中沿目标方向行进的uav的示例，其中所述uav和/或成像装置已相对于所述环境改变朝向。环境2100可以可选地包括一个或多个物体2102。uav 2104可能能够跨越所述环境。可以提供2108所述uav的成像装置的视野。在一些情形下，可以在视野内捕捉一个或多个物体。可以选择uav的目标方向2106。uav可能能够在所述目标方向上行进。
[0264]
a部分示出了uav 2104在环境2100中的初始位置。可以指定2106所述uav的目标方向。目标方向可以使用本文其他地方描述的任何技术或用户界面来指定。
[0265]
b部分示出了响应于目标方向2106的选择而发生的uav 2104和/或成像装置的朝向改变。在一些情形下，可以响应于目标方向的选择来调整成像装置的视野2108。uav和/或成像装置的朝向可以是基于目标方向来选择的。例如，uav和/或成像装置的朝向可以被选择成将目标方向提供在所述成像装置的视野的中央区域内。所述目标方向可以在所述视野的中心点处、或沿着所述视野的横向和/或纵向中心线。在一些情形下，uav的朝向可以被选择成准许所述uav在目标方向上容易跨越(例如，如果uav具有“朝前”朝向，则可以将uav定向成使得所述uav在目标方向上具有朝前朝向)。所述成像装置可以相对于uav保持静止和/或可以相对于uav改变朝向/位置。在一些情况下，
[0266]
c部分示出了当uav沿目标方向2106行进时uav 2104在环境2100中的随后位置。如图所示，uav可以相对于所述环境、例如所述环境内的一个或多个物体2102移动。在一些情形下，uav可以在调整了所述uav和/或成像装置的朝向之后沿所述目标方向行进。替代地，uav可以在调整所述uav和/或成像装置的朝向时、或在调整所述uav和/或成像装置的朝向之前沿所述目标方向行进。
[0267]
在一些实施方式中，在选择和使uav沿目标方向飞行时可以采用多种不同类型的坐标系。例如，一个或多个坐标系可以是成像装置和/或uav本地的。一个或多个坐标系可以包括相对于惯性参照系(例如环境)来提供的全局坐标系。可以参照全局坐标系来确定成像装置和/或uav的位置。在一些情形下，可以参照本地坐标来确定成像装置和/或uav的位置。所述成像装置和/或uav的位置可以在全局坐标与本地坐标之间转换。
[0268]
可选地，图像中的目标方向可以是相对于成像装置和/或所述装置中捕捉的图像的本地坐标系来确定的。目标方向的本地坐标可以被转换成所述目标方向的全局坐标。例如，在本地坐标系中指代目标方向的向量可以被转换成全局坐标系中的向量。
[0269]
接下来，将描述用于计算显示屏幕上的用户选定点/将其转换成uav飞行空间内的飞行方向的方法。例如，当用户在gui图像中选择一个点时，可以获得用户在其上进行选择的屏幕位置(x
屏幕
，y
屏幕
)。用户终端可以基于当前预览图像在相机原图像内的位置和百分比
来将选定点的坐标(x
屏幕
，y
屏幕
)转换为坐标(x
原图像
，y
原图像
)(这是相机原图像中所述选定点的坐标)，并将其归一化为(x
百分比
，y
百分比
)。用于归一化过程的方程可以如下给出：
[0270][0271]
坐标(x
百分比
，y
百分比
)可以经由通信系统被传输给uav。所述控制器可以接收所传输的数据并计算空间飞行方向(x
空间
，y
空间
，z
空间
)、并且将所述飞行方向(x
空间
，y
空间
，z
空间
)经由所述通信系统传输回到用户终端。
[0272]
所述用户终端接收所述飞行方向，并且将其重新投影到所述图像中以获得(x
dir
，y
dir
)，并将其显示出来。
[0273]
以上步骤1经由api(例如，ios api或安卓api)获得用户的输入坐标(x
屏幕
，y
屏幕
)，并且以上步骤2基于预览图像在相机原图像中的百分比获得归一化坐标。接下来描述的步骤3计算出从用户选定点的空间飞行方向。
[0274]
图22示出了相机成像的几何模型(假定光学轴线与图像中心严格对齐)。点(xw，yw，zw)是世界坐标系下的任意点(相对于点o)，d是深度，并且zw＝d。
[0275]
(xi，yi)是同一点在相机坐标系下的坐标。可以获得以下关系：
[0276][0277]
基于(x
百分比
，y
百分比
)、xi，yi、与图像的(图像宽度，图像高度)之间的关系获得以下方程：
[0278][0279]
基于焦距f与图像的fov之间的以下关系，
[0280][0281]
可以获得下式：
[0282][0283]
即，
[0284][0285]
可以看到，(xw，yw，zw)包括未知值d。归一化因为选定方向是方向向量而是可能的。在归一化的所点击的方向上，消除所述未知值d。假定d＝1，可以通过下式给出选定方向：
[0286][0287]
已经从上面获得了相机坐标系中选定方向的方向向量。
[0288]
接下来，从uav本体到世界坐标系(东，北，地面)的变换矩阵是由云台提供的，为：
[0289][0290]
所点击的方向在世界坐标系(东，北，地面)中的空间方向向量可以给出为：
[0291][0292]
在下一个步骤4中将方向向量重新投影到预览图像上的重新投影过程是步骤3的逆过程。所述变换矩阵可以是通过其他方法、例如通过在相机上提供能够测量姿态的传感器来获得的。
[0293]
图23示出了在环境中选择目标方向的示例，其中在uav沿着所述目标方向行进的路径中可能存在障碍物。a部分示出了环境的初始显示。b部分示出了用户在所述显示内选择目标方向，并且在途中可能存在障碍物。c部分示出了沿目标方向行进的、已经规避了障碍物的可移动物体的图像。以罗盘显示了uav的对应的移动/航向。
[0294]
a部分示出了环境的初始显示。如之前描述的，所述初始显示可以包括一个可以包括fpv和/或图视角的图像。初始地，在用户对目标方向进行选择之前可以呈现环境的图像。可以显示出所述环境中的一个或多个物体，例如树。对应的罗盘可能示出uav可以可选地不在移动。在替代性实施方式中，uav在用户对目标方向作出选择时可能已经在移动。
[0295]
b部分示出了用户在所述显示内选择目标方向。例如，所述目标方向可以是在东北方向上。目标方向可以按照本文其他地方更详细描述的任何方式来选择。在一些情形下，当uav在行进时，一个或多个物体在位于uav的路径中时可能变成障碍物。例如，用户可以将目标方向选择在东北方向上。树可能位于东北方向上的路径中。
[0296]
uav可以自动调整所述uav的飞行路径以规避出现的障碍物。对应的罗盘示出了uav可以绕过障碍物。飞行控制器(例如本文其他地方描述的飞行控制器)可以辅助确定uav将如何规避障碍物。uav可以横向地绕过障碍物和/或可以在障碍物上方和/或下方行进。在一些情形下，障碍物可能是静止的障碍物。替代地，障碍物可能是移动的障碍物。可以采用任何障碍规避技术，例如本文其他地方更详细描述的。
[0297]
c部分示出了沿目标方向行进的、已经规避了障碍物的可移动物体的图像。例如，uav可以绕过曾经为障碍物的树飞行，这准许所述uav在其原始目标方向上继续，所述方向可能是在东北方向上，如对应的罗盘所示。
[0298]
图24示出了uav在规避障碍物时的飞行路径的示例。如a部分所示，uav可以初始地在由向量2402所展示的目标方向(即，原始方向)上行进。目标方向可以是基于用户在显示器上选择的图像部分(例如，点2404)来确定的。所述选定部分可以用来确定uav的角度或航向，这可以决定目标方向。uav可以朝所述选定点不确定地行进。所述选定点可以是所述图像内指示航向的虚拟点。
[0299]
目标方向2402可能与障碍物2406相交。障碍物可能是静止的障碍物。替代地，障碍物可能是移动的障碍物。移动的障碍物可能是在目标方向上，或者可能是预测将与目标方向相交的。uav的飞行路径可以初始地沿着目标方向。所述飞行路径可以改变以规避障碍物。例如，可以提供所述路径的弯曲部分以规避障碍物。路径的弯曲部分可以是在二维横向平面内，或可以是在三维空间内的。路径的弯曲部分可以被包括在单一平面内或可能需要多个平面。
[0300]
所述飞行路径的曲率可以取决于一个或多个因素，例如uav在接收到规避障碍物的指令时的速度和/或加速度、障碍物的大小、关于障碍物的警报量、障碍物的靠近度、障碍物的运动、障碍物的形状、推进单元的类型、uav的配置、uav用户的规范、或任何其他因素。在一些情形下，可以提供飞行路径的标准曲率或逐渐改变。替代地，曲率可以是根据所描述的这些因素中的一个或多个因素而改变的。例如，如果uav行进非常快，则不能像较慢地行进时那样陡然地转弯。在一个展示中，飞行路径可以是相对严格弯曲的路径以规避障碍物并且沿着目标方向快速回到原始飞行路径。飞行控制器可以进行计算来完成飞行路径中的方向改变。所述飞行控制器可以具有如本文其他地方描述的任意特性。
[0301]
图24的b部分示出了用于在uav成功绕过障碍物2406之后生成(例如，重新规划)路径的不同配置。uav可以初始地位于第一位置2410并且朝目标方向2412移动。可以在方向2412上定义向量v1。向量v1可以与uav在目标方向上的路径相关联。当在目标方向上在uav前方检测到障碍物2406时，uav可以采用迂回路线以规避障碍物(通过在障碍物上方、周围、
或下方飞行)。uav在成功绕过了所述障碍物之后可以飞到第二位置2414。例如，所述uav飞到位于所述障碍物右方的第二位置2414-1，如图24的b部分所示。可以在所述第一位置与第二位置之间定义向量v2-1。当uav在所述第二位置2414-1处时可以为所述uav生成用于重新汇入原始路径以在选定方向上移动的新路径。例如，uav可以朝向沿着原始路径定位的第三位置2416。所述新路径可以用向量v3-1定义。向量v3-1可以基于第一位置与第三位置之间的向量v1-1、以及向量v2-1来确定。所述新路径可以用向量v3-1定义。向量v3-1可以是基于向量v1-1和向量v2-1确定的。所述新路径可以被配置成使得，uav以平滑曲线方向飞行而重新汇入原始路径并且沿选定方向前进。在一些情形下，uav不需要重新汇入原始路径，并且可以沿方向2418在全新路径上前进。方向2418可以是或者可以不是平行于方向2412的。在一些实施方式中，可以基于在所述第二位置处获得的一个或多个图像、以及在一个或多个之前已知的位置(例如，所述第一位置)处获得的一个或多个图像使用三角测量方法来生成所述新路径。在一些其他实施方式中，可以控制uav飞回到其初始位置(例如，所述第一位置、或者uav已经过的任何其他位置)，并且可以从所述初始位置生成新的目标方向。在一些实施方式中，可以例如使用之前在图6中描述的方法从第二位置沿目标方向生成新路径，而不使用第一位置。
[0302]
在一些实施方式中，可以确定用于规避障碍物的最短(或最直接)路径。例如，所述uav可以飞到位于所述障碍物左方的第四位置2414-2，如图16的b部分所示。从第一位置到第四位置的距离可以小于从第一位置到第三位置的距离。在一些情形下，从第一位置到第四位置的距离可以指示uav绕过障碍物所行进的最短距离。可以在所述第一位置与第四位置之间定义向量v2-2。当uav在所述第四位置处时可以为所述uav生成朝目标移动和/或跟踪所述目标的新路径。所述新路径可以用向量v3-2定义。向量v3-2可以是基于向量v1-1和向量v2-2确定的。
[0303]
图24的c和d部分示出了障碍规避路径的另一个示例。c部分示出了具有目标方向2404的uav 2402。障碍物2406可以与uav在目标方向上的路径相交。
[0304]
d部分示出了uav 2402为了规避障碍物2406可能采取的替代性路径2404a、2404b。在规避障碍物之后，uav可以在目标方向2404上继续行进。如之前描述的，曲率和/或替代性路径可以借助于飞行控制器来选择。所述替代性路径可以包括如a部分所示的相对紧的曲线、或如d部分所示的更松的曲线。所述替代性路径可以根据任何因素、如之前列出的那些进行选择。可以用障碍规避算法和技术来计算本文其他地方更详细描述的替代性路径。
[0305]
在一些实施方式中，uav可以跟踪uav的电源状态。如果电源降到阈值水平以下，则可以提供使uav自动返回到归航参照位置的指令。所述阈值水平可以是预定水平。在一些情形下，所述阈值水平可以基于uav距归航参照位置的距离来确定。例如，如果uav离归航参照位置较远，则阈值可能较低。阈值可能是足够确保有足够的动力供uav返回到归航参照位置的。可选地，归航参照位置可以是uav飞行开始的位置。在另一个示例中，归航参照位置可以是用户终端的位置。归航参照位置可以是静态的，或者可以是移动的。uav可以沿目标方向行进直到检测到一种例如低电量的条件。
[0306]
接下来，参照图25、26、27、28、29、30和31来描述可以支持目标跟踪和目标重新检测的系统和方法。控制器(例如，图像分析器和/或飞行控制器)可以获得针对目标的特征模型，其中所述特征模型表示目标的图像特性。此外，控制器可以从可移动物体所携带的成像
装置捕捉的一个或多个图像中提取一个或多个特征，并且可以在所述一个或多个特征上应用所述特征模型以确定相似度。所述控制器可在为了跟踪目标所捕捉的图像上应用针对目标的特征模型以生成一个跟踪输出。所述控制器还可以基于所述跟踪输出来确定发生了跟踪失败，并且可以检查一个或多个后续图像来检测目标。另外，控制器可以获得可移动物体与目标之间的相对距离，并且可以生成一个或多个控制信号来跟踪目标。
[0307]
图25展示了根据一些实施方式的在可移动物体环境中的示例性目标跟踪系统。如图25所示，可移动物体2500包括控制器2510，所述控制器可以从载体2501所携带的相机2502、以及机载的其他传感器2503接收多种不同类型的信息，例如图像信息。
[0308]
所述控制器可以基于从所述相机接收到的图像信息来执行初始化操作2511。可选地，所述控制器可以使用专用或通用检测器2513来在初始化图像中检测目标(即，待跟踪的物体)。因此，所述控制器可以获取目标并且设置相应的跟踪策略。
[0309]
此外，所述可移动物体可以使用跟踪器2512来跟踪目标。在所述跟踪器失去目标的情况下，所述系统可以使用检测器来重新检测失去的目标以便继续所述跟踪过程。另外，所述控制器可以基于从这些传感器2503接收到的信息来执行进一步的操作，例如位置估算2514和导航操作2515。
[0310]
图26展示了根据多个不同实施方式在可移动物体环境中支持目标跟踪。在步骤2601处，可移动物体可以开始跟踪目标。在步骤2602处，所述可移动物体可以实时地捕捉一个或多个图像，例如视频。例如，所述可移动物体可以利用云台所携带的相机或者所述可移动物体(例如uav)机载的其他图像传感器。在步骤2603处，所述可移动物体可以执行初始化操作以获取目标。例如，所述可移动物体可以从初始化图像中获取目标并且获得针对所述目标的特征模型。此外，所述可移动物体可以继续执行初始化操作，直到已经成功地获取了目标。在步骤2604处，所述可移动物体可以执行跟踪过程。例如，所述可移动物体可以采用基于视觉的跟踪器来跟踪目标。在步骤2605处，所述系统可以检查是否发现了跟踪失败。在步骤2606处，当发生了跟踪失败时，所述系统可以执行目标检测操作。接着在步骤2607处，所述系统可以检查是否检测到了目标。所述系统可以反复执行目标检测操作，直到重新检测到了目标。在另一个方面，在步骤2608处，所述系统可以估算目标位置以便只要跟踪是成功的就连续跟踪目标(即，包括重新检测到目标的情况)。在步骤2609中，借助于估算的目标位置，所述系统可以执行移动控制操作，例如uav的飞行控制，这允许所述可移动物体捕捉图像以便连续跟踪。
[0311]
图27展示了根据多个不同实施方式在可移动物体环境中初始化目标跟踪。如图27所示，可移动物体2703可以捕捉图像2701，所述图像可以被传输到应用程序2702(例如，在地面终端上)。所述应用程序2702可以使用图像视图2704来显示图像2701，所述图像视图包括一个或多个特征，例如物体a-c 2711-2713。
[0312]
可移动物体2703可以例如在接收到用户输入、例如目标上的点和/或待跟踪的目标类别(例如，人类)之后使用不同类型的物体检测器来检测目标(例如，用户希望的物体)。例如，可移动物体2703可以在初始化阶段使用一种物体提出方法。如图27所示，所述系统允许用户在感兴趣的物体上、例如图像2701中的物体b 2712上选择一个点2705。一旦从用户接收到选定点2705，所述系统就可以使用边界框2706来限定并提出物体2712，所述物体可以具有不规则形状。
[0313]
此外，所述系统可以例如使用不同的边界框来提出多个物体侯选物。在这样的情况下，允许用户对于希望的物体侯选物(即，边界框)作出决定。接着，所述系统可以基于这种选定物体的提出而生成特征模型2710。如图27所示，特征模型2710可以表示边界框2706内的成批图像点的图像特性。在从地面站接收到对希望的物体候选物的选择(或边界框)之后，可移动物体2703可以基于针对目标的特征模型2710而开始跟踪目标。
[0314]
所述特征模型2710可以是基于检验常见物体例如人体、汽车、和人脸来构造的。在这样的情况下，特征模型2804可以包括离线训练的多种不同分立物体。替代地，特征模型2804可以是基于分析物体的特性、例如边缘/轮廓和颜色信息来构造的。例如，特征模型2710可以是使用不同的方法例如光流和/或相关滤波器算法来生成的。而且，特征模型2710可以是以空间域和/或频域来表示的。
[0315]
使用这样的初始化过程，有待从地面站(即，应用程序2702)传输至可移动物体2703(例如，uav)的数据是有限的，因为可能仅需要选定点2705的位置来初始化所述跟踪过程。因此，初始化步骤中的传输延迟可以被最小化。在另一方面，所述可移动物体可以持续传输图像或视频数据给应用程序2702以进行用户交互，因为从可移动物体2703(例如，uav)到地面站(即，应用程序2702)的数据链路与从可移动物体2703到地面站(即，应用程序2702)的数据链路相比通常具有更宽的带宽和更高的速度。
[0316]
图28展示了根据多个不同实施方式在可移动物体环境中跟踪目标。如图28所示，可移动物体2810可以包括载体2801，所述载体携带一个成像装置2802，例如相机。成像装置2802可以捕捉目标2806的图像2803。此外，可移动物体2810可以包括控制器2805，所述控制器可以维护用于跟踪目标2806的特征模型2804并且生成用于控制可移动物体2810的控制信号。
[0317]
所述系统可以通过跟随表示目标2806的特征来跟踪所述目标。例如，所述系统可以确定图像2803中的这些不同特征、例如特征a-c2811-2813与特征模型2804之间的相似度。这个相似度可以计算为图像2803中每个特征的函数的结果值(或评分)。基于所计算出的分数，所述系统可以确定哪个特征表示了目标2806。替代地，所述系统可以将图像2803中的每个特征与所述特征模型直接进行比较以确定所述特征是否表示了目标2806。
[0318]
所述系统可以周期性地例如通过检查所述函数的结果值(或评分)是否保持在之前确定的阈值之上来确定是否在跟踪过程中保持了特征与特征模型之间的相似度。所述系统可以在这个值低于之前确定的阈值时认为目标丢失。接着，所述系统可以检验每个后续图像并且寻找目标。这种检验可以基于原始特征模型或最后更新过的特征模型，并且可以通过跨越每个后续图像中的不同标度和位置来执行。
[0319]
因此，所述系统可以维持跟踪精度，这对于长期目标跟踪是有益的，因为小误差可能累积并且使得整个跟踪系统不稳定。而且，所述系统可以执行失败检测和目标重新检测，这也在稳健性和实践性两方面有利于长期目标跟踪。例如，一旦目标在消失了一阵子之后重新出现，所述系统就可以维持对目标的跟踪。
[0320]
图29展示了根据多个不同实施方式在可移动物体环境中支持目标跟踪和再检测。如图29所示，所述系统可以使用基于视觉的跟踪器来基于所捕捉到的图像2901进行目标跟踪。这种基于视觉的跟踪器可以利用不同的跟踪算法，例如光流算法和/或相关滤波器算法。此外，所述系统可以长时间地自动跟踪并检测目标。另外，跟踪可以通过利用搜索窗口
来执行，所述搜索窗口是局部搜索范围，所述跟踪算法可以在所述搜索窗口内找出目标的最佳位置/标度，即，跟踪可以针对整个图像局部地而非全局地进行。
[0321]
如图29所示，基于视觉的跟踪器可以在跟踪目标时通过在图像2901上应用特征模型2902来生成跟踪输出2903，所述图像包括多种不同特征例如特征a-c 2911-2913。例如，所述跟踪器可以跟随在搜索窗口2910中带有边界框2906的特征b。此外，基于跟踪输出2903，所述系统可以执行失败检测2904和目标重新检测2905操作。
[0322]
所述跟踪输出2903可以是特征响应图，所述特征响应图是针对图像2901中的搜索窗口2910生成的。所述特征响应图中的每个点都可以表示从搜索窗口2910中的一批图像点(即，滑动窗口)中提取的一个或多个特征与针对目标的特征模型2902之间的相关性或相似度。
[0323]
例如，所述系统可以使滑动窗口在搜索窗口2910中四处移动以获得空间域中的整个特征响应图。替代地，所述系统可以例如使用相关滤波器方法获得频域中的特征响应图，而不需要实际使得所述滑动窗口在图像2901中的整个搜索窗口2910上移动。
[0324]
例如，所述系统可以通过利用基于相关滤波器的跟踪算法和快速物体提出算法将目标检测与相关线条框架相结合。所述基于相关的目标跟踪算法快速且有效，这对于例如无人飞行器(uav)等可移动物体是有利的，因为所述可移动物体通常具有有限的计算能力和动力资源。另外，所述系统可以在一旦目标丢失时重新检测目标。而且，所述系统可以使用单一相机来计算在飞行中跟踪物体的位置，例如使用基于相关滤波器的跟踪算法以持续性和稳定性来估算物体大小。
[0325]
图30展示了根据多个不同实施方式在可移动物体环境中使用多个定位装置来辅助目标跟踪。如图30所示，可移动物体环境3000中的可移动物体3010可以包括携带了例如相机3002的成像装置的载体3001。
[0326]
此外，可移动物体3010可以包括定位装置，例如gps装置3005。而且，目标3006可以携带定位装置，例如gps装置3015。例如，目标3006可以是携带了具有gps功能性的移动装置(例如，手表、绑带、帽子、和/或一双鞋)的人。
[0327]
实时地，可移动物体3010(例如，控制器3003)可以获得目标3006的相对距离和朝向，以便使得目标维持在所述目标的近距离3008(例如，预定的圆形范围)内。此外，所述系统可以依赖定位装置来在所述系统确定目标丢失时来使得目标3006维持在目标的近距离3008之内。
[0328]
另外，所述系统(例如，控制器3003)可以使用基于视觉的跟踪系统1204，所述跟踪系统在gps信号不可获得时用于室内场景。因此，所述系统可以利用基于视觉的跟踪技术和用于执行长期跟踪任务的定位装置。
[0329]
图31展示了根据多个不同实施方式在可移动物体环境中基于距离测量来跟踪目标。如图31所示，可移动物体环境3100中的可移动物体3110可以包括携带了例如相机3102等成像装置的载体3101。
[0330]
可移动物体3101可以从相机3102捕捉的图像3103中获取目标3106。例如，图像3103可以包括多个特征，例如物体a-c 3111-3113，并且用户可以选择物体3111作为要跟随(或跟踪)的目标。
[0331]
所述系统可以从(2d)跟踪信息获得目标的(3d)位置。例如，目标3106的位置(对于
跟踪目标是重要的)可以是基于朝向目标3106的方向以及可移动物体3110(例如uav)与目标3106之间的相对距离3115来确定的。物体的方向可以通过计算从校准后的相机起的方向向量来获得。此外，所述系统可以基于与所述成像装置和可移动物体相关联的状态信息来估算所述跟踪装置与目标之间的相对距离。
[0332]
所述状态信息可以包括可移动物体所携带的成像装置的海拔信息。所述成像装置的海拔信息可以是从用于所述可移动物体的控制模块接收的。所述状态信息可以包括可移动物体所携带的成像装置的姿态信息。所述成像装置的姿态信息可以是从有效载荷增稳控制模块接收的，其中所述有效载荷增稳控制模块控制着增稳系统，所述增稳系统使成像装置在所述可移动物体上增稳。
[0333]
控制器3105可以从图像3103中获得可移动物体3110与目标3106之间的相对距离3115。而且，控制器3105可以生成一个或多个飞行控制信号3104以引导可移动物体3110来跟踪目标3106。这些控制信号3104可以包括加速/减速信号以及云台姿态调整信号。例如，当可移动物体3110在跟踪目标3106时，控制器3105可以基于目标与所述图像的中心点之间的距离来调整可移动物体或云台绕偏航方向旋转。
[0334]
因此，控制器3105可以维持与目标3106的希望跟踪距离(可以是恒定距离或动态配置的距离)。例如，所述系统可以基于在不同时间点目标距可移动物体3110的相对距离来计算所述目标相对于可移动物体3110的速率v_目标。接着，所述系统可以基于可移动物体3110的速率v_目标以及当前相对距离3115来确定可移动物体3110的必须移动改变。
[0335]
本文所描述的系统、装置及方法可以应用于各种各样的可移动物体。如前面所提及的，在此对于飞行器的任何描述可以适用于任何可移动物体。本发明的可移动物体可以是被配置成在任何合适的环境内移动的任何物体，这些环境例如是空中(例如，固定翼飞行器、旋转翼飞行器、或者既无固定翼也无旋翼的飞行器)、水中(例如，船或者潜艇)、陆地上(例如，机动车辆，如小汽车、卡车、客车、厢式货车、摩托车；可移动结构或框架，诸如棒状物、钓鱼竿；或者火车)、在地下(例如，地铁)、在太空(例如，航天飞机、卫星、探测器)，或者这些环境的任何组合。可移动物体可以为载运工具，如本文其他地方所描述的载运工具。在一些实施方式中，所述可移动物体可以被安装在有生命的主体上，例如人或动物上。合适的动物可包括禽类、犬科动物、猫科动物、马科动物、牛科动物、羊科动物、猪科动物、海豚类动物、啮齿动物或昆虫。
[0336]
所述可移动物体可能能够在环境中相对于六个自由度(例如，三个平移自由度和三个旋转自由度)来自由移动。替代地，所述可移动物体的移动可以是相对于一个或多个自由度受约束的，例如受到预设的路径、轨道、或朝向的约束。这种移动能够是由诸如引擎或电机的任何合适的致动机构来致动的。可移动物体的致动机构可以是由任何合适的能源提供动力的，例如，电能、磁能、太阳能、风能、重力能、化学能、核能、或它们任何合适的组合。如本文其他地方所描述的，可移动物体可以通过推进系统来自推进的。所述推进系统可以任选地以一种能源来运行，诸如电能、磁能、太阳能、风能、重力能、化学能、核能、或它们的任何合适组合。替代地，可移动物体可以由生物来携带。
[0337]
在一些情形下，所述可移动物体可以是载运工具。适合的载运工具可以包括水上载运工具、空中载运工具、太空载运工具、或地面载运工具。例如，飞行器可以是固定翼飞行器(例如，飞机、滑翔机)、旋转翼飞行器(例如，直升飞机、旋翼飞行器)、具有固定翼和旋转
翼二者的飞行器、或不具有二者的飞行器(例如，飞艇、热气球)。载运工具可以是自推进的，如通过空气、在水面上或在水中、在太空中、或者在地下进行自推进。自推进式载运工具可以利用推进系统，例如，包括一个或多个引擎、电机、轮子、轮轴、磁体、旋翼、螺旋桨、桨叶、喷嘴、或其任意合适的组合的推进系统。在一些情形下，所述推进系统可以用来使得可移动物体能够从表面起飞、在表面上着落、维持其当前位置和/或朝向(例如，悬停)、改变朝向、和/或改变位置。
[0338]
所述可移动物体可以由用户远程控制或者由可移动物体之内或其上的乘员本地控制。在一些实施方式中，所述可移动物体为无人的可移动物体，例如uav。无人可移动物体(如uav)可以不具有登上可移动物体的乘员。可移动物体可以由人类或自主式控制系统(例如，计算机控制系统)或其任何合适的组合来控制。可移动物体可以是自主式或者半自主式机器人，如配置有人工智能的机器人。
[0339]
所述可移动物体可具有任何合适的大小和/或尺寸。在一些实施方式中，所述可移动物体可以具有一定大小和/或尺寸以在所述载运工具之内或之上具有人类乘员。可替代地，所述可移动物体可以具有与能够在所述载运工具之内或之上具有人类乘员相比较而言更小的大小和/或尺寸。所述可移动物体可以具有适合于被人提起或搬运的大小和/或尺寸。替代地，所述可移动物体可以与适合于被人类提起或搬运的大小和/或尺寸相比较而言是更大的。在一些情形下，可移动物体可以具有小于或等于大约2cm、5cm、10cm、50cm、1m、2m、5m或10m的最大尺寸(例如，长度、宽度、高度、直径、对角线)。最大尺寸可以大于或等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。例如，可移动物体的相对的旋翼轴之间的距离可以小于或者等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。替代地，相对的旋翼轴之间的距离可以大于或等于大约：2cm、5cm、10cm、50cm、1m、2m、5m或10m。
[0340]
在一些实施方式中，所述可移动物体可以具有小于100cm x 100cm x 100cm、小于50cm x 50cm x 30cm、或者小于5cm x 5cm x 3cm的体积。所述可移动物体的总体积可以小于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。相反，可移动物体的总体积可以大于或等于约：1cm3、2cm3、5cm3、10cm3、20cm3、30cm3、40cm3、50cm3、60cm3、70cm3、80cm3、90cm3、100cm3、150cm3、200cm3、300cm3、500cm3、750cm3、1000cm3、5000cm3、10,000cm3、100,000cm3、1m3、或10m3。
[0341]
在一些实施方式中，可移动物体可以具有小于或等于大约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2的占地面积(其可以指由可移动物体所包围的横截面面积)。相反地，占地面积可以大于或等于大约：32,000cm2、20,000cm2、10,000cm2、1,000cm2、500cm2、100cm2、50cm2、10cm2或5cm2。
[0342]
在一些情形下，所述可移动物体可以不超过1000kg重。可移动物体的重量可以小于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。相反，所述重量可以大于或等于约1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg或0.01kg。
[0343]
在一些实施方式中，可移动物体可以相对于所述可移动物体搭载的载荷而言是小
的。如以下进一步详细描述的，载荷可以包括有效载荷和/或载体。在一些示例中，可移动物体重量与载荷重量的比率可以大于、小于、或等于约1:1。在一些情形下，可移动物体重量与载荷重量的比率可以大于、小于、或等于约1:1。可选地，载体重量与载荷重量的比率可以大于、小于、或等于约1:1。当需要时，可移动物体重量与载荷重量的比率可以小于或等于1:2、1:3、1:4、1:5、1:10或甚至更小。相反地，可移动物体重量与载荷重量的比率可以大于或等于：2:1、3:1、4:1、5:1、10:1或甚至更大。
[0344]
在一些实施方式中，所述可移动物体可以具有低的能耗。例如，可移动物体可以使用小于约：5w/h、4w/h、3w/h、2w/h、1w/h或更小。在一些情形下，可移动物体的载体可以具有低的能耗。例如，所述载体可以使用小于约5w/h、4w/h、3w/h、2w/h、1w/h或更小。可选地，可移动物体的有效载荷可以具有低的能耗，如小于大约5w/h、4w/h、3w/h、2w/h、1w/h或更少。
[0345]
在一些实施方式中，uav可以包括具有多个旋翼的推进系统。可以提供任意数量的旋翼(例如，一个、两个、三个、四个、五个、六个、或更多个)。无人飞行器的这些旋翼、旋翼组件或者其他推进系统可以使无人飞行器能够悬停/维持位置、改变朝向、和/或改变位置。相对旋翼的轴之间的距离可以是任意适合的长度。例如，所述长度可以小于或等于2m、或小于等于5m。在一些实施方式中，所述长度可以在40cm至1m、10cm至2m、或者5cm至5m的范围内。本文中任何对uav的描述都可以适用于可移动物体，例如不同类型的可移动物体，并且反之亦然。
[0346]
在一些实施方式中，所述可移动物体可以被配置成搭载有载荷。这种载荷可以包括乘客、货物、装备、仪器以及类似物中的一项或多项。所述载荷可以被提供在壳体内。所述壳体可以是与所述可移动物体的壳体分开的，或者是可移动物体壳体的一部分。替代地，所述载荷可以配备有壳体，而所述可移动物体没有壳体。替代地，所述载荷的多个部分或整个载荷可以并未配备壳体。所述载荷可以是相对于所述可移动物体刚性固定的。可选地，所述载荷可以是可相对于所述可移动物体移动的(例如，可相对于所述可移动物体平移或旋转)。
[0347]
在一些实施方式中，所述载荷包括有效载荷。所述有效载荷可以被配置成不执行任何操作或功能。替代地，所述有效载荷可以是被配置成用于执行一项操作或功能的有效载荷，也称为功能性有效载荷。例如，所述有效载荷可以包括用于观测一个或多个目标的一个或多个传感器。可以将任何适合的传感器并入所述有效载荷中，例如图像捕捉装置(例如，相机)、音频捕捉装置(例如，抛物线麦克风)、红外线成像装置、或紫外线成像装置中。传感器可提供静态感测数据(例如，照片)或动态感测数据(例如，视频)。在一些实施方式中，所述传感器提供针对所述有效载荷的目标的感测数据。替代地或组合地，所述有效载荷可以包括一个或多个发射体，以用于将信号提供给一个或多个目标。可以使用任何适合的发射体，例如照明源或声源。在一些实施方式中，所述有效载荷包括一个或多个收发器，以例如用于与远离所述可移动物体的模块进行通信。任选地，所述有效载荷可以被配置成与环境或者目标相互作用。例如，所述有效载荷可以包括能够操纵物体的工具、仪器、或机构，例如机械臂。
[0348]
任选地，所述载荷可以包括载体。所述载体可以被提供用于所述有效载荷并且所述有效载荷可以经由所述载体而直接地(例如，直接接触所述可移动物体)或间接地(例如，不接触所述可移动物体)联接至所述可移动物体上。相反，所述有效载荷可以安装在所述可
移动物体上而无需载体。所述有效载荷可以与所述载体一体形成。替代地，所述有效载荷可以被可释放地联接至所述载体上。在一些实施方式中，所述有效载荷可以包括一个或多个有效载荷元件，并且这些有效载荷元件中的一个或多个有效载荷元件可以如上文描述地是可相对于所述可移动物体和/或所述载体移动的。
[0349]
所述载体可以是与可移动物体一体形成的。替代地，所述载体可以被可释放地联接至所述可移动物体上。所述载体可以直接地或间接地联接到所述可移动物体上。所述载体可以对所述有效载荷提供支撑(例如，承载所述有效载荷的重量的至少一部分)。所述载体可以包括能够对所述有效载荷的移动加以增稳和/或对其加以引导的适当安装结构(例如，云台平台)。在一些实施方式中，所述载体可以被适配成用于控制所述有效载荷相对于所述可移动物体的状态(例如，位置和/或朝向)。例如，所述载体可以被配置成相对于所述可移动物体进行移动(例如，相对于一个、两个、或三个平移度和/或一个、两个、或三个旋转度)，以使得所述有效载荷与所述可移动物体的移动无关地维持其相对于适当参照系的位置和/或朝向。所述参照系可以是固定的参照系(例如,周围环境)。替代地，所述参照系可以是移动的参照系(例如，所述可移动物体、有效载荷目标)。
[0350]
在一些实施方式中，所述载体可以被配置成准许所述有效载荷相对于所述载体和/或可移动物体而移动。这种移动可以是相对于多达三个自由度(例如沿着一条、两条或三条轴线)的平移或者相对于多达三个自由度(例如围绕一条、两条或三条轴线)的旋转、或者其任意适合的组合。
[0351]
在某些例子中，所述载体可以包括载体框架组件和载体致动组件。所述载体框架组件可以对所述有效载荷提供结构性支撑。所述载体框架组件可以包括多个独立的载体框架部件，这些载体框架部件中的一些载体框架部件可以相对于彼此是可移动的。所述载体致动组件可以包括致动这些单独的载体框架部件的移动的一个或多个致动器(例如，电机)。这些致动器可以允许多个载体框架部件同时移动，或者可以被配置成一次只允许一个单独的载体框架部件移动。这些载体框架部件的移动可以使所述有效载荷产生相应的移动。例如，所述载体致动组件可以致动一个或多个载体框架部件绕一条或多条旋转轴线(例如，横滚轴线、俯仰轴线、或者偏航轴线)的旋转。所述一个或多个载体框架部件的旋转可以致使有效载荷相对于可移动物体绕一条或多条旋转轴线而旋转。任选地或组合地，所述载体致动组件可以致动一个或多个载体框架部件沿一条或多条平移轴线平移，并且由此产生所述有效载荷相对于可移动物体沿一条或多条相应轴线的平移。
[0352]
在一些实施方式中，所述可移动物体、载体、和有效载荷相对于固定的参照系(例如，周围环境)和/或相对于彼此的移动可以是由终端来控制的。所述终端可以是在远离所述可移动物体、载体、和/或有效载荷的位置处的遥控装置。所述终端可以被安置在或附着至支撑平台上。替代地，所述终端可以是手持式或可穿戴式装置。例如，所述终端可以包括智能手机、平板计算机、膝上计算机、计算机、眼镜、手套、头盔、麦克风、或其适当组合。所述终端可以包括用户界面，例如键盘、鼠标、操纵杆、触屏、或显示器。可以使用任意适合的用户输入来与所述终端进行交互，例如手动输入的命令、语音控制、手势控制、或位置控制(例如，通过所述终端的移动、位置或倾斜度)。
[0353]
可以用所述终端来控制可移动物体、载体、和/或有效载荷的任何适合状态。例如，可以用所述终端来控制所述可移动物体、载体、和/或有效载荷相对于固定的参照系的和/
或相对于彼此的位置和/或朝向。在一些实施方式中，可以用所述终端来控制所述可移动物体、载体、和/或有效载荷的多个独立元件，例如载体的致动组件、有效载荷的传感器、或有效载荷的发射体。所述终端可以包括被适配成用于与所述可移动物体、载体、或有效载荷中的一者或多者通信的无线通信装置。
[0354]
所述终端可以包括用于观看所述可移动物体、载体、和/或有效载荷的信息的适合的显示单元。例如，所述终端可以被配置成显示所述可移动物体、载体、和/或有效载荷就位置、平移速度、平移加速度、朝向、角速度、角加速度、或其任意适合组合而言的信息。在一些实施方式中，所述终端可以显示所述有效载荷所提供的信息，例如功能性有效载荷所提供的数据(例如，相机或其他图像捕捉装置所记录的图像)。
[0355]
可选地，同一终端可以既控制可移动物体、载体、和/或有效载荷，或者可移动物体、载体、和/或有效载荷的状态，又接收和/或显示来自所述可移动物体、载体、和/或有效载荷的信息。例如，终端可以控制有效载荷相对于环境的定位，同时显示由有效载荷所捕捉的图像数据，或关于有效载荷位置的信息。替代地，可以为不同的功能使用不同的终端。例如，第一终端可以控制可移动物体、载体、和/或有效载荷的移动或状态，而第二终端可以接收和/或显示来自可移动物体、载体、和/或有效载荷的信息。例如，可以用第一终端来控制有效载荷相对于环境的定位，而同时第二终端显示有效载荷所捕捉的图像数据。可以在可移动物体与既控制可移动物体又接收数据的集成终端之间、或者在可移动物体与既控制可移动物体又接收数据的多个终端之间利用各种通信模式。例如，可以在可移动物体与既控制可移动物体又接收来自所述可移动物体的数据的终端之间形成至少两种不同的通信模式。
[0356]
图32展示了根据多个实施方式的包括载体3202和有效载荷3204的可移动物体3200。虽然可移动物体3200被描绘为飞行器，但是这样的描述并不旨在进行限制，并且可以使用如本文先前所描述的任意合适类型的可移动物体。本领域技术人员将认识到，本文中在飞行器系统的背景下所描述的任何实施方式都可以应用于任何适合的可移动物体(例如，uav)。在一些情形下，有效载荷3204可以不需要载体3202而提供在可移动物体3200上。可移动物体3200可以包括多个推进机构3206、感测系统3208、及通信系统3210。
[0357]
这些推进机构3206可以包括如先前所描述的旋翼、螺旋桨、桨叶、引擎、电机、轮子、轮轴、磁体、或喷嘴中的一项或多项。例如，如本文其他地方所描述的，推进机构3206可以为自紧式旋翼、旋翼组件或者其他旋转推进单元。所述可移动物体可以具有一个或多个、两个或更多个、三个或更多个、或四个或更多个推进机构。这些推进机构可以全都是同一类型的。替代地，一个或多个推进机构可以是不同类型的推进机构。如本文中其他地方所描述的，推进机构3206可以使用任何合适的器件(如，支撑元件(例如，驱动轴))来安装在可移动物体3200上。推进机构3206可以安装在可移动物体3200的任何合适部位上，如，顶部、底部、前方、后方、侧方、或其合适的组合。
[0358]
在一些实施方式中，这些推进机构3206能够使可移动物体3200能够从表面竖直起飞、或者竖直降落在表面上，而不需要可移动物体3200的任何水平移动(例如，不需要沿跑道行进)。任选地，这些推进机构3206可以可操作来准许可移动物体3200以特定的位置和/或朝向在空中悬停。这些推进机构3200中的一个或多个推进机构可以是独立于其他推进机构地受到控制的。替代地，这些推进机构3200可以被配置成同时受到控制。例如，可移动物
体3200可以具有多个水平朝向的旋翼，这些旋翼可以对所述可移动物体提供升力和/或推力。所述多个水平朝向的旋翼可以被致动成对可移动物体3200提供竖直起飞、竖直降落、以及悬停的能力。在一些实施方式中，这些水平朝向的旋翼中的一个或多个旋翼可以用顺时针方向来转动，而水平旋翼中的一个或多个旋翼可以用逆时针方向来转动。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。这些水平朝向的旋翼各自的旋转速度可以独立地变化以便控制每个旋翼产生的升力和/或推力，并且由此调整可移动物体3200(例如，就多达三个平移度以及多达三个旋转度而言)的空间布局、速度、和/或加速度。
[0359]
感测系统3208可以包括一个或多个传感器，所述一个或多个传感器可以感测可移动物体3200(例如，就多达三个平移度以及多达三个旋转度而言)的空间布局、速度、和/或加速度。所述一个或多个传感器可以包括全球定位系统(gps)传感器、运动传感器、惯性传感器、接近度传感器、或图像传感器。可以用感测系统3208所提供的感测数据来控制可移动物体3200的空间布局、速度、和/或朝向(例如，使用如下文所描述的适合的处理单元和/或控制模块)。替代地，可以用感测系统3208来提供与所述可移动物体的周围环境相关的数据，例如天气条件、与潜在障碍物的接近度、地理特征的位置、人造结构的位置等等。
[0360]
通信系统3210能够通过无线信号3216来与具有通信系统3214的终端3212进行通信。通信系统3210、3214可以包括任意数量的、适合用于无线通信的发射器、接收器、和/或收发器。这种通信可以是单向通信，而使得仅能在一个方向上传输数据。例如，单向通信可能仅涉及可移动物体3200将数据传输给终端3212，或反之亦然。这些数据可以是从通信系统3210的一个或多个发射器传输给通信系统3212的一个或多个接收器的，或反之亦然。替代地，这种通信也可以是双向通信，从而使得可以在可移动物体3200与终端3212之间在两个方向上传输数据。这种双向通信可以涉及将数据从通信系统3210的一个或多个发射器传输给通信系统3214的一个或多个接收器，并且反之亦然。
[0361]
在一些实施方式中，终端3212可以向可移动物体3200、载体3202和有效载荷3204中的一者或多者提供控制数据并且从可移动物体3200、载体3202和有效载荷3204中的一者或多者中接收信息(例如，可移动物体、载体或有效载荷的位置和/或运动信息；由有效载荷感测到的数据，例如由有效载荷相机捕捉到的图像数据)。在某些例子中，来自终端的控制数据可以包括针对可移动物体、载体和/或有效载荷的相对位置、移动、致动、或控制的指令。例如，这些控制数据可以导致对可移动物体的位置和/或朝向的修正(例如，通过控制推进机构3206)、或者对有效载荷相对于可移动物体的移动的修正(例如，通过控制载体3202)。来自终端的控制数据可以导致对有效载荷的控制，例如控制相机或其他图像捕捉装置的操作(例如，拍摄静态或动态照片、放大或缩小、开启或关闭、切换成像模式、改变图像分辨率、变焦、改变景深、改变曝光时间、改变视角或视野)。在某些示例中，来自可移动物体、载体和/或有效载荷的通信可以包括来自(例如，感测系统3208的或有效载荷3204的)一个或多个传感器的信息。这些通信可以包括来自一个或多个不同类型传感器(例如，gps传感器、运动传感器、惯性传感器、接近度传感器、或图像传感器)的感测信息。这样的信息可以与可移动物体、载体和/或有效载荷的位置(例如，位置、朝向)、移动或加速度相关。来自有效载荷的这样的信息可以包括有效载荷所捕捉到的数据或所感测到的有效载荷的状态。由终端3212传输的、所提供的控制数据可以被配置成控制可移动物体3200、载体3202、或有效载荷3204中的一者或多者的状态。替代地或组合地，载体3202和有效载荷3204还可以各
自包括被配置成与终端3212通信的通信模块，从而使得所述终端可以独立地与可移动物体3200、载体3202以及有效载荷3204中的每一者通信并且对其加以控制。
[0362]
在一些实施方式中，可移动物体3200可以被配置成不仅与终端3212而且与另一个远程装置通信，或不是与终端3212而是与另一个远程装置通信。终端3212也可以被配置成与另一个远程装置以及可移动物体3200通信。例如，可移动物体3200和/或终端3212可以与另一个可移动物体、或另一个可移动物体的载体或有效载荷通信。当希望时，所述远程装置可以是第二终端或其他计算装置(例如，计算机、膝上计算机、平板计算机、智能手机、或其他移动装置)。所述远程装置可以被配置成将数据传输给可移动物体3200，接收来自可移动物体3200的数据，将数据传输给终端3212，和/或接收来自终端3212的数据。任选地，所述远程装置可以连接到互联网或其他电信网络，从而使得从可移动物体3200和/或终端3212接收到的数据可以上传到网站或服务器。
[0363]
在一些实施方式中，可以根据一些实施方式提供用于控制可移动物体的系统。这种系统可以是与本文所描述的系统、装置、以及方法的任何适合的实施方式相组合地使用的。这种系统可以包括感测模块、处理单元、非瞬态计算机可读介质、控制模块、以及通信模块。
[0364]
感测模块可以利用以不同方式收集与这些可移动物体相关的信息的不同类型的感测器。不同类型的传感器可以感测不同类型的信号或来自不同来源的信号。例如，这些传感器可以包括惯性传感器、gps传感器、接近度传感器(例如，激光雷达)、或视觉/图像传感器(例如，相机)。所述感测模块可以操作性地耦合到具有多个处理器的处理单元。在某些实施方式中，所述感测模块可以操作性地耦合到传输模块(例如，wi-fi图像传输模块)，所述传输模块被配置成将感测数据直接传输给适合的外部装置或系统。例如，可以用传输模块来将感测模块的相机所捕捉到的图像传输给远程终端。
[0365]
处理单元可以具有一个或多个处理器，例如可编程处理器(例如，中央处理单元(cpu))。处理单元可以操作性地耦合到非瞬态计算机可读介质。非瞬态计算机可读介质可以储存可由处理单元执行来实现一个或多个步骤的逻辑、代码、和/或程序指令。所述非瞬态计算机可读介质可以包括一个或多个存储器单元(例如，可移动介质或如sd卡或随机存取存储器(ram)等外部存储器)。在某些实施方式中，可以将来自感测模块的数据直接传送至并储存在非瞬态计算机可读介质的存储器单元内。非瞬态计算机可读介质的存储器单元可以储存可由处理单元执行来实现本文所描述方法的任何适合的实施方式的逻辑、代码、和/或程序指令。例如，处理单元可以被配置成执行指令从而致使处理单元的一个或多个处理器分析感测模块所产生的感测数据。这些存储器单元可以储存来自所述感测模块的有待被处理单元处理的感测数据。在某些实施方式中，可以用非瞬态计算机可读介质的存储器单元来储存处理单元所产生的处理结果。
[0366]
在某些实施方式中，处理单元可以操作性地耦合到被配置成控制可移动物体的状态的控制模块。例如，控制模块可以被配置成控制可移动物体的推进机构，以调整可移动物体相对于六个自由度的空间布局、速度、和/或加速度。替代地或组合地，控制模块可以控制载体、有效载荷、或感测模块的状态中的一者或多者。
[0367]
处理单元可以操作性地耦合到通信模块，所述通信模块被配置成传输和/或接收来自一个或多个外部装置(例如，终端、显示装置、或者其他遥控器)的数据。可以使用任何
合适的通信手段，如有线通信或无线通信。例如，通信模块可以利用局域网(lan)、广域网(wan)、红外线、无线电、wifi、点到点(p2p)网络、电信网络、云通信等等中的一个或多个。任选地，可以使用中继站(如塔、卫星、或移动站)。无线通信可以是取决于接近度或不取决于接近度的。在一些实施方式中，通信可能需要可能不需要视线。通信模块可以传输和/或接收来自感测模块的感测数据、处理单元所产生的处理结果、预定控制数据、来自终端或远程控制器的用户命令、以及类似物中的一项或多项。
[0368]
可以用任何适合的配置来安排系统的这些部件。例如，可以使得系统的这些部件中的一者或多者位于所述可移动物体、载体、有效载荷、终端、感测系统上，或者位于与以上部件中的一个或多个部件进行通信的额外的外部装置上。在某些实施方式中，所述多个处理单元和/或非瞬态计算机可读介质中的一者或多者可以处于不同位置，例如，在可移动物体、载体、有效载荷、终端、感测模块、与以上部件中一者或多者进行通信的额外的外部装置、或它们适合的组合上，从而使得系统所执行的处理和/或存储器功能的任何适合的方面可以是发生在上述位置中的一个或多个位置的。
[0369]
如本文所使用a和/或b涵盖了a或b以及其组合(如a和b)中的一项或多项。应理解的是，虽然术语“第一”、“第二”、“第三”等在本文中可以用来描述各种元件、部件、区域和/或区段，但是这些元件、部件、区域和/或区段不应受这些术语的限制。这些术语仅用于从一个元件、部件、区域或区段中区分出另一个元件、部件、区域或区段。因此，下文讨论的第一元件、部件、区域或区段可以被称为第二元件、部件、区域或区段，而不背离本发明的传授内容。
[0370]
本文使用的术语仅是出于描述具体实施方式的目的而并不旨在限制本发明。如本文所使用的，单数形式“一”、“一个”和“所述”旨在也包括复数形式，除非上下文清楚地另外指明。进一步应理解的是，术语“包括”和/或“包括有”、或“包含”和/或“包含有”在本说明书中使用时指明了所叙述的特征、区域、整数、步骤、操作、元件和/或部件的存在，但并不排除一个或多个其他的特征、区域、整数、步骤、操作、元件、部件和/或其群体的存在或添加。
[0371]
此外，在此可能使用了相对性术语“下部”或“底部”和“上部”或“顶部”来描述如图中所展示的一个元件与其他元件的关系。应理解的是，相对性术语除了图中描绘的朝向之外还旨在涵盖这些元件的不同的朝向。例如，如果将其中一个图中的所述元件翻转，则被描述为在其他元件的“下部”侧上的元件将被定向成在这些其他元件的“上部”侧上。因此，示例性术语“下部”可以取决于图中的具体朝向而涵盖“下部”和“上部”两种朝向。类似地，如果将其中一个图中的所述元件翻转，则被描述为在其他元件的“下方”或“之下”的元件将被定向成在这些其他元件的“上方”。因此，示例性术语“下方”或“之下”可以涵盖上方和下方两种朝向。
[0372]
虽然本文已经示出和描述了本发明的优选实施方式，但对于本领域技术人员而言显然这样的实施方式只是以举例方式提供的。本领域技术人员会在不偏离本发明的情况下产生许多变体、改变和替代。应当理解，在实践本发明的过程中可以采用本文所描述的本发明实施方式的多种不同替代方案。本文描述的实施方式的众多不同的组合是可能的，并且这样的组合被视为本公开的一部分。此外，所有结合本文任一实施方式所讨论的特征都可以容易地适配成用在本文的其他实施方式中。所附权利要求旨在限定本发明的范围，并且进而涵盖了在这些权利要求及其等效项的范围内的方法和结构。