用于控制可移动物体的系统和方法与流程

1.本公开的实施例总体上涉及可移动物体的控制，更进一步地，但不限于控制无人载运工具。


背景技术：

2.诸如无人飞行器（uav）之类的无人载运工具可用于执行针对各种应用的监视、侦察和勘探任务。由于uav的广泛普及以及uav市场的高度期望，需要在uav中增加更具吸引力的功能。例如，希望uav在存在活动物体的环境中进行操作。这是本发明的实施例意图针对的一般领域。


技术实现要素：

3.本文描述的是可以在存在活动物体时控制无人载运工具的系统和方法。控制器可以检测可移动物体的附近区域内的活动物体。然后，控制器可以利用可移动物体的附近区域内的活动物体，确定操作可移动物体的操作模式。此外，控制器可以应用与操作模式相关联的控制方案来控制可移动物体的操作。
附图说明
4.图1示出了根据本发明各种实施例的可移动物体环境。
5.图2示出了根据实施例的可移动物体环境中的示例性载体。
6.图3示出了根据本发明各种实施例的在存在一个或多个活动物体的情况下对uav移动的控制。
7.图4示出了根据本发明各种实施例的用于说明各种uav操作模式之间的转换的示例性图。
8.图5示出了根据本发明各种实施例的示例性uav操作机制。
9.图6示出了根据本发明各种实施例的对活动物体和uav之间的交互的支持。
10.图7示出了根据本发明各种实施例的用于控制uav的示例性控制方案。
11.图8示出了根据本发明各种实施例的用于支持交互模式的示例性控制方案。
12.图9示出了根据本发明各种实施例的在交互模式下对uav的控制。
13.图10示出了根据本发明各种实施例的在可移动物体环境中存在活动物体时对可移动物体进行控制的流程图。
具体实施方式
14.作为示例而非限制，在附图的各图中示出了本发明的实施方式，其中相似的附图标记指示相似的元素。应当注意到：在本公开中针对“实施例”或“一个实施例”或“一些实施例”的引用不一定是指相同的实施例，并且这种引用意味着至少一个实施例。
15.以下对本发明的描述使用无人飞行器（uav）作为可移动物体的示例。本领域技术
人员显而易见的是，可以使用其他类型的可移动物体而没有限制。
16.根据本发明的各种实施例，系统可以例如使用诸如无人飞行器（uav）之类的可移动物体（其例如在计算能力和电力资源方面具有有限的资源）长时间自动跟踪和检测目标活动物体此外，一旦目标丢失，系统可以提供重新定位能力。
17.图1示出了根据本发明各种实施例的可移动物体环境。如图1所示，可移动物体环境100中的可移动物体118可以包括载体102和负载104。尽管可移动物体118可以被描绘为飞行器，但是该描述并不旨在限制，并且可以使用任何合适类型的可移动物体。本领域技术人员将理解，本文在飞行器系统的上下文中描述的任何实施例可以应用于任何合适的可移动物体（例如，uav）。在一些情况下，负载104可以设置在可移动物体118上，而不需要载体102。
18.根据本发明的各种实施例，可移动物体118可以包括一个或多个移动机构106（例如，推进机构）、感测系统108和通信系统110。
19.移动机构106可以包括旋翼、螺旋桨、叶片、发动机、电机、轮子、轴、磁体、喷嘴、动物或人类中的一个或多个。例如，可移动物体可以具有一个或多个推进机构。全部移动结构106可以是相同类型的。备选地，移动结构106可以是不同类型的移动机构。移动机构106可以使用诸如支撑元件（例如，驱动轴）的任何合适的方法安装在可移动物体118上（或反之亦然）。移动机构106可以安装在可移动物体118的任何合适的部分上，例如顶部、底部、前部、后部、侧面或其合适的组合。
20.在一些实施例中，移动机构106可以使可移动物体118能够垂直地从表面起飞或者垂直地降落于表面，而不需要可移动物体118的任何水平移动（例如，不需要沿着跑道行进）。可选地，移动机构106可以可操作地允许可移动物体118以特定位置和/或朝向悬停在空气中。移动机构106中的一个或多个可以独立于其它移动机构受到控制。备选地，移动机构106可以被配置为同时受到控制。例如，可移动物体118可以具有多个水平朝向的旋翼，其可以向可移动物体提供升力和/或推力。可以驱动多个水平朝向的旋翼以向可移动物体118提供垂直起飞、垂直降落和悬停能力。在一些实施例中，水平朝向的旋翼中的一个或多个可沿顺时针方向旋转，当然水平旋翼中的一个或多个也可沿逆时针方向旋转。例如，顺时针旋翼的数量可以等于逆时针旋翼的数量。为了控制由每个旋翼产生的升力和/或推力，由此调整可移动物体118（例如，相对于最多三个平移度和三个旋转度）的空间布置、速度和/或加速度，可以独立地改变每个水平朝向的旋翼的转速。
21.感测系统108可以包括可感测可移动物体118（例如，相对于各种平移度和各种旋转度）的空间布置、速度和/或加速度的一个或多个传感器。一个或多个传感器可以包括任何传感器，包括gps传感器、运动传感器、惯性传感器、近距离传感器或图像传感器。感测系统108提供的感测数据可用于（例如，使用合适的处理单元和/或控制模块）控制可移动物体118的空间布置、速度和/或朝向。备选地，感测系统108可用于提供关于可移动物体周围的环境的数据，例如天气条件、接近潜在障碍物、地理特征的位置、人造结构的位置等。
22.通信系统110能够经由无线信号116与具有通信系统114的终端112进行通信。通信系统110、114可以包括适合于无线通信的任意数量的发射机、接收机和/或收发机。所述通信可以是单向通信，使得数据只能在一个方向上发送。例如，单向通信可以仅涉及可移动物体118向终端112发送数据，反之亦然。可以从通信系统110的一个或多个发射机向通信系统
112的一个或多个接收机发送数据，或者反之亦然。备选地，所述通信可以是双向通信，使得可以在可移动物体118和终端112之间的两个方向上发送数据。双向通信可以涉及从通信系统110的一个或多个发射机向通信系统114的一个或多个接收机发送数据，并且反之亦然。
23.在一些实施例中，终端112可以向可移动物体118、载体102和负载104中的一个或多个提供控制数据，并且从可移动物体118、载体102和负载104中的一个或多个接收信息（例如，可移动物体、载体或负载的位置和/或运动信息；由负载感测的数据，诸如由负载相机捕获的图像数据；和从负载相机捕获的图像数据产生的数据）。在一些情况下，来自终端的控制数据可以包括用于可移动物体、载体和/或负载的相对位置、移动、致动或控制的指令。例如，控制数据（例如，经由移动机构106的控制）可以导致可移动物体的位置和/或朝向的改变，或（例如，经由载体102的控制）导致负载相对于可移动物体的移动。来自终端的控制数据可以导致对负载的控制，诸如对相机或其他图像捕获装置的操作的控制（例如，拍摄静止或运动图片、放大或缩小、打开或关闭、切换成像模式、改变图像分辨率、改变焦点、改变景深、改变曝光时间、改变视角或视野）。
24.在一些情况下，来自可移动物体、载体和/或负载的通信可以包括来自一个或多个传感器（例如，感测系统108或负载1104的）的信息和/和基于感测信息产生的数据。通信可以包括来自一个或多个不同类型的传感器（例如，gps传感器、运动传感器、惯性传感器、近距离传感器或图像传感器）的感测信息。这种信息可以涉及可移动物体、载体和/或负载的位置（例如，定位、朝向）、移动或加速度。来自负载的这种信息可以包括由负载捕获的数据或负载的感测状态。由终端112发送的控制数据可以被配置为控制可移动物体118、载体102或负载104中的一个或多个的状态。备选地或组合地，载体102和负载104也可以各自包括被配置为与终端112进行通信的通信模块，使得该终端可以独立地与可移动物体118、载体102和负载104中的每一个进行通信并对其进行控制。
25.在一些实施例中，可移动物体118可以被配置为除了终端112之外还与另一远程装置进行通信，或者代替终端112而与另一远程装置进行通信。除了可移动物体118之外，终端112还可以被配置为与另一远程装置进行通信。例如，可移动物体118和/或终端112可以与另一可移动物体或另一可移动物体的载体或负载进行通信。当需要时，远程装置可以是第二终端或其他计算装置（例如，计算机、膝上型电脑、平板电脑、智能电话或其他移动装置）。远程装置可以被配置为向可移动物体118发送数据、从可移动物体118接收数据、向终端112发送数据，和/或从终端112接收数据。可选地，远程装置可以与因特网或其他电信网络连接，使得从可移动物体118和/或终端112接收的数据可以上传到网站或服务器。
26.图2示出了根据实施例的可移动物体环境中的示例性载体。载体200可用于将诸如图像捕获装置的负载202连接到诸如uav的可移动物体。
27.载体200可以被配置为允许负载202围绕一个或多个轴相对于可移动物体旋转，诸如三个轴：x轴或俯仰轴、z轴或横滚轴、以及y轴或偏航轴。例如，载体200可以被配置为允许负载202仅围绕一个、两个、或三个轴旋转。轴可以彼此正交或可以不彼此正交。围绕任何轴的旋转范围可以受到限制，也可以不受限制，并且可以针对每个轴而变化。旋转轴可以彼此相交或不相交。例如，正交轴可以彼此相交。它们可以在负载202处相交，或者可以不在负载202处相交。备选地，它们可以不相交。
28.载体200可以包括包含一个或多个框架构件的框架组件211。例如，框架构件可以
被配置为与负载202（例如，图像捕获装置）连接并支撑负载202（例如，图像捕获装置）。
29.在一些实施例中，载体201可以包括一个或多个载体传感器213，用于确定载体201的状态或由载体201承载的负载202的状态。状态信息可以包括空间布置（例如，位置、朝向或姿态）、速度（例如，线速度或角速度）、加速度（例如，线加速度或角加速度）、和/或关于载体、其部件和/或负载202的其他信息。在一些实施例中，从传感器数据获取或计算的状态信息可以用作反馈数据以控制载体的部件（例如，框架构件）的旋转。这种载体传感器的示例可以包括运动传感器（例如，加速度计）、旋转传感器（例如，陀螺仪）、惯性传感器等。
30.载体传感器213可以连接到载体的任何合适的一个或多个部分（例如，框架构件和/或致动器构件），并且可以相对于uav可移动或相对于uav不可移动。附加地或备选地，载体传感器中的至少一些可以直接连接到由载体201承载的负载202。
31.载体传感器213可以与载体的一些或所有致动器构件相连接。例如，三个载体传感器可以分别连接到针对三轴载体的致动器构件212，并且配置为测量针对三轴载体的相应致动器构件212的驱动。这种传感器可以包括电位器或其他类似的传感器。在一个实施例中，传感器（例如，电位器）可以插在电机的电机轴上，以便测量电机转子和电机定子的相对位置，由此测量转子和定子的相对位置并产生代表其的位置信号。在一个实施例中，每个与致动器连接的传感器被配置为针对其测量的对应致动器构件提供位置信号。例如，第一电位器可用于产生针对第一致动器构件的第一位置信号，第二电位器可用于产生针对第二致动器构件的第二位置信号，并且第三电位器可用于产生针对第三致动器构件的第三位置信号。在一些实施例中，载体传感器213还可以连接到载体的一些或所有框架构件。传感器可以能够传达关于载体的一个或多个框架构件和/或图像捕获装置的位置和/或朝向的信息。传感器数据可以用于确定图像捕获装置相对于可移动物体和/或参考系的位置和/或朝向。
32.载体传感器213可以提供位置和/或朝向数据，该数据可以被发送到载体或可移动物体上的一个或多个控制器（未示出）。传感器数据可以用在基于反馈的控制方案中。控制方案可用于控制一个或多个致动器构件（诸如一个或多个电机）的驱动。一个或多个控制器可以位于载体上或承载载体的可移动物体上，可以产生用于驱动致动器构件的控制信号。在一些情况下，可以基于从载体传感器接收的数据产生控制信号，所述数据指示载体或由载体201承载的负载202的空间布置。载体传感器可以位于载体或负载202上，如本文先前所述。由控制器产生的控制信号可以由不同的致动器驱动器接收。基于控制信号，不同的致动器驱动器可以控制不同的致动器构件的驱动，例如，以实现载体的一个或多个部件的旋转。致动器驱动器可以包括适于控制相应致动器构件的驱动和从相应传感器（例如，电位器）接收位置信号的硬件和/或软件部件。控制信号可以同时发送到致动器驱动器，以产生致动器构件的同时驱动。备选地，控制信号可以顺序发送，或者仅传输到致动器驱动器中的一个。有利地，控制方案可用于提供用于驱动载体的致动器构件的反馈控制，由此实现载体部件的更精确和准确的旋转。
33.在一些情况下，载体201可以经由一个或多个减震元件间接地连接到uav。减震元件可以被配置为减少或消除由可移动物体（例如，uav）的移动引起的负荷（例如，负载、载体或以上两者）的移动。减震元件可以包括适于对所连接的负荷的运动进行减震的任何元件，诸如主动减震元件、被动减震元件或具有主动和被动减震特性的混合减震元件。由本文提供的减震元件减震的运动可以包括振动、摆动、摇动或撞击中的一个或多个。这种运动可能
源自传递到负荷的可移动物体的运动。例如，所述运动可以包括由推进系统和/或uav的其他部件的操作引起的振动。
34.减震元件可以通过消散或减少传递到负荷的运动量来将负荷与不希望的运动源隔离（例如，振动隔离），从而提供运动减震。减震元件可以减小可能由负荷经历的运动的幅度（例如，幅值）。由减震元件208施加的运动减震可以用于稳定负荷，由此改善由负荷（例如，图像捕获装置）捕获的图像的质量，并降低基于所捕获的图像产生全景图像所需的图像拼接步骤的计算复杂度。
35.本文所述的减震元件可以由任何合适的材料或材料组合形成，包括固体、液体或气体材料。用于减震元件的材料可以是可压缩的和/或可变形的。例如，减震元件可以由海绵、泡沫、橡胶、凝胶等制成。例如，减震元件可以包括大致球形的橡胶球。减震元件可以是任何合适的形状，例如大致球形、矩形、圆柱形等。备选地或附加地，减震元件可以包括压电材料或形状记忆材料。减震元件可以包括一个或多个机械元件，例如弹簧、活塞、液压装置、气动装置、缓冲器、减震器、隔离器等。可以选择减震元件的属性以提供预定量的运动减震。在一些情况下，减震元件可以具有粘弹属性。减震元件的属性可以是各向同性的或各向异性的。例如，减震元件可以沿所有运动方向均匀地提供运动减震。相反，减震元件可以仅沿着运动方向的子集（例如，沿着单个运动方向）提供运动减震。例如，减震元件可以主要沿着y（偏航）轴提供减震。这样，所示的减震元件可以被配置为减少垂直运动。
36.尽管各种实施例可以被描述为利用单一类型的减震元件（例如，橡胶球），但是应该理解，可以使用多种类型的减震元件的任何合适组合。例如，可以使用任何合适的一种或多种类型的一个或多个减震元件来将载体连接到可移动物体。减震元件可以具有相同或不同的特性或属性，例如刚度、粘弹性等。每个减震元件可以连接到负荷的不同部分或仅连接到负荷的特定部分。例如，减震元件可以位于负荷和可移动物体之间的接触点或连接点或表面的附近。在一些情况下，负荷可以嵌入一个或多个减震元件内或由一个或多个减震元件包围。
37.图3示出了根据本发明各种实施例的在存在一个或多个活动物体的情况下对uav移动的控制。如图3所示，uav 301可以检测存在于uav操作环境300中的一个或多个活动物体311、312和313。例如，活动物体311、312或313中的每一个可以是人、动物、宠物或活着的任何其他形式的物体。此外，活动物体311、312或313可以是可以表现得像活着的物体的任何物体（例如机器人），但不限于此。
38.根据本发明的各种实施例，活动物体311、312或313的检测可以基于环境变化的检测。例如，uav 301可以使用uav 301上和/或uav 301外的一个或多个传感器来检测活动物体311、312或313。
39.根据各种实施例，uav上或uav外的传感器可以收集各种类型的环境信息。单个传感器可以能够收集环境中的一组信息，或者一组传感器可以一起工作以收集环境中的一组信息。除了位置映射、位置之间的导航和障碍物的检测之外，传感器还可以用于检测活动物体。传感器还可以用于监视环境或感兴趣的对象。传感器可以用于识别活动物体。可以将活动物体与环境中的其他物体区分开。传感器可以用于识别由活动物体佩戴或携带的物体。可以将佩戴或携带的物体与环境中的其他物体区分开。此外，uav上或uav外的传感器可以收集诸如活动物体的位置、uav的位置和uav的朝向之类的信息。
40.传感器的各种示例可以包括但不限于位置传感器（例如，全球定位系统（gps）传感器、实现位置三角测量的移动装置发射机）、视觉传感器（例如，能够检测可见光、红外光或紫外光的成像装置，例如相机）、近距离传感器或范围传感器（例如，超声波传感器、激光雷达(ladar)、飞行时间相机或深度相机）、惯性传感器（例如加速度计、陀螺仪、惯性测量单元（imu））、高度传感器、姿态传感器（例如，罗盘）、压力传感器（例如，气压计）、音频传感器（例如，麦克风）或场传感器（例如磁力计、电磁传感器）。可以使用任何合适数量的传感器和的传感器的组合，例如一个、两个、三个、四个、五个或更多个传感器。
41.可选地，可以从不同类型的传感器（例如，两种、三种、四种、五种或更多种类型）接收数据。不同类型的传感器可以测量不同类型的信号或信息（例如，位置、朝向、速度、加速度、接近度、压力等）和/或利用不同类型的测量技术来获得数据。例如，传感器可以包括有源传感器（例如，从其自己的能量源产生和测量能量的传感器）和无源传感器（例如，检测可用能量的传感器）的任何合适的组合。作为另一示例，一些传感器可以产生根据全局坐标系提供的绝对测量数据（例如，由gps传感器提供的位置数据、由罗盘或磁力计提供的姿态数据），而其他传感器可以产生根据局部坐标系提供的相对测量数据（例如，由陀螺仪提供的相对角速度；由加速度计提供的相对平移加速度；由视觉传感器提供的相对姿态信息；由超声波传感器、激光雷达(ladar)或飞行时间相机提供的相对距离信息）。
42.在一些实施例中，uav 301可以具有uav 301上的传感器，其直接从环境收集信息。例如，当uav上的视觉传感器或音频传感器捕获指示活动物体311、312或313的存在的图像或声音时，uav 301可以检测到活动物体311、312或313的存在。在一些实施例中，这种检测可以基于将检测到的物体的一个或多个观察到的特征与一个或多个活动物体识别标志特征（例如，体温和某些移动特征）进行匹配。
43.在一个示例中，uav 301可以包括视觉传感器，例如，相机。视觉传感器可以封装在uav的主体中，或者由uav作为外部负载携带。例如，当视觉传感器作为负载在外部携带时，视觉传感器可以定向在uav的主体下方。此外，视觉传感器可以通过载体附着于uav。载体可以被配置为使得视觉传感器可以相对于uav旋转和/或倾斜。此外，载体允许视觉传感器以三维方式平移和/或旋转。例如，载体可以允许视觉传感器仅围绕一个或两个轴旋转。
44.在另一示例中，uav 301可以包括音频传感器。音频传感器可以封装在uav 301的主体中，或者由uav 301作为外部负载携带。音频传感器可以布置在uav 301的主体的不同部分上，或者围绕uav 301朝向不同方向来定向。此外，音频传感器可以利用噪声滤波器，其可以滤除诸如电机噪声、螺旋桨噪声或风噪声的背景噪声。此外，uav上的音频传感器可以接收由安装在周围环境中的音频接收器收集的音频信号。
45.在又一示例中，uav 301可以包括热传感器。热传感器可以位于uav 301的主体中，或者由uav 301作为外部负载携带。热传感器可以检测uav 301周围环境中的温度变化，例如，基于红外光检测。然后，基于温度读数和/或相关移动特性评估（例如，步态识别），uav可以知道周围邻域中的活动物体（例如，用户）的存在。
46.在一些实施例中，uav 301可以依赖于uav外的一个或多个传感器来收集指示环境变化的数据。可以在uav操作的环境中安装各种传感器。uav可以直接或间接地接收由uav外的传感器收集的信息，以检测在uav 301的附近区域内（例如，在距离uav 301的预定距离阈值内）的操作环境中是否存在活动物体。
47.根据本发明的各种实施例，一旦从活动物体311接收到信号，uav 301就可以检测到活动物体311。例如，活动物体311可以是用户。用户可以位于诸如房屋、院子、房间、建筑物、载运工具或另一空间或区域的位置处。用户可以经由电子装置与uav 301上的一个或多个处理器进行通信。电子装置可以是或者可以不是移动装置。电子装置可以是或者可以不是能够手动控制uav的飞行的远程终端。电子装置可以通过有线或无线连接直接与uav进行通信。电子装置还可以通过有线或无线连接与处理器进行通信，该处理器还可以通过有线或无线连接与uav进行通信。备选地，该处理器可以在电子装置上和/或在uav 301上。例如，uav可以具有一个或多个机载处理器。该一个或多个机载处理器可以与外部处理器和/或具有用户界面的电子装置进行通信。在一个示例中，该通信可以基于用户界面，所述用户界面可以位于电子显示器上，该电子显示器例如是台式电脑、膝上型电脑、智能电话、智能手表、智能眼镜、平板电脑或被配置为与该一个或多个处理器进行通信的另一装置。机载处理器可以执行本文描述的处理器的任何功能。备选地，uav 301可以直接与电子装置进行通信以与中间装置或处理器进行通信。
48.根据各种实施例，uav 301可以通过检测从活动物体发出的信号来检测活动物体的存在。例如，活动物体可以携带或嵌入有可以被自动识别或跟踪的电子装置或标签。例如，这种电子装置或标签可以基于射频识别（rfid）、蓝牙或任何近场通信（nfc）技术。标签可以从uav 301上的询问rfid读取器被动地收集能量，或者使用本地电力主动地向周围环境发射信号。
49.根据各种实施例，活动物体104可以可选地具有可穿戴标识符。例如，活体物体可以佩戴戒指、项链、腕带或衣领。uav视觉传感器可以检测可穿戴标识符上的视觉图案，以便定位目标活动物体。备选地，可穿戴标识符可以嵌入有可以由uav上的传感器电子地识别的电子装置或标签。
50.在一些实施例中，可以通过对不同的传感器进行协作来实现对活动物体311、312或313的检测，所述不同的传感器包括uav上的传感器和uav 301外的传感器。例如，一个或多个运动检测器可以安装在uav操作环境300中的地面上。一旦运动检测器检测到活动物体，就可以向uav 301发送这样的信息，uav 301相应地可以确认活动物体的存在以及活动物体相对于uav的朝向和距离。此外，uav 301可以通过测量活动物体的速度和/或获得活动物体的尺寸（例如，活动物体的高度）来细化活动物体的检测。例如，进入房屋的小偷可以触发运动检测器，其可以通知uav。然后，uav可以启动跟踪模式并且基于由uav上的传感器测量的小偷的移动来跟踪小偷。
51.根据各种实施例，uav操作环境300中的uav 301可以检测存在于uav 301周围区域内的活动物体。此外，uav 301的周围区域（例如，uav 301的周围区域）可以被配置为多个区域。例如，uav 301的周围区域可以被配置为诸如正常区域、安全区域和交互区域之类的各种操作区域。
52.如图3所示，uav 301的周围区域可以被配置为多个区域310-330，如地理半径所定义的。例如，活动物体311位于正常区域330（例如，在uav 301附近区域的外部），而活动物体312位于安全区域320并且活动物体313位于交互区域310（例如，在uav 301的附近区域内）。
53.在一些实施例中，地理半径可以定义以uav 301的当前位置为中心的半径区域。备选地，地理半径可以定义以活动物体（例如，用户）的位置为中心的半径区域。在一些实施例
中，可以使用各种几何形状（诸如多边形、椭圆形和其他几何形状）来定义周围区域。用户可以使用全局坐标或局部坐标来定义地理区域。在一些情况下，地理区域可以被定义为用户例如使用全局坐标定义的边界内的区域。
54.根据各种实施例，用户可以经由与uav 301上或uav 301外的处理器进行通信的用户界面来定义uav 301的周围区域。一个或多个处理器可以与一个或多个存储器存储单元进行通信。存储器存储单元可以存储过去的用户定义区域。存储器存储器件单元可以存储地理数据（例如，可以可选地更新的地图）。每当uav检测到活动物体时，用户可以可选地定义周围区域。例如，周围区域可以被定义为：活动物体可以在其中安全地行进而不干扰uav的区域、活动物体在跨过其时可能干扰uav的边界、和/或活动物体在其中时可能干扰uav的区域。
55.在各种实施例中，用户可以提供视觉地图。可以在电子装置上的用户界面中生成视觉地图。用户界面可以提供选定空间或局部空间的地图，在该空间中活动物体可以与uav交互。用户可以在由用户界面提供的地图上标记允许或不允许uav和/或活动物体行进的区域。在一些情况下，用户可以使用用户界面上提供的触摸屏来标记地图上的区域。用户的手指或指针（例如，鼠标指针、轨迹球指针等）可以用于勾画边界的轮廓。用户可以在用户界面上绘制圆圈以定义区域。备选地，用户可以点击或触摸点以定义区域的坐标。
56.根据各种实施例，uav 301上的一个或多个处理器可以监视活动物体，并同时接收uav上或uav外的一个或多个位置信号。例如，uav可以例如使用诸如无人飞行器（uav）之类的可移动物体（例如在计算能力和电力资源方面具有有限的资源）长时间自动跟踪和检测目标活动物体。此外，一旦目标活动物体丢失，系统可以提供重新定位能力。
57.根据各种实施例，在检测到活动物体之后，uav 301可以改变操作模式。这种确定可以基于距离、速度或其他因素。例如，当uav 301在正常区域中操作时，uav 301可以处于正常操作模式。备选地，当uav在安全区域中操作时，uav 301可以处于安全操作模式，并且当uav处于交互区域时，uav 301可以处于交互操作模式。在一些实施例中，在检测到活动物体之后，uav 301可以改变操作模式。这种确定可以基于距离、速度和/或其他因素。此外，操作模式的确定可以基于环境类型。在一些实施例中，区域的配置可以通过诸如uav是在室内环境还是室外环境中之类的因素来实现。例如，当uav在室外环境中操作时，可以使用更大的半径或以规则的形状来定义操作区域。另一方面，当uav在室内环境中操作时，可以使用较小的半径或以不规则的形状来定义操作区域。
58.图4示出了根据本发明各种实施例的用于说明各种uav操作模式之间的转换的示例性图。如图4所示，uav 400可以被配置为在各种操作模式401-404中操作。
59.例如，当没有检测到活动物体或者位于正常区域中时，uav 400可以在正常模式401中操作。另一方面，当uav 400检测到uav 400的附近区域内（例如，安全区域）的活动物体时，uav 400可以转换到安全模式402。在这种情况下，uav 400可以应用各种安全方案，以便安全、可靠和方便地操作uav 400。例如，这种安全方案可以包括限制uav 400的移动速度以防止与活动物体碰撞，或者包括将uav 400控制为悬停状态。
60.此外，在uav 400确定用户表示出与uav进行交互的意图（例如，通过靠近uav 301或挥手）之后，uav 400可以转换到交互就绪模式403。在一些实施例中，当uav 301处于交互就绪模式时，uav 301可以使其自身准备好进行交互。
61.根据各种实施例，uav可以采用不同的机制来支持与诸如用户之类的活动物体的交互。例如，uav可以保持稳定（即，保持悬停）以进行用户交互。因此，用户可以按下uav主体上的按钮。此外，uav可以升高旋翼以允许用户容易地接近。
62.如图4所示，一旦用户开始（或即将）与uav 400交互，uav 400就可以进入交互模式404（例如，从交互就绪模式403进入）。根据各种实施例，uav可以采用不同的控制方案或重新配置控制方案以支持活动物体和uav 400之间的交互。备选地，uav可以直接从安全模式402转换到交互模式404。
63.一旦用户完成与用户的交互，或者如果用户决定不与uav进行交互（例如，通过远离uav），则uav可以在返回到正常模式401之前返回到安全模式402。备选地，uav可以从交互模式404转换到交互就绪模式403，使得uav可以针对活动物体的交互保持准备就绪（或准备好）的状态。例如，如果用户与uav重新建立关系，则uav可以从交互就绪模式403转换到交互模式404。
64.此外，当活动物体决定不与uav进行交互或者无法与uav进行交互时（例如，当活体物体离uav很远的时候），uav可以从安全模式402转换到正常模式401。
65.图5示出了根据本发明各种实施例的示例性uav操作机制。如图5所示，uav 500可以被配置为在uav操作模式510中操作。uav操作模式501可以确定uav 500如何在特定环境下（例如，在检测到活动物体501之后）操作。例如，uav 500可以被配置为当uav 500在安全模式中操作时采取某些安全措施。备选地，uav可以处于交互就绪模式中，以准备进入交互模式。在一些实施例中，当在可移动物体的附近区域内检测到活动物体时，系统可以应用第一部件操作模式（例如，安全模式），并且当在可移动物体的附近区域内没有检测到活动物体时，系统可以应用第二部件操作模式（例如，正常模式），并且，其中，第一部件操作模式和第二部件操作模式不同。
66.根据各种实施例，当uav 500在uav操作模式510中操作时，uav 500可以被配置为在uav部件操作模式502中操作。uav部件操作模式502可以针对与不同的uav操作模式501相对应的uav 500上的各种部件（例如，传感器、旋翼和电机）而不同地配置。此外，可以预选择或预定义可以采用uav部件操作模式的一组uav部件。例如，当uav在交互模式中操作时，诸如视觉传感器和超声波雷达之类的一组部件可以被配置为在交互模式中操作，而气压计和惯性测量单元保持在正常模式中操作。在一些实施例中，当uav 500的操作转换为交互模式时，uav部件的操作可以相应地调整，以支持交互模式。例如，由于传感器的操作可能受到活动物体的干扰，诸如uav上的传感器之类的uav部件的操作可以采用uav部件操作模式。
67.根据各种实施例，当uav的操作在不同操作模式之间转换时，uav可以利用采用不同控制逻辑的不同的uav部件操作模式502。在一些实施例中，当uav在交互模式或交互就绪模式中操作时，视觉传感器或超声波传感器的测量可能受到干扰。例如，当用户在交互模式下从下面握住或触摸uav时，当传感器被用户的手阻挡时，安装在uav底部的传感器的测量可能被损坏并且不可信。uav可以采用可以排除或修改由受干扰的传感器产生的测量（例如，数据跳跃）的逻辑。例如，系统可以选择信任并使用由不受干扰的传感器产生的测量，不受干扰的传感器例如是安装在uav顶部的传感器或不同类型的传感器，例如气压计或惯性测量单元（imu）。
68.根据各种实施例，当uav 500在uav操作模式501中操作时，uav 500可以被配置为
在uav负载操作模式512中操作。例如，当在可移动物体的附近区域内检测到活动物体时，系统可以应用第一负载操作模式（例如，安全模式），并且当在可移动物体的附近区域内没有检测到活动物体时，系统可以应用第二负载操作模式（例如，正常模式），并且其中第一负载操作模式和第二负载操作模式不同。
69.在一些实施例中，可以针对不同的uav操作模式501而不同地配置uav负载操作模式512。在一些实施例中，附着到uav 500的负载（例如，相机）可以与uav 500的操作模式相对应地进行操作（例如，通过采用对应的uav负载操作模式）。例如，当uav 500在正常模式中操作时，针对承载负载（例如，相机）的载体的控制逻辑可以使相机稳定以面向特定方向。另一方面，当uav 500进入交互模式时，针对载体的控制逻辑可以允许用户自由旋转相机以指向期望的随机方向。
70.图6示出了根据本发明各种实施例的对活动物体和uav之间的交互的支持。如图6所示，uav 601可以将操作模式602与控制方案603相关联。例如，控制方案603可以基于各种控制方法，例如比例
–
积分
–
微分（pid）控制方案。
71.根据各种实施例，uav 601可以被配置为针对不同的操作模式表现不同。例如，可以采用不同的控制方案603来在不同的操作模式602中配置uav。备选地，控制方案603可以用于处理不同的操作模式。
72.如图6所示，当在uav 601的附近区域610外检测到活动物体611时，uav 601可以在正常操作模式中操作。在这种情况下，uav 601可以采用正常控制方案来控制uav 601的各种运动特性（例如，uav 601的位置、速度、朝向和倾斜）。相应地，预定或选定的一组uav部件和负载可以在正常操作模式中操作。另一方面，当活动物体612移动到uav 601的附近区域610内时，uav 601可以在安全模式或交互就绪模式中操作。在这种情况下，uav 601可以采用可以以不同方式控制uav的移动特性的控制方案。例如，uav 601可以应用速度限制或进入悬停状态。此外，当活动物体613在交互模式中操作时，诸如uav 601上的传感器和由uav承载的负载之类的部件可以在对应的交互模式中操作。
73.根据各种实施例，uav 601可以被配置为采用与不同的操作模式相对应的不同的控制方案。例如，在第一操作模式下，系统可以允许用户相对于两个轴旋转uav 601。另一方面，在第二操作模式下，系统可以允许用户相对于所有三个轴旋转uav 601。此外，uav 601可以被配置为采用与不同的活动物体相对应的不同的控制方案。例如，通过利用各种步态识别技术，uav 601可以知道不同类型的活动物体（例如，区分用户和宠物）。此外，系统可以基于不同的用户简档来为不同的用户分配不同的角色和/或关联不同的特权。例如，成人用户可以完全控制uav 601，而小孩用户可以仅具有该能力的子集。此外，uav 601可以被配置为基于各种附加因素而采用不同的控制方案，各种附加因素例如是环境类型（例如，室内/拥挤空间对比室外/空旷空间）和uav或其部件的状态（例如，高度、速度、朝向、电池寿命、传感器状态）。此外，各种控制方案与不同的操作模式的对应关系可以是基于规则的，可以实时进行配置。
74.图7示出了根据本发明各种实施例的用于控制uav的示例性控制方案。如图7所示，uav 701可以采用包括位置控制部件703、速度控制部件704、倾斜控制部件705和朝向控制部件706在内的控制方案700。
75.根据各种实施例，uav 701上的感测系统可以测量uav 701的状态。此外，系统可以
基于各种数据融合技术702来获得估计的飞行状态。感测系统可以获得测量得到的uav位置、速度、朝向、倾斜和角速度。例如，gps传感器可以获得uav 701的估计位置，可能包括陀螺仪、加速度计和磁力计的imu可以获得uav 701的估计加速度和角速度，以及uav 701的估计朝向。
76.根据各种实施例，可以调整控制方案700以在不同环境中控制uav 701。例如，为了使uav 701保持悬停在固定位置或沿着期望路径行进，位置控制部件703可以产生期望速度722以抵消uav 701远离其期望位置721的任何漂移移动。此外，速度控制部件704可以产生期望倾斜723以实现期望速度722。然后，倾斜控制部件705可以基于估计倾斜714和估计角速度715来产生用于实现期望倾斜723的电机控制信号。这种电机控制信号可以用于控制与uav 701相关联的各种移动机构731-733。
77.如图7所示，基于期望位置721和估计位置711的差，位置控制部件703可以获得期望速度722。此外，基于期望速度722和估计速度712之间的差，速度控制部件704可以获得期望倾斜723。此外，基于估计角速度715并且基于期望倾斜723和估计倾斜714之间的差，倾斜控制部件705可以计算电机控制信号。
78.此外，uav 701可以保持固定朝向或期望朝向，朝向控制部件可以产生电机控制信号，用于产生可以抵消uav朝向的任何漂移的力。同样如图7所示，基于期望朝向724和估计朝向713之间的差，朝向控制部件706可以产生电机控制信号。因此，组合或集成的电机控制信号可以用于控制与uav 701相关联的各种移动机构731-733，其移动特性可被测量并且可被用于产生用于实时控制uav 701的其他控制信号。
79.根据各种实施例，控制方案700可以被配置为针对不同的操作模式。例如，系统可以限制朝向控制部件706中的控制增益，使得当用户从侧方向（例如，偏航方向）向uav施加力时，uav 701可以根据用户的需要转动。另一方面，如果控制方案未被修改，则uav 701可以产生用于将uav 701保持在当前朝向的阻力。
80.根据各种实施例，系统可以以类似的方式限制位置控制部件703中的控制增益，使得当用户从侧方向向uav 701施加力时，uav 701可以移动到用户期望的不同位置。另一方面，如果控制方案未被修改，则uav 701可以产生可以尝试维持当前位置的阻力。
81.图8示出了根据本发明各种实施例的用于支持交互模式的示例性控制方案。如图8所示，uav 801可以采用包括倾斜控制部件804在内的控制方案800，同时限制针对其他控制部件（未示出）的控制增益。
82.根据各种实施例，基于uav的不同测量状态，uav 801可以获得估计倾斜812。例如，uav 801上的惯性测量模块802可以测量uav的状态，例如由陀螺仪测量的角速度和由加速度计测量的倾斜。可以基于能够执行不同类型的测量的数据融合的滤波器803进行估计。然后，基于期望倾斜811和估计倾斜812之间的差，倾斜控制部件804可以确定针对uav 801的电机821-823的预期控制信号。
83.根据各种实施例，安全控制机构810可以应用在控制方案中，使得uav 801可以以安全、可靠和方便的方式操作。在一些实施例中，一旦检测到异常情况，uav就可以引导电机停止移动。例如，一旦uav检测到电机中的电流突然上升，安全控制机构810就可以引导电机停止运行，电机中的电流突然上升可以指示潜在的电机失速（电机停止旋转的情况）。当负荷力矩大于电机轴力矩时（例如，在碰撞情况下），发生失速情况。在失速情况中，电机消耗
最大电流但电机并不旋转。
84.图9示出了根据本发明各种实施例的在交互模式中对uav进行的控制。在交互模式中，可以采用控制方案900来将uav保持在水平面中，同时允许用户将uav自由旋转到期望的朝向或者将uav自由地移动到期望的位置。
85.如图9a所示，可以沿偏航方向施加力f，以便在水平面（例如，x-y平面）中调整uav的朝向901。在释放力f之后，作为由用户施加力f的结果，uav可以保持在朝向911。因此，用户可以例如为了拍照或监视宠物的目的而自由地将uav旋转到期望的朝向。
86.另一方面，如图9b所示，用户可以沿垂直方向（例如，在x-z平面中）施加力f’以将uav保持在倾斜位置912。一旦释放力f’，由于控制方案中的倾斜控制部件可以产生反作用力以将uav返回水平位置，uav可以返回到原始水平姿态902。因此，控制方案900可以防止uav在水平方向上漂移（由于在倾斜位置时，uav可以水平移动）。结果，uav可以保持在严格控制的空间中，并且可以避免与诸如活动物体之类的周围物体碰撞。
87.根据各种实施例，当在uav上施加随机力时，控制方案900可以被配置为仅响应所施加的力的分量（或部分）。例如，使用如图8所示的控制方案，只有所施加的力的偏航分量可以生效，同时可以产生反作用力以将uav保持在水平姿态。换句话说，uav可以被配置为允许用户沿着偏航方向自由旋转uav，并且一旦释放力就返回到水平姿态。因此，可以防止uav在水平方向上漂移，由于活动物体的存在，水平方向上的漂移是不利的并且可能是危险的（例如，为了避免撞击用户）。
88.在一些实施例中，控制方案900可以以各种不同的方式配置。例如，uav可以被配置为保持偏航和俯仰姿态，同时允许用户围绕横滚轴旋转uav。此外，uav可以被配置为保持偏航和横滚姿态，同时允许用户沿俯仰方向旋转uav。备选地，uav可以被配置为仅保持偏航、横滚和俯仰姿态中的一个，同时允许用户围绕其他两个轴旋转uav。
89.根据各种实施例，类似的控制方案可以应用于uav上的负载或部件。例如，用户可以首先将uav移动到具有特定朝向的特定位置。然后，用户可以调整由uav承载的相机以指向特定方向，以便拍摄照片（通过限制针对载体（例如，云台）的各种控制部件的控制增益）。
90.图10示出了根据本发明各种实施例的在可移动物体环境中存在活动物体时对可移动物体的控制的流程图。如图10所示，在步骤1001，系统可以检测可移动物体的附近区域内的活动物体。然后，在步骤1002，系统可以利用可移动物体的附近区域内的活动物体，确定操作可移动物体的操作模式。此外，在步骤1003，系统可以应用与操作模式相关联的控制方案来控制可移动物体的操作。
91.本发明的许多特征可以以硬件、软件、固件或其组合的形式执行，或者使用硬件、软件、固件或其组合执行，或者借助于硬件、软件、固件或其组合执行。因此，本发明的特征可以使用处理系统（例如，包括一个或多个处理器）来实现。示例性处理器可以包括但不限于一个或多个通用微处理器（例如，单核或多核处理器）、专用集成电路、专用指令集处理器、图形处理单元、物理处理单元、数字信号处理单元、协处理器、网络处理单元、音频处理单元、加密处理单元等。
92.本发明的特征可以使用或借助于计算机程序产品来实现，计算机程序产品是具有存储在其上/内的指令的存储介质（媒介）或计算机可读介质（媒介），这些指令可用于对处理系统进行编程以执行本文陈述的任何特征。存储介质可以包括（但不限于）任何类型的
盘，包括软盘、光盘、dvd、cd-rom、微型驱动器和磁光盘、rom、ram、eprom、eeprom、dram、vram、闪存装置、磁卡或光卡、纳米系统（包括分子存储器ic）或者适于存储指令和/或数据的任何类型的介质或装置。
93.存储在任何机器可读介质（媒介）上的本发明的特征可以并入软件和/或固件中，用来对处理系统的硬件进行控制，并且用来使处理系统能够利用本发明的结果与其他机构进行交互。这样的软件或固件可以包括但不限于应用代码、装置驱动程序、操作系统和执行环境/容器。
94.本发明的特征也可以以硬件实现，例如，以硬件部件实现，硬件部件例如专用集成电路（asic）和现场可编程门阵列（fpga）器件。实现硬件状态机以便执行本文描述的功能，这对本领域的技术人员将是显而易见的。
95.此外，可以使用包括一个或多个处理器、存储器和/或根据本公开的教导编程的计算机可读存储介质在内的一个或多个常规通用或专用数字计算机、计算装置、机器或微处理器，来方便地实现本发明。编程技术人员可以根据本公开的教导容易地准备适当的软件编码，这对软件领域的技术人员将是显而易见的。
96.尽管上面已经描述了本发明的各种实施例，但是应当理解，它们仅仅是作为示例而不是限制来呈现的。本领域普通技术人员应该清楚的是在不脱离本发明的精神和范围的情况下可以进行形式和细节上的各种变化。
97.以上已经在功能构建块的辅助下描述了本发明，这些功能构建块示出了指定功能及其关系的执行。为便于描述，本文通常任意定义这些功能构建块的边界。只要所指定的功能及其关系被适当地执行，就可以定义替代的边界。因此，任何这样的替代的边界都在本发明的范围和精神内。
98.已经提供了本发明的上述描述，用于说明和描述的目的。不是旨在是穷尽性的或将公开的精确形式作为对本发明的限制。本发明的宽度和范围不应当受到上述示例性实施例中任意一个的限制。许多修改和变化对于本领域普通技术人员将是明显的。修改和变化包括公开特征的任何相关组合。对实施例的选择和描述是为了最好地解释本发明的原理及其实际应用，从而使得本领域的其他技术人员能够理解本发明以及具有适合于预期特定用途的各种修改的各种实施例。旨在由以下权利要求及其等同物来定义本发明的范围。