一种无人机的飞行控制方法和系统与流程

1.本说明书涉及无人机飞行控制领域，特别涉及一种无人机的飞行控制方法和系统。


背景技术：

2.无人机可以应用于电力巡检、农业保险、环保、影视剧拍摄、确权问题、街景、快递、灾后救援等多种领域，在各种领域中可以通过控制无人机飞行来实现各种任务或目标。例如，可以通过控制无人机飞行来实现在物理空间中呈现图案，进行表演等。在一些应用场景中(例如无人机表演、信号传递、影视拍摄、按一定路径飞行以进行侦察或数据采集等场景中)，需要控制无人机在空间中的某一平面中根据用户指定的图案进行飞行。
3.因此，有必要提供一种无人机的飞行控制的方法和系统，使得无人机可以在空间中的某一平面中根据用户指定的图案进行飞行。


技术实现要素：

4.本说明书实施例之一提供一种无人机的飞行控制方法，所述方法包括：获取图案；获取所述图案在终端的像平面上对应的一个或多个像素位置；确定目标距离，所述目标距离表示所述终端所在三维空间中的目标平面到所述三维空间中的参考点的距离；基于所述图案对应的一个或多个像素位置、所述目标距离和预设映射关系，确定所述图案对应在所述目标平面中的映射路径，所述预设映射关系表示所述终端的像平面中的位置与该位置在所述三维空间中的目标平面中的映射位置关于所述参考点的映射关系；基于所述映射路径确定无人机的飞行轨迹。
5.本说明书实施例之一提供一种无人机的飞行控制系统，包括；图案获取模块，用于获取图案；图案转换模块，用于获取所述图案在所述终端的像平面上对应的一个或多个像素位置；目标距离确定模块，用于确定目标距离，所述目标距离表示所述终端所在三维空间中的目标平面到所述三维空间中的参考点的距离；映射路径确定模块，用于基于所述图案对应的一个或多个像素位置、所述目标距离和预设映射关系，确定所述图案对应在所述目标平面中的映射路径，所述预设映射关系表示所述终端的像平面中的位置与该位置在所述三维空间中的目标平面中的映射位置关于所述参考点的映射关系；飞行轨迹确定模块，用于基于所述映射路径确定无人机的飞行轨迹。
6.本说明书实施例之一提供一种无人机的飞行控制装置，包括至少一个存储介质和至少一个处理器，所述至少一个存储介质用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令以实现无人机的飞行控制方法。
附图说明
7.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其
中：
8.图1是根据本说明书一些实施例所示的无人机的飞行控制系统的应用场景示意图；
9.图2是根据本说明书一些实施例所示的无人机的飞行控制系统的模块图；
10.图3是根据本说明书一些实施例所示的无人机的飞行控制的示例性流程图；
11.图4是根据本说明书一些实施例所示的终端所在三维空间的示意图；
12.图5是根据本说明书一些实施例所示的确定终端的画面中的图案对应在目标平面中的映射路径的示例性流程图；
13.图6是根据本说明书一些实施例所示的预设映射关系的示意图。
具体实施方式
14.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
15.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
16.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
17.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
18.图1是根据本说明书一些实施例所示的无人机的飞行控制系统的应用场景示意图。在一些实施例中，无人机的飞行控制场景100可以包括无人机110、处理设备120、终端130、网络140。
19.无人机110是指无人驾驶飞行器，可以利用无线电遥控设备和/或自备的程序控制装置操纵。无人机110可以包括无人固定翼飞机、无人垂直起降飞机、无人飞艇、无人直升机、无人多旋翼飞行器、无人伞翼机等。在一些实施例中，无人机110可以包括一个或多个无人机。在一些实施例中，无人机110上可以设置有发光装置(图中未示出)。在一些实施例中，发光装置可以包括led灯、激光器、荧光灯等各种可发光装置。在一些实施例中，发光装置可以由处理设备的控制信号(例如电路信号、无线信号等)来控制其发光开关、发光时间、发光强度、光照方向、发光方式等。在一些实施例中，无人机110可以根据处理设备的控制指令进行飞行。
20.处理设备120可以是具有计算和处理能力的系统。处理设备120可以包括各种计算
机，比如服务器、个人计算机，也可以是由多台计算机以各种结构连接组成的计算平台。在一些实施例中，处理设备120可以在云平台上实现。例如，云平台可以包括私有云、公共云、混合云、社区云、分布式云、跨云、多云等其中一种或几种的组合。处理设备120可以包括一个或多个子处理设备(例如，单核处理设备或多核多芯处理设备)。仅作为示例，处理设备120可以包括各种常见的通用中央处理器(central processing unit，cpu)，图形处理器(graphics processing unit，gpu)，微处理器，特殊应用集成电路(application-specific integrated circuit，asic)，或其他类型的集成电路。
21.终端130可以包括移动设备130-1、平板电脑130-2、笔记本电脑130-3、相机(图中未示出)等或其任意组合。在一些实施例中，终端130可以包括处理设备。在一些实施例中，处理设备120可以集成在终端130上。在一些实施例中，使用终端130的可以是一个或多个用户，可以是直接控制无人机飞行的用户，也可以是其他相关用户。
22.网络140可以包括可促进信息和/或数据交换的任何合适的网络。例如，网络140可以包括公共网络(如互联网)、私人网络(例如，局域网(lan)、广域网(wan))等)、有线网络(如以太网)、无线网络(例如，802.11网络、无线wi-fi网络等)、蜂窝网络(例如，长期演进(lte)网络)、帧中继网络、虚拟专用网络(vpn)、卫星网络、电话网络等其中一种或几种组合。在一些实施例中，场景100中的组件(例如无人机110、处理设备120、终端130)之间可以通过网络140交换信息和/或数据。
23.在一些实施例中，处理设备120可以通过网络140接收经终端130确定的图案、终端130的参数(例如终端的位置、终端的像平面位置、第一参数、第二参数等)。在一些实施例中，处理设备120可以通过网络140接收终端130的图案中的点的颜色、触压、线条类型(例如线条粗细)等相关信息。在一些实施例中，处理设备120可以直接从无人机110和/或终端130获得的数据和/或信息。
24.在一些实施例中，用户可以经由终端130的用户界面向处理设备120发送和/或接收与无人机的飞行控制有关的信息。在一些实施例中，用户界面可以是用于在终端130上实现绘图以得到画面中的图案的应用程序的形式。用户界面可以被配置为促进终端130和与终端130相关的用户之间的通信。在一些实施例中，用户界面可以通过，例如，用户界面屏幕，从用户接收用于执行无人机的飞行控制的请求的输入。用户可以经由终端130的用户界面将用于执行无人机的飞行控制的请求发送到处理设备120，以便控制无人机的飞行。
25.在一些实施例中，处理设备120可以用于获取场景100中的其它组件(例如无人机110、终端130)的信息，并对收集的信息进行分析加工，以执行本说明书中描述的一个或以上功能。例如，处理设备120可以获取图案(例如经终端130确定的图案)、终端130的参数(例如终端的位置、终端的像平面位置、第一参数、第二参数等)等终端130相关信息。又例如，处理设备120可以获取无人机(例如无人机110)在三维空间中的目标位置。又例如，处理设备120可以确定目标距离。又例如，处理设备120可以获取所述图案在终端130的像平面上对应的一个或多个像素位置。又例如，处理设备120可以基于所述图案对应的一个或多个像素位置、目标距离和预设映射关系，确定图案对应在目标平面中的映射路径。又例如，处理设备120可以基于映射路径确定无人机的飞行轨迹。又例如，处理设备120可以控制无人机110按照确定的飞行轨迹飞行。
26.在一些实施例中，无人机可以根据处理设备120的控制指令进行飞行。在一些实施
例中，无人机110可以按照处理设备120基于终端的画面中的图案确定的飞行轨迹进行飞行。
27.在一些实施例中，场景100中还可以包括拍摄终端(图中未示出)。在一些实施例中，拍摄终端可以拍摄无人机110的飞行轨迹视频。在一些实施例中，终端130可以同时作为拍摄终端。
28.图2是根据本说明书一些实施例所示的无人机的飞行控制系统的模块图。如图2所示，无人机的飞行控制系统200可以包括获取模块210、图案转换模块220、目标距离确定模块230、映射路径确定模块240以及飞行轨迹确定模块250。
29.在一些实施例中，图案获取模块210可以用于获取图案。
30.在一些实施例中，图案转换模块220可以用于获取所述图案在所述终端的像平面上对应的一个或多个像素位置。
31.在一些实施例中，目标距离确定模块230可以用于确定目标距离，所述目标距离表示所述终端所在三维空间中的目标平面到所述三维空间中的参考点的距离。在一些实施例中，目标距离确定模块230还可以用于获取无人机在所述三维空间中的目标位置；确定所述目标位置到所述三维空间中的参考点的距离，并将其确定为所述目标距离。在一些实施例中，所述参考点为所述终端的光心。
32.在一些实施例中，映射路径确定模块240可以用于基于所述图案对应的一个或多个像素位置、所述目标距离和预设映射关系，确定所述图案对应在所述目标平面中的映射路径，所述预设映射关系表示所述终端的像平面中的位置与该位置在所述三维空间中的目标平面中的映射位置关于所述参考点的映射关系。
33.在一些实施例中，飞行轨迹确定模块250可以用于基于所述映射路径确定无人机的飞行轨迹。
34.在一些实施例中，无人机的飞行控制系统200还可以包括飞行控制模块(图中未示出)。在一些实施例中，飞行控制模块可以用于控制所述无人机按照所述飞行轨迹飞行。
35.关于获取模块210、图案转换模块220、目标距离确定模块230、映射路径确定模块240、飞行轨迹确定模块250、飞行控制模块以及预设映射关系的更多具体内容参见图3-图6及其相关描述。
36.应当理解，图2所示的系统及其模块可以利用各种方式来实现。需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图2中披露的获取模块、目标距离确定模块、映射路径确定模块和飞行轨迹确定模块可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
37.图3是根据本说明书一些实施例所示的无人机的飞行控制方法的示例性流程图。在一些实施例中，流程300可以由处理设备120执行。如图3所示，流程300可以包括下述步骤：
38.步骤310，获取图案。在一些实施例中，该步骤可以由图案获取模块210执行。
39.图案是指图形的设计方案，可以由点、线、面等几何形状构成。例如，图案可以是人像的素描图。又例如，图案可以是绘制的线条图。
40.在一些实施例中，可以通过可行的各种方式获取图案。例如，可以通过从已有图案库中选择、通过网络从其它地方下载、导入其它设备中存储的图案等方式获取图案。在一些实施例中，可以通过终端130获取图案。在一些实施例中，图案可以由用户通过前述方法获取，也可以由处理设备自动获取(例如根据规则或需求自动获取)。
41.在一些实施例中，可以通过前述图案获取类似的方法获取所需的图像(例如照片、合成图像等)，并可以对图像进行处理生成对应的图案。例如，可以通过深度学习模型(例如，生成式对抗网络(generative adversarial networks，gan)、卷积神经网络(convolutional neural networks，cnn)等)对图像进行风格化处理，从而获得所需的图案。
42.在一些实施例中，用户可以在终端(例如终端130或其它终端)上绘图以得到所需的图案。
43.步骤320，获取所述图案在终端的像平面上对应的一个或多个像素位置。在一些实施例中，该步骤由图案转换模块220执行。
44.这里的终端可以是前述终端130，关于终端的具体内容可以参见图1及其相关描述。
45.终端可以包括光学系统(也可以称为成像系统)，光学系统可以包括镜头、成像介质(例如ccd、cmos等成像传感器、胶卷等)等组件。一般来说，镜头可以将光线聚焦到成像介质上，从而实现拍摄成像。终端的像平面是指成像介质所在的平面，也可以称为成像平面或像素平面。
46.在一些实施例中，终端可以被放置在物理世界中的某个位置。在一些实施例中，可以通过定位装置定位、惯性测量单元测量或其它各种可行的方式确定终端的位置和姿态。
47.在一些实施例中，可以通过各种可行的图像处理方法将图案转换为终端的像平面上对应的一个或多个像素位置。例如，可以通过各种已有的方法将图案所在图片进行像素化，其中，构成图案的一个或多个像素的像素值可以为1，图片中的其余位置对应的像素的像素值可以为0；像平面可以由多个像素排列构成(例如像平面由m*n的像素矩阵构成)，进一步，可以将图案对应的一个或多个像素用像平面上的一个或多个像素位置来表示。例如，每个像素都用一个二维数组(或二维向量)[u，v]来表示，其中，u表示像平面中像素横坐标(例如像素行号)，v表示像平面中像素竖坐标(例如像素列号)。作为示例，图像对应的某一个像素对应在像平面上的像素位置为[2，3]，则表示在像平面的像素矩阵中，该像素对应的位置在第2行第3列。
[0048]
步骤330，确定目标距离，所述目标距离表示所述终端所在三维空间中的目标平面到所述三维空间中的参考点的距离。在一些实施例中，该步骤由目标距离确定模块230执行。
[0049]
终端所在三维空间可以是指客观存在的物理空间，在该空间中可以建立三维空间坐标系并用三维空间坐标系的坐标来表示空间中的位置。
[0050]
图4是根据本说明书一些实施例所示的终端所在三维空间的示意图，其中示出了三维空间中的终端420、无人机410、目标平面430、三维空间坐标系{x
i-y
i-zi}、终端420的终
端坐标系{x
c-y
c-zc}。
[0051]
三维空间坐标系{xi-yi-zi}的原点可以是三维空间中任意点，可根据需求或经验设置。
[0052]
终端坐标系是指与终端关联的坐标系，终端坐标系各坐标轴的相对位置和方向遵循某一固定规则(例如，右手定则)，终端坐标系的原点基于终端相关位置确定，一般原点可以固定于终端上某点，例如原点可以为终端的镜头的光心所在位置。例如，如图4所示，c：{x
c-y
c-zc}为终端420的终端坐标系，其中，原点在终端420的镜头的光心所在位置，xc与终端420的主光轴的方向一致，zc垂直于主光轴的方向且与终端420的像平面平行，yc垂直于zc的方向且与终端420的像平面平行。
[0053]
在一些实施例中，可以通过传感器(例如，gps模组、惯性测量单元等)获得终端420的镜头的光心所在位置(例如光心在三维空间坐标系{xi-yi-zi}中的坐标)与终端的姿态信息等，从而确定终端坐标系。
[0054]
在一些实施例中，在终端所在的三维空间中，可以指定一个平面，该指定的平面可以成为目标平面。目标平面可以作为无人机飞行的飞行平面。例如，如图4所示，目标平面430可以为无人机410飞行的飞行平面。在一些实施例中，目标平面与终端的主光轴垂直。例如，如图4所示，目标平面430垂直于xc的方向。
[0055]
在一些实施例中，在终端所在的三维空间中，可以指定一个参考点，例如可以是终端的镜头的光心，可以用点o表示。
[0056]
在一些实施例中，目标平面到参考点o的距离可以称为目标距离，可以用xc表示。其中，目标平面到参考点o的距离xc可以是指沿着指定的方向(例如图4中轴xj的方向)，参考点o到目标平面的距离。
[0057]
在一些实施例中，可以通过多种方式确定目标距离。
[0058]
在一些实施例中，可以根据需求设置目标距离的大小。例如，用户可以通过终端手动输入目标距离xc。
[0059]
在一些实施例中，可以先将无人机飞到三维空间中的某位置，确定该位置为目标位置，接着通过传感器(例如，gps模组、惯性测量单元、视觉传感器等)和相关算法(例如，视觉惯性里程算法等)获取无人机在三维空间中的目标位置的坐标(例如目标位置在三维空间坐标系{x
i-y
i-zi}中的坐标)；由前述可知可以确定终端的姿态，基于终端的姿态可以确定三维空间坐标系与终端的终端坐标系之间的姿态变换矩阵(也可以称为旋转矩阵)r(某位置在三维空间坐标系中的坐标与r相乘可以得到该位置在终端坐标系中的坐标)；进而可以基于r、目标位置在三维空间坐标系{x
i-y
i-zi}中的坐标确定目标位置到参考点o(即终端坐标系的原点-终端420的镜头的光心)的距离(即目标距离)。例如，目标位置在三维空间坐标系{x
i-y
i-zi}中的坐标位置为p1，终端在三维空间坐标系{xi-yi-zi}中的坐标位置为p0，可以确定目标位置在终端坐标系中的坐标位置pc(可以表示为[xc，y1，z1])为pc＝r(p1-p0)，进而可以基于pc([xc，y1，z1])确定目标距离xc。
[0060]
在一些实施例中，用于确定目标位置的无人机可以作为在飞行平面中飞行的无人机，也可以是不在飞行平面中飞行的其他无人机。
[0061]
步骤340，基于所述图案对应的一个或多个像素位置、所述目标距离和预设映射关系，确定所述图案对应在所述目标平面中的映射路径，所述预设映射关系表示所述终端的
像平面中的位置与该位置在所述三维空间中的目标平面中的映射位置关于所述参考点的映射关系。在一些实施例中，该步骤可以由映射路径确定模块240执行。
[0062]
映射位置是指终端的像平面中的位置映射到目标平面中的位置。例如，如图4所示，终端420的像平面中的位置p’映射到目标平面430中的位置为p。
[0063]
在一些实施例中，预设映射关系与目标距离、终端的相关参数相关，可以预先确定。关于预设映射关系的更多具体内容可以参见图5及其相关描述。
[0064]
映射路径是指图案对应映射在目标平面中的路径。例如，如图4所示，图案420-1对应映射在目标平面430中的路径为430-1。
[0065]
在一些实施例中，确定图案对应的一个或多个像素位置和目标距离后，便可以基于图案对应的一个或多个像素位置、目标距离、预设映射关系确定图案对应在目标平面中的映射路径。
[0066]
关于确定图案对应在目标平面中的映射路径的更多内容可以参见图5及其相关描述，在此不再赘述。
[0067]
步骤350，基于所述映射路径确定无人机的飞行轨迹。在一些实施例中，该步骤由飞行轨迹确定模块250执行。
[0068]
飞行轨迹是指无人机在三维空间中飞行的连续位置组成的轨迹。在一些实施例中，无人机可以根据包括一系列带有时序的空间三维点组成的飞行轨迹进行飞行。无人机可以按照时序依次飞至飞行轨迹中的各个三维点，从而实现无人机按照飞行轨迹飞行。
[0069]
在一些实施例中，基于图案对应在目标平面中的映射路径可以确定无人机的飞行轨迹。在一些实施例中，可以通过各种可行的无人机飞行轨迹处理算法对映射路径进行处理，得到包括一系列带有时序的空间三维点的飞行轨迹。
[0070]
在一些实施例中，确定飞行轨迹后，可以在飞行轨迹中指定一个起始点作为无人机所需飞至的第一个点，并在之后根据飞行轨迹中各点的时序继续飞至各个三维点。在一些实施例中，可以不指定起始点，无人机可以飞行轨迹中任意一个三维点(例如离无人机最近的一个点)作为所需飞至的第一个点。
[0071]
在一些实施例中，可以通过各种无人机自动飞行算法(例如轨迹追踪算法)控制无人机按照确定的飞行轨迹飞行。由于飞行轨迹位于三维空间中的目标平面上，可以理解，无人机按照该飞行轨迹飞行时会始终保持在目标平面中飞行。
[0072]
在一些实施例中，无人机上可以设置有发光装置。关于发光装置的更多具体内容可以参见图1及其相关描述。在一些实施例中，在无人机按照飞行轨迹飞行时，可以同时控制发光装置发光。例如，可以在无人机按照飞行轨迹飞行时，控制发光装置持续发光。
[0073]
在一些实施例中，在无人机按照飞行轨迹进行飞行时，可以通过拍摄终端(例如终端130或其他拍摄终端)拍摄无人机的飞行轨迹视频。在一些实施例中，如前所述，在无人机按照飞行轨迹飞行时，可以同时控制发光装置发光，可以理解，拍摄终端拍摄的飞行轨迹视频中可以展示无人机上的灯光轨迹。
[0074]
在一些实施例中，拍摄终端拍摄无人机的飞行轨迹视频时，可以对曝光快门时长、对焦、感光度iso等拍摄参数进行设置，以达到最佳的拍摄效果。
[0075]
在一些实施例中，得到无人机的飞行轨迹视频后，可以对视频进行各种所需的处理，以得到所需的图像(例如对视频中的多帧进行合成得到一幅灯光轨迹图像)和/或处理
后视频(例如处理后的短视频)。其中，多帧合成的方式可以包括抽取合适时间段的帧、像素叠加等手段。
[0076]
在一些实施例中，处理设备还可以确定图案的多个点中各点的颜色，其中，图案的每个点都可以对应前述像平面中的一个像素位置。在一些实施例中，处理设备还可以基于图案中点的颜色确定无人机飞行至该点所对应像素位置对应的映射位置时，发光装置的发光颜色。例如，图案的某个点的颜色为红色，则无人机飞行至该点所对应像素位置对应的映射位置时，发光装置的发光颜色为红色。
[0077]
在一些实施例中，图案可以由用户在压感式触摸屏(例如终端130的压感式触摸屏)上绘制得到。在一些实施例中，处理设备可以获取图案的多个点中各点的触压。在一些实施例中，处理设备还可以基于点的触压确定无人机飞行至该点所对应像素位置对应的映射位置时，发光装置的发光强度。例如，图案的某点的触压越大，则对应的无人机飞行至该点所对应像素位置对应的映射位置时发光装置的发光强度越强。
[0078]
在一些实施例中，处理设备可以获取图案的多个点中各点对应的线条粗细(可以是指点所在线条的线条粗细)。在一些实施例中，处理设备还可以基于点的线条粗细确定无人机飞行至该点所对应像素位置对应的映射位置时，发光装置的发光强度。其中，线条的粗细可以包括0.5磅、1磅、1.5磅等。在一些实施例中，不同的线条粗细可以对应发光装置不同的发光强度，例如1磅对应发光装置的发光强度a，0.5磅对应发光装置的发光强度b，发光强度a可以大于发光强度b。
[0079]
在一些实施例中，处理设备可以针对多个无人机确定多个飞行轨迹，并可以根据本说明书其他地方所述的方法控制多个无人机分别按照各自对应的飞行轨迹进行飞行。其中，每个无人机都可以对应确定一个目标距离xc，多个无人机对应的多个xc的大小相近，可以只有较小的差别，以及可以按照方法300对每个无人机确定对应的飞行轨迹。可以理解，通过本实施例，多个无人机的飞行轨迹中的各个三维点[xc，yc，zc]只有xc略有不同，yc和zc是相同的。在一些实施例中，在多个无人机分别按照各自的飞行轨迹进行飞行时，可以控制多个无人机上的发光装置对光进行散射(其中不同无人机上的发光装置的发光颜色不同，且发光颜色可以根据需求确定，例如可以时三原色中的颜色)，从而可以实现多台无人机进行灯光配色的效果。
[0080]
在一些实施例中，处理设备可以根据方法300确定多个图案(也可以是一个图案包括的多个部分图案)对应在目标平面中的多个映射路径，从而确定在目标平面中的多个飞行轨迹。在一些实施例中，多个飞行轨迹中，每一个飞行轨迹可以对应一个无人机，处理设备可以根据本说明书其他地方所述的方法控制多个无人机分别按照对应的飞行轨迹在同一目标平面中飞行，从而使无人机飞行轨迹呈现的图案更加生动多变，可以满足更多的飞行需求和任务目标。
[0081]
通过方法300所述的无人机飞行控制方法，可以使得无人机根据拍摄终端上画面的图案，在空中的设定的飞行平面中飞行，以实现空中设定的飞行平面中呈现图案的目标，并且无人机保持在设定的飞行平面中飞行，可以使得拍摄终端在拍摄飞行轨迹视频时，拍摄角度和拍摄范围更稳定，拍摄效果也更好。
[0082]
应当注意的是，上述有关流程无人机的飞行控制的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流
程无人机的飞行控制进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
[0083]
图5是根据本说明书一些实施例所示的确定终端的画面中的图案对应在目标平面中的映射路径的示例性流程图。在一些实施例中，流程500可以由处理设备120执行。如图5所示，流程500包括下述步骤：
[0084]
步骤510，基于所述一个或多个像素位置、所述目标距离、所述预设映射关系，确定所述一个或多个像素位置对应在所述目标平面中的一个或多个映射位置。在一些实施例中，该步骤由映射路径确定模块240执行。
[0085]
对于图案对应的一个或多个像素位置中的每一个像素位置，处理设备都可以基于该像素位置、目标距离、预设映射关系，确定该像素位置对应在目标平面中的映射位置。以下对预设映射关系和基于像素位置、目标距离、预设映射关系确定像素位置对应在目标平面中的映射位置进行详细说明。
[0086]
图6是根据本说明书一些实施例所示的预设映射关系的示意图，图6中示出了终端的像平面610、三维空间中的目标平面630、参考平面620(即参考点o所在的平面)、终端的终端坐标系{x
c-y
c-zc}、像平面中的图像坐标系{x-y}、像平面中的像素坐标系{u-v}。
[0087]
其中，图像坐标系{x-y}的原点o’可以定义在像平面中的任意点，作为示例，如图6所示，o’可以定义在像平面的中心且在终端的主光轴上。
[0088]
像素坐标系{u-v}的原点o0可以定义在像平面中的任意点，作为示例，如图6所示，o0可以定义在像平面中像素矩阵的一个顶点处。像素坐标系{u-v}以像素为单位表示坐标位置，例如，像平面由多个像素排列构成，像素坐标系{u-v}中坐标[2，3]表示第2行第3列的像素对应的位置。可以理解，若像平面中一个像素的长度为α、宽度为β，则像素坐标系{u-v}中坐标(1，1)对应在图像坐标系中的坐标为(1*α-c
x
，1*β-cy)，其中，c
x
为图像坐标系的原点相对于像素坐标系的原点的在x轴上的偏移量，cy为图像坐标系的原点相对于像素坐标系的原点的在y轴上的偏移量。
[0089]
像平面的中心(即图6中o’)到终端的光心的距离即为终端的光学系统的焦距f，焦距f可以基于终端本身的参数确定。
[0090]
在一些实施例中，预设映射关系包括预设公式(1)(也可以称为第一预设公式)。在一些实施例中，若已知像平面中一个位置p’在图像坐标系中的坐标[x，y]、目标距离xc，可以通过预设公式(1)确定该位置对应在目标平面中的映射位置p在终端坐标系中的坐标[xc，yc，zc]：x/yc＝y/zc＝f/xc
ꢀꢀꢀꢀ
(1)
[0091]
其中，x为像平面中位置p’在图像坐标系中的x轴坐标值，y为像平面中位置p’在图像坐标系中的y轴坐标值，f为终端的光学系统的焦距，xc为位置p’对应在目标平面中的映射位置p在终端坐标系中的xc轴坐标值，yc为位置p’对应在目标平面中的映射位置p在终端坐标系中的yc轴坐标值，zc为位置p’对应在目标平面中的映射位置p在终端坐标系中的zc轴坐标值。
[0092]
由此，对于图案对应的一个或多个像素位置中的每一个像素位置，可以确定该像素位置在像平面中图像坐标系中的坐标，进而处理设备可以基于该像素位置在像平面中图像坐标系中的坐标、目标距离、预设公式(1)，确定该像素位置对应在目标平面中的映射位
置在终端坐标系中的坐标。
[0093]
在一些实施例中，确定映射位置在终端坐标系中的坐标[xc，yc，zc]后，还可以基于终端坐标系中的坐标[xc，yc，zc]和前述姿态变换矩阵r将终端坐标系中的坐标[xc，yc，zc]转换为三维空间坐标系{x
i-y
i-zi}中的坐标，从而得到映射位置在三维空间坐标系{x
i-y
i-zi}中的坐标。
[0094]
在一些实施例中，预设映射关系还可以包括预设公式(2)(也可以称为第二预设公式)。在一些实施例中，若已知像平面中一个位置p’在像素坐标系中的坐标[u，v]、目标距离xc，可以通过公式(2)确定该位置p’在图像坐标系中的坐标[x，y]，进而可以基于公式(1)确定该位置p’对应在目标平面中的映射位置p在终端坐标系中的坐标[xc，yc，zc]：u＝x/α c
x
，v＝y/β cyꢀꢀꢀꢀ
(2)
[0095]
其中，u为像平面中位置p’在像素坐标系中的u轴坐标值，v为图像中位置p’在像素坐标系中的v轴坐标值，α为像素坐标系中一个像素在x轴方向上的长度，β为像素坐标系中一个像素在y轴方向上的长度。a、β、c
x
、cy都可以基于终端本身的已有参数确定。
[0096]
由此，对于图案对应的一个或多个像素位置中的每一个像素位置，可以确定该像素位置在像平面中像素坐标系中的坐标，进而处理设备可以基于该像素位置在像平面中像素坐标系中的坐标、目标距离、预设公式(1)和预设公式(2)，确定该像素位置对应在目标平面中的映射位置在终端坐标系中的坐标。
[0097]
在一些实施例中，预设映射关系可以包括预设公式(3)。在一些实施例中，若已知像平面中一个位置p’在像素坐标系中的坐标[u，v]、目标距离xc，可以通过预设公式(3)确定位置p’对应在目标平面中的映射位置p在终端坐标系中的坐标[xc，yc，zc](此时，图像坐标系的原点o’与像素坐标系的原点o0重合)：
[0098]
其中，fy和fz可以分别称为终端的光学系统的第一参数和第二参数，以及fy＝(1/α*f)/xc，fz＝(1/β*f)/xc。
[0099]
步骤520，基于所述一个或多个映射位置，确定所述映射路径。在一些实施例中，该步骤由映射路径确定模块240执行。
[0100]
根据前述步骤，对于图案对应的一个或多个像素位置中的每一个像素位置，处理设备都可以确定该像素位置对应在目标平面中的映射位置，从而得到图案对应的一个或多个映射位置。
[0101]
在一些实施例中，得到的一个或多个映射位置即可以构成一条路径，该路径可以称为映射路径。
[0102]
应当注意的是，上述有关流程确定图案对应在目标平面中的映射路径的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程确定图案对应在目标平面中的映射路径进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
[0103]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅
作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
[0104]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0105]
此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。
[0106]
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
[0107]
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本说明书一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。
[0108]
针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件(当前或之后附加于本说明书中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
[0109]
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。