一种无人机降落方法及装置与流程

1.本技术涉及无人机技术领域，尤其涉及一种无人机降落方法及装置。


背景技术：

2.随着无人机的广泛应用，无人机的安全问题也备受关注。除无人机飞行系统遭遇故障或撞击等情况外，在无人机飞行过程中，若遇到电量不足、气流冲击等紧急情况，可通过紧急迫降至安全区域的方式，提高使用无人机的安全性。
3.现有技术中，为保证无人机飞行安全，通常会预先在无人机飞行路径中建立若干停机坪，该停机坪为专门修建的用于无人机降落的平台，可通过安装栏杆等物理方式阻隔行人，以供无人机随时降落。具体的，无人机在执行任务时可根据控制中心发送的飞行路线飞行，当无人机遇到紧急情况需要迫降时，无人机可向控制中心发送携带自身当前位置的位置信息的迫降请求，控制中心在接收到迫降请求后可根据该位置信息，确定距离该无人机最近的停机坪，规划该无人机的降落路径并发送至该无人机，使该无人机按照规划的降落路径降落至最近的停机坪。
4.但是，当无人机处于与控制中心失联状态时，无法与控制中心通信，则无人机遇到紧急情况无法规划降落路径，导致无人机无法安全降落，带来较大的安全隐患。


技术实现要素：

5.本说明书实施例提供一种无人机降落方法及装置，用于部分解决现有技术中存在的上述问题。
6.本说明书实施例采用下述技术方案：
7.本说明书提供的一种无人机降落方法，包括：
8.无人机确定自身所在位置的第一位置信息以及各环境区域的第二位置信息；
9.根据确定出的第一位置信息以及确定出的第二位置信息，进行飞行路径规划，分别确定所述无人机飞行至各环境区域的飞行路径；
10.根据确定出的各飞行路径，确定目标路径，并将所述目标路径对应的环境区域作为目标区域；
11.沿所述目标路径飞行，当移动至所述目标区域上空时，进行降落并在下降过程中连续采集若干第一俯视图；
12.针对每个第一俯视图，确定该第一俯视图中的降落区域以及障碍物；
13.根据确定出的各第一俯视图中的障碍物，确定所述降落区域内障碍物的位置以及运动轨迹，并根据所述障碍物的位置以及运动轨迹，确定所述无人机的下降轨迹，以避开障碍物进行降落。
14.可选地，确定各环境区域的第二位置信息之前，所述方法还包括：
15.确定所述无人机在飞行过程中采集的第二俯视图，并确定所述第二俯视图中的各环境区域。
16.可选地，所述环境区域至少包括空地区域、草坪区域以及水域区域中的至少一种，所述第二位置信息为所述环境区域质心位置的位置信息；
17.根据确定出的第一位置信息以及确定出的第二位置信息，进行飞行路径规划，分别确定所述无人机飞行至各环境区域的飞行路径，具体包括：
18.针对每个环境区域，以所述第一位置信息为起点，以该环境区域的质心位置信息为终点，根据电子地图中的各障碍物的障碍物信息，进行飞行路径规划，确定所述无人机飞行至该环境区域的飞行路径。
19.可选的，飞行环境信息至少包括风速以及气压；
20.根据电子地图中的各障碍物的障碍物信息，进行飞行路径规划，具体包括：
21.根据所述无人机自身的速度、加速度、所述飞行环境信息以及电子地图中的各障碍物的障碍物信息，进行飞行路径规划。
22.可选地，根据确定出的各飞行路径，确定目标路径，具体包括：
23.确定所述无人机沿各飞行路径飞行的耗电以及耗时；
24.根据所述无人机沿各飞行路径飞行的耗电以及耗时，确定各飞行路径的得分；
25.根据确定出的各飞行路径的得分，从各飞行路径中确定得分最高的路径作为目标路径；
26.其中，所述无人机沿飞行路径飞行耗电越少得分越高，耗时越少得分越高。
27.可选地，所述状态信息至少包括所述无人机的速度、加速度以及电池性能参数；
28.确定所述无人机沿各飞行路径飞行的耗电以及耗时，具体包括：
29.确定所述无人机飞行过程中的飞行环境信息，其中，所述飞行环境信息至少包括风速以及气压；
30.针对确定出的每个飞行路径，根据所述飞行环境信息以及所述无人机自身状态信息中的速度、加速度，确定所述无人机沿该飞行路径飞行的耗时；并根据所述飞行环境信息以及所述无人机自身状态信息中的电池性能参数，确定所述无人机沿该飞行路径飞行的耗电。
31.可选地，所述环境区域配置有区域类型，且不同区域类型的优先级不同；
32.根据确定出的各飞行路径，确定目标路径，具体包括：
33.根据预设的区域类型的优先级顺序以及各环境区域配置的区域类型，从各环境区域中确定待处理的环境区域；
34.根据确定出的待处理的环境区域对应的飞行路径的耗电，判断是否存在耗电小于所述无人机的剩余电量的飞行路径；
35.若是，则根据各飞行路径的耗电以及耗时，从所述待处理的环境区域对应的耗电小于所述无人机的剩余电量的飞行路径中确定目标路径；
36.若否，则根据区域类型的优先级顺序，重新从各环境区域中确定待处理的环境区域，直至确定目标路径为止。
37.可选地，当移动至所述目标区域上空时，进行降落并在下降过程中连续采集若干第一俯视图，具体包括：
38.当所述无人机沿所述目标路径移动至所述目标区域的质心位置上空时，降落至第一预设高度；
39.从所述第一预设高度下降过程中开始连续采集包含所述目标区域的第一俯视图。
40.可选地，根据所述障碍物的位置以及运动轨迹，确定所述无人机的下降轨迹，以避开障碍物进行降落，具体包括：
41.根据所述障碍物的位置以及运动轨迹，判断最近采集的第一俯视图中的降落区域中是否存在可以避开障碍物的降落位置；
42.若是，则根据确定出的降落位置，确定所述无人机的下降轨迹，以避开障碍物进行降落；
43.若否，则上升至第二预设高度，重新确定目标区域，其中，所述第二预设高度高于所述第一预设高度。
44.可选地，根据确定出的降落位置，确定所述无人机的下降轨迹，以避开障碍物进行降落，具体包括：
45.通过图像分割算法确定所述降落区域中的各降落子区域以及各降落子区域的区域类型；
46.根据各降落子区域的区域类型，按照预设的区域类型的优先级顺序，从各降落子区域中待降落子区域；
47.根据所述障碍物的位置以及运动轨迹，判断所述待降落子区域中是否存在可以避开障碍物的降落位置；
48.若是，则确定最近的降落位置，并根据确定出的最近的降落位置，确定所述无人机的下降轨迹，以避开障碍物进行降落；
49.若否，则按照预设的区域类型的优先级顺序，重新确定待降落子区域，直至确定出下降轨迹为止。
50.本说明书提供一种无人机降落装置，包括：
51.位置信息确定模块，其配置用于确定无人机所在位置的第一位置信息以及各环境区域的第二位置信息；
52.飞行路径确定模块，其配置用于根据确定出的第一位置信息以及确定出的第二位置信息，进行飞行路径规划，分别确定所述无人机飞行至各环境区域的飞行路径；
53.目标路径确定模块，其配置用于根据确定出的各飞行路径，确定目标路径，并将所述目标路径对应的环境区域作为目标区域；
54.采集模块，其配置用于沿所述目标路径飞行，当移动至所述目标区域上空时，进行降落并在下降过程中连续采集各第一俯视图；
55.障碍物确定模块，其配置用于针对每个第一俯视图，确定该第一俯视图中的降落区域以及障碍物；
56.降落模块，其配置用于根据确定出的各第一俯视图中的障碍物，确定所述降落区域内障碍物的位置以及运动轨迹，并根据所述障碍物的位置以及运动轨迹，确定所述无人机的下降轨迹，以避开障碍物进行降落。
57.本说明书提供的一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无人机降落方法。
58.本说明书提供的一种无人机，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述无人机降落方法。
59.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
60.在下降过程中，无人机可先确定自身所在位置的第一位置信息以及各环境区域的第二位置信息，并根据该第一位置信息以及该第二位置信息，进行飞行路径规划，分别确定该无人机飞行至各环境区域的飞行路径，之后从各飞行路径中确定目标路径，并将该目标路径对应的环境区域作为目标区域，然后该无人机沿该目标路径飞行，当移动至该目标区域上空时，进行降落并在下降过程中连续采集若干第一俯视图，并针对每个第一俯视图，确定该第一俯视图中的降落区域以及障碍物，最后根据确定出的各第一俯视图中的障碍物，确定该降落区域内障碍物的位置以及运动轨迹，并根据该障碍物的位置以及运动轨迹，确定该无人机的下降轨迹，以避开障碍物进行降落。无人机采用自主降落的方式，在降落过程中通过确定障碍物的位置以及运动轨迹，以避开障碍物降落，降低了安全隐患。
附图说明
61.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
62.图1为本说明书实施例提供的一种无人机降落方法的示意图；
63.图2为本说明书实施例提供的一种飞行路径确定方法的示意图；
64.图3为本说明书实施例提供的一种降落区域确定方法的示意图；
65.图4为本说明书实施例提供的一种障碍物确定方法的示意图；
66.图5为本说明书实施例提供的一种第二俯视图获取方法的示意图；
67.图6为本说明书实施例提供的一种降落决策流程图；
68.图7为本说明书实施例提供的一种无人机降落装置的结构示意图；
69.图8为本说明书实施例提供的实现无人机降落方法的电子设备示意图。
具体实施方式
70.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
71.本说明书提供的无人机降落方法，可部分解决现有技术中存在的上述问题。以下结合附图，详细说明本技术各实施例提供的技术方案。
72.图1为本说明书实施例提供的一种无人机降落方法，可由无人机执行降落操作，以保证在无人机遭遇紧急情况时可自主迫降，解决无人机与控制中心失联状况下无法迫降的问题。具体可包括以下步骤：
73.s100：无人机确定自身所在位置的第一位置信息以及各环境区域的第二位置信息。
74.在无人机执行自主降落的过程中，无人机可先确定自身所在位置以及可进行降落的区域的位置，以执行降落操作。
75.在本说明书中，为保证无人机在遭遇紧急情况(例如，电量不足、暴风天气等)时可及时进行降落，降低安全隐患，可在保证安全的前提下，降落在公共环境区域中，例如：空
地、草坪以及水域等环境中。
76.具体的，在无人机遭遇紧急情况需要降落时，无人机可通过自身搭载的全球定位系统(global positioning system，gps)芯片，确定当前自身所在位置的第一位置信息，再根据第二俯视图，确定该第二俯视图可供降落的各环境区域以及各环境区域的第二位置信息。
77.当然，在确定各环境区域时，还需对各环境区域的面积大小进行一定的限制，保证各环境区域的区域面积大于无人机的最小停放面积，以供无人机降落。进一步的，当区域面积大于无人机的最小停放面积时，若环境区域为凹多边形，则该环境区域也可能不能用于无人机降落，因此还可确定各环境区域的形状，并从各环境区域中确定凸多边形的环境区域，保证无人机能够降落。其中，环境区域的第二位置信息可以是环境区域对应的凸多边形的各顶点的位置信息，也可以是环境区域质心位置的位置信息。
78.具体在确定各环境区域时，可通过语义分割算法从该第二俯视图中确定出各环境区域，并确定各环境区域的区域面积大小，筛选出区域面积大于无人机的最小停放面积的环境区域作为待选环境区域，之后确定各待选环境区域的内接多边形，再从确定出的各环境区域的内接多边形中筛选出内接多边形为凸多边形的环境区域，最后确定该环境区域为可供无人机降落的环境区域。
79.需要说明的是，第二俯视图可以是无人机在飞行过程中采集的，例如，无人机每飞行500米采集一次包含可视范围的第二俯视图。此外，当无人机处于与控制中心失联，但可与其他无人机联系的情况下，该无人机也可向其他无人机发送迫降请求信息，以使接收到迫降请求信息的其他无人机将自身采集到的俯视图发送给该无人机，则该无人机可将其他无人机发送的俯视图，作为第二俯视图。本说明书对第二俯视图的获取方式不做限制，可根据需要设置。
80.s102：根据确定出的第一位置信息以及确定出的第二位置信息，进行飞行路径规划，分别确定所述无人机飞行至各环境区域的飞行路径。
81.在本说明书中，当通过步骤s100确定出无人机自身所处位置的第一位置信息以及可供停放的各环境区域的第二位置信息后，便可规划该无人机降落至各环境区域的飞行路径，以从各飞行路径中选择一个飞行路径进行降落。
82.通常无人机在执行飞行任务时，是从出发位置上升到飞行高度后，以不低于第三预设高度的方式飞行至目的地后，在进行降落。因此在本说明书书中，根据该第二位置信息进行路径规划时，可将该第二位置信息上空的第三预设高度，作为规划的飞行路径的终点。其中，第三预设高度通常为无人机正常飞行高度，可根据需要设置，本说明书对此不作限制。例如，第三预设高度为120米。
83.具体的，针对每个环境区域，无人机以自身所在位置的第一位置信息为起点，以该环境区域的质心位置上空第三预设高度为终点，以保证无人机远离边界，最大程度的降落在环境区域内部，远离不可降落的区域。根据电子地图中的各障碍物的障碍物信息，确定各待选路径，之后再进行飞行路径规划，可根据该无人机沿各待选路径的耗时以及耗电，从各待选路径中确定该无人机飞行至该环境区域的飞行路径。其中，当环境区域的第二位置信息为各顶点位置的位置信息时，也可以该环境区域的任一顶点位置上空第三预设高度为终点，确定飞行路径。
84.如图2所示，无人机当前所在位置为a点，可观察到环境区域有：空地1、空地2、草坪1、草坪2、以及水域。在确定飞行路径时，以无人机当前所在位置a为起点，以空地1上空的b为终点，根据电子地图中障碍物的障碍物信息，可确定a、b和c两条待选路径，再根据该无人机沿各待选路径的耗时以及耗电，可确定b待选路径耗时以及耗电最少，因此可确定b待选路径为该无人机飞行至该环境区域的飞行路径。其中，b点与a点处于同一高度，通常为无人机正常飞行的120米，b点位于空地1质心位置的正上方。
85.进一步地，在进行飞行路径规划时，可根据电子地图中的各障碍物的障碍物信息、该无人机自身的速度、加速度以及飞行环境信息，进行飞行路径规划。其中，飞行环境信息至少包括无人机飞行过程中的风速以及气压等信息。例如，若无人机飞行至某一环境区域存在两条待选路径，分别为：与该无人机自身的速度、加速度方向相同的d待选路径、与该无人机自身的速度、加速度方向相反的e待选路径，因此可确定d待选路径作为飞行路径，以避免无人机减速再反向加速，耗电更多，耗时更长。
86.当然，也需结合无人机飞行过程中的风速以及气压等信息，避免选择风速较大、气压较强的飞行路径。在确定无人机飞行过程中的风速时，可通过无人机上的风速传感器实时测量，也可通过网络或者控制中心获取，本说明书对风速的确定方法不做限制，可根据需要设置。
87.s104：根据确定出的各飞行路径，确定目标路径，并将所述目标路径对应的环境区域作为目标区域。
88.为了保证无人机安全降落，在通过步骤s102中确定出各飞行路径后，还需考虑各飞行路径的耗时以及耗电等因素，以使无人机能够及时降落。
89.具体的，首先，无人机可确定自身沿各飞行路径飞行的耗电以及耗时，之后，根据该无人机沿各飞行路径飞行的耗电以及耗时，按照预设的算分规则，确定各飞行路径的得分，最后，根据确定出的各飞行路径的得分，从各飞行路径中确定得分最高的路径作为目标路径，并确定该目标路径对应的环境区域作为目标区域。其中，无人机沿飞行路径飞行耗电越少得分越高，耗时越少得分越高。
90.进一步地，上述预设的算分规则具体可根据实验确定，例如：s＝αb βt,其中，s表示得分，b表示估算的电能损耗，t表示估算的到达时长，α和β分别为根据大量实验结论得出的电能损耗所占权重以及到达时长所占的权重。
91.更进一步地，在确定无人机沿各飞行路径飞行的耗时以及耗电时，由于无人机飞行过程中的风速、气压等飞行环境信息会对无人机飞行的耗时以及耗电产生影响，例如：无人机在逆风飞行时往往耗时较长、耗电较多。因此可先确定无人机飞行过程中的飞行环境信息以及无人机的自身状态信息，再针对每个飞行路径，根据该飞行环境信息以及该无人机自身状态信息中的速度、加速度，通过预先训练的耗时确定模型，确定该无人机沿该飞行路径飞行的耗时，并根据该飞行环境信息以及该无人机自身状态信息中的电池性能参数，通过预先训练的耗电确定模型，确定该无人机沿该飞行路径飞行的耗电。其中，飞行环境信息至少包括无人机飞行过程中的风速以及气压，状态信息至少包括该无人机的速度、加速度以及电池性能参数等信息，且不同电池性能参数的无人机沿相同路径飞行的耗电不同。
92.其中，根据无人机的各项参数(例如，电池性能、体积大小)以及无人机飞行过程中的风速、气压等飞行环境信息，通过预先训练的耗时确定模型以及预先训练的耗电确定模
型，确定无人机飞行的耗时以及耗电的方法，已经是无人机应用中较为成熟的现有技术，本说明书对此不再详细说明。
93.s106：沿所述目标路径飞行，当移动至所述目标区域上空时，进行降落并在下降过程中连续采集各第一俯视图。
94.在本说明书中，当通过步骤s104确定出目标路径后，便可根据确定出的目标路径，进行降落。由于高空拍摄的第二俯视图清晰度不高，无法准确识别障碍物，并且对于行人、车辆等影响降落的障碍物来说，这类障碍物是可会移动的，所以在无人机降落过程中，例如，在无人机从第三预设高度降落至第一预设高度，再从第一预设高度降落至地面的过程中，障碍物的位置可能会发生变化，所以仅根据第二俯视图确定出的障碍物并不能使无人机在降落时准确避开障碍物，为了避开障碍物降落，无人机可在降落至低空时进一步识别障碍物。
95.具体的，无人机可根据确定出的目标路径向目标区域飞行，当移动至目标区域质心位置的上空(即，第三预设高度)时，进行降落，降落至第一预设高度，并从第一预设高度下降过程中开始连续采集包含该目标区域的第一俯视图，以进一步识别降落区域和障碍物。其中，第一预设高度低于第三预设高度，可根据需要设置，本说明书不做限制。例如，第一预设高度为20米。
96.s108：针对每个第一俯视图，确定该第一俯视图中的降落区域以及障碍物。
97.s110：根据确定出的各第一俯视图中的障碍物，确定所述降落区域内障碍物的位置以及运动轨迹，并根据所述障碍物的位置以及运动轨迹，确定所述无人机的下降轨迹，以避开障碍物进行降落。
98.在无人机下降过程中连续采集若干第一俯视图后，可根据各第一俯视图，确定障碍物的位置信息，以使无人机避开障碍物进行降落。
99.具体的，针对每个第一俯视图，首先可通过图像分割算法确定该第一俯视图中的降落区域以及障碍物。其中，降落区域为该第一俯视图面积大于第一预设阈值(无人机的最小停放面积)的区域，障碍物为树木、建筑物、行人以及车辆等。
100.由于障碍物有静态障碍物，例如树木、建筑物等，也有动态障碍物，例如，行人、车辆等。因此还需进一步根据确定出的各第一俯视图中的障碍物，确定各降落区域内障碍物的位置以及运动轨迹，以便避开障碍物进行降落。当然，也可根据各第一俯视图中动态障碍物的位置信息，预测动态障碍物的运动轨迹。
101.之后针对该第一俯视图中的每个降落区域，根据该降落区域内各障碍物的大小、位置以及运动轨迹，判断最近采集的第一俯视图中的降落区域中是否存在可以避开障碍物的降落位置，若该降落区域中避开障碍物外的剩余区域面积，大于无人机的最小停放面积，则该降落区域中存在可以避开障碍物的降落位置，否则不存在。
102.最后判断结果若存在可以避开障碍物的降落位置，则确定最近采集的第一俯视图中距离最近的降落位置，以该降落位置为终点，确定该无人机的下降轨迹，以避开障碍物进行降落。当然，也可根据无人机下降过程中采集到的各第一俯视图，实时确定各障碍物的位置，以更新降落位置，进而更新该无人机的下降轨迹。若不存在可以避开障碍物的降落位置，则上升至第二预设高度，重新确定该无人机自身所在位置，以通过步骤s102-步骤s110重新确定目标区域，进而确定可以避开障碍物的降落位置，直至确定出降落位置进行降落
为止。其中，第二预设高度高于第一预设高度，不高于第三预设高度。各预设高度按照从高到低依次为：第三预设高度、第二预设高度、第一预设高度。并且，在本说明书中，对于已经进行过降落尝试的目标区域，不再作为重新确定的目标区域。也就是，从未作为目标区域的其他各环境区域中，重新确定目标区域。
103.基于图1所示的无人机降落方法，在下降过程中，无人机可先确定自身所在位置的第一位置信息以及各环境区域的第二位置信息，并根据该第一位置信息以及该第二位置信息，进行飞行路径规划，分别确定该无人机飞行至各环境区域的飞行路径，之后从各飞行路径中确定目标路径，并将该目标路径对应的环境区域作为目标区域，然后该无人机沿该目标路径飞行，当移动至该目标区域上空时，进行降落并在下降过程中连续采集若干第一俯视图，并针对每个第一俯视图，确定该第一俯视图中的降落区域以及障碍物，最后根据确定出的各第一俯视图中的障碍物，确定该降落区域内障碍物的位置以及运动轨迹，并根据该障碍物的位置以及运动轨迹，确定该无人机的下降轨迹，以避开障碍物进行降落。无人机采用自主降落的方式，在降落过程中通过确定障碍物的位置以及运动轨迹，以避开障碍物降落，降低了安全隐患。
104.需要说明的是，基于图1所示的无人机降落方法可应用于无人机的配送过程中，当无人机遭遇紧急状况(例如：暴风、电力不足)时，为保证货物的完整以及无人机自身的安全，无人机可采用本说明书提供的降落方法，确定安全的降落区域以进行降落。
105.另外，在本说明书中，第二俯视图除是无人机自身飞行过程中采集的以外，也可以是其他无人机发送的。具体的：无人机向其他无人机发送获取请求，其他无人机可根据该获取请求，将自身采集的俯视图作为第二俯视图，返回给该无人机，以使该无人机根据接收到的第二俯视图，确定各第二俯视图中可供降落的环境区域进行降落。
106.进一步地，由于距离该第一位置信息太远的环境区域，被选作目标区域的概率较低，距离越远被选中的概率越低，因此为了提高效率，还可根据该第一位置信息与采集俯视图的位置的距离，对俯视图进行筛选。
107.具体的，针对接收到其他无人机采集的每个俯视图，该无人机还可确定该俯视图与该第一位置信息的距离，确定距离小于预设距离的俯视图，作为第二俯视图。或者，该获取请求中携带有该第一位置信息，则针对每个其他无人机，该其他无人机，可根据自身采集各俯视图时的位置，以及该第一位置信息，确定采集位置与该第一位置信息的距离小于预设距离的俯视图，返回该无人机。则该无人机可将接收到的其他无人机返回的俯视图，作为第二俯视图。其中，预设距离可根据需要设置，本说明书对此不做限制。
108.如图5所示，假设无人机x沿飞行路径n飞行，无人机y沿飞行路径m飞行。若无人机x飞行至位置点r0附近需要进行降落，则该无人机x可在沿飞行路径n飞行过程中，在位置点r0采集的包含范围r0’的俯视图作为第二俯视图，以进一步确定可供降落的环境区域，当然，该无人机x也可接收无人机y沿飞行路径m飞行过程中，在位置点r1和位置点r2采集到的包含范围r1’和包含范围r2’的俯视图作为第二俯视图，以进一步从第二俯视图中确定可供降落的环境区域进行降落。其中，无人机y向无人机x发送的俯视图可以是该无人机y当前飞行过程中采集的，也可以是无人机y历史飞行过程中采集的。
109.当然，在步骤s100中，该无人机在根据第二俯视图确定各环境区域时，也可针对自身采集的每个俯视图，根据该第一位置信息与该俯视图的采集位置的距离，确定距离小于
预设距离的俯视图，作为第二俯视图。
110.另外，在本说明书中，由于可供无人机降落的环境区域较多，而无人机降落在空地上比降落在水域上更安全，为了减少无人机降落带来的安全隐患，可将不同区域类型的环境区域进行优先级的划分，以使无人机在降落过程中优先选择优先级高的环境区域进行降落，例如：无人机可优先降落在空地上，以减少降落在水域中对无人机自身的损环。
111.因此在上述步骤s100中根据该第二俯视图，确定第二俯视图可供降落的各环境区域时，还可通过语义分割算法确定该第二俯视图中各环境区域的区域类型，以便根据各环境区域的区域类型，按照区域类型优先级顺序，从若干环境区域中选择一个环境区域进行降落。
112.进一步地，在上述步骤s104中确定从各飞行路径中确定目标路径时，可根据各环境区域的优先级，选择优先级别较高的环境区域对应的飞行路径。具体的，首先可根据预设的区域类型的优先级顺序以及各环境区域配置的区域类型，从各环境区域中确定优先级最高的环境区域作为待处理的环境区域，之后根据该待处理的环境区域对应的飞行路径的耗电，判断是否存在耗电小于该无人机的剩余电量的飞行路径，若是，则根据各飞行路径的耗电以及耗时，从该待处理的环境区域对应的耗电小于该无人机的剩余电量的飞行路径中确定目标路径，若否，则根据区域类型的优先级顺序，重新从各环境区域中确定下一优先级的环境区域作为待处理的环境区域，直至确定目标路径为止。
113.更进一步地，在从若干环境区域中选择一个环境区域时也可按照各环境区域的地理性质进行选择。具体的，可根据各环境区域的地理性质，地理性质至少包括该环境区域的行人密集程度，是否临近马路、是否处于危险区域等区域性质，确定一个行人密集程度小于第一预设阈值，不临近马路、不处于危险区域的环境区域作为待处理的环境区域，进而确定目标路径。其中，行人密集程度可根据环境区域当前的行人数量确定，也可根据环境区域历史上一段时间内的平均行人数量确定，第一预设阈值也可根据需要设置，本说明书不做限制。
114.或者，在确定目标路径时，也可根据各待处理的环境区域的地理性质、无人机飞行至各待处理的环境区域的耗电以及耗时，综合考虑各种因素确定目标路径。
115.此外，在本说明书步骤s100中，也可采用下述方法确定各环境区域。具体的，无人机可先通过自身配置的激光雷达设备，确定无人机飞行区域下方的各三维空间点的点云信息，之后根据采集到的各三维空间点的点云信息，通过预先训练的分类模型，确定各三维空间点的区域类型，最后根据各三维空间点的位置信息，将位置临近且区域类型相同的三维空间点进行连通，确定若干连通域，针对每个连通域，将该连通域对应在地面的区域，作为一个环境区域，该连通域对应的区域类型为该环境区域对应的区域类型，并根据该连通域中各三维空间点的点云信息，确定该环境区域的第二位置信息。
116.其中，在训练分类模型时，可预先通过倾斜摄影以及激光点云确定若干融合图像信息与点云信息的融合图像，之后通过图像语义分割算法确定该融合图像中的各区域的区域类型，以及各区域的点云信息，并将确定出的各区域的区域类型以及各区域的点云信息作为标签，训练分类模型。需要说明的是，基于倾斜摄影以及激光点云已经是较为成熟的现有技术，确定激光点云中各三维空间点的语义信息也常用于无人机定位过程中，本说明书对此不再详细阐述。
117.此外，在步骤s110中根据降落位置确定无人机的下降轨迹时，由于空地、草坪、水面等区域都属于可降落的区域，但是降落在空地相比降落在水面对无人机来说更加安全，不易造成设备损坏，因此还可通过图像分割算法对该第一俯视图中的降落区域进行语义划分，确定各降落子区域以及各降落子区域的区域类型。之后根据各降落子区域的区域类型，按照预设的区域类型的优先级顺序，确定最近采集的第一俯视图中对应优先级最高的降落子区域作为待降落子区域。最后根据各障碍物的位置以及运动轨迹，判断在待降落子区域中是否存在可以避开障碍物的降落位置，若是，则确定最近的降落位置或面积最大的降落位置进行降落，并根据确定出的降落位置，确定该无人机的下降轨迹，以避开障碍物进行降落，若否，则重新确定该第一俯视图中下一优先级的降落子区域作为待降落子区域，直至确定出下降轨迹为止。
118.如图3所示，假设区域类型的优先级顺序为空地、草坪和水域，针对图3中左边的第一俯视图，可通过图像分割算法确定该第一俯视图中降落区域的各降落子区域以及各降落子区域的区域类型，如图3中右图所示，分别用不同颜色标注出不同区域类型。之后根据各降落子区域的区域类型，按照预设的区域类型的优先级，确定该最近采集的图3中空地区域作为待降落子区域。之后通过图像识别算法识别出各障碍物，如图4中用圆形以及长方形标注出的行人、木棍等。最后判断该空地区域中是否存在可以避开障碍物的降落位置，若避开障碍物的剩余空地的面积大于无人机的最小停放面积，则确定该空地的质心位置为降落位置，确定该无人机的下降轨迹，以避开障碍物进行降落，若剩余空地的面积小于无人机的最小停放面积，则可确定图3中下一优先级的草坪区域为待降落子区域，进一步判断避开障碍物的剩余草坪的面积是否大于无人机的最小停放面积，直至确定出下降轨迹为止。
119.在本说明书中，在确定目标路径时可按照各环境区域的区域类型优先级顺序确定目标区域，并确定该目标区域对应的飞行路径作为目标路径。在确定下降轨迹时，也可在按照区域类型的优先级顺序确定降落子区域，进而确定降落至该降落子区域的下降轨迹。本说明书对这两种按照区域类型优先级进行路径规划的方法可任意组合，可不按照区域类型优先级确定目标路径，也不按照区域类型优先级确定下降轨迹。或可按照区域类型优先级确定目标路径，而不按照区域类型优先级确定下降轨迹。也可按照区域类型优先级确定下降轨迹，而不按照区域类型优先级确定目标路径。又或者按照区域类型优先级确定下降轨迹，同时按照区域类型优先级确定目标路径。
120.需要说明的是，各环境区域的区域类型可与各降落子区域的区域类型相同，例如均为空地、草坪、水域等区域类型。当然也可以不同，例如：各环境区域的区域类型可划分为平地和水域，各降落子区域的区域类型可划分为空地、草坪和水域，即可先确定飞行至平地，再降落至低空时进一步确定降落至空地。同理，各区域类型的优先级顺序可以相同，也可以不同。
121.另外在本说明书中，为了无人机降落安全，需要选择平坦的区域进行降落，因此无人机在下降过程中还可通过自身配置的双目视觉系统，确定各降落子区域地面的平整度，筛选符合降落条件的降落子区域进行降落。并且，无人机还可根据自身配置的红外传感器采集的红外图像，通过图像处理确定各降落子区域中行人的位置，筛选符合降落条件的降落子区域进行降落。
122.因此在本说明书中通过步骤s106确定出第一俯视图后，无人机还可采用下述降落
方法进行降落。具体的，无人机可先确定该第一俯视图中的各降落子区域、各降落子区域的区域类型以及各降落子区域的面积，之后确定各降落子区域的地面平整度以及各降落子区域中是否存在行人。最后根据预设的降落条件，从各降落子区域中确定符合降落条件的降落子区域进行降落，其中，预设的降落条件包括：降落子区域的面积大于无人机的最小停放面积、降落子区域的地面平整度大于第二预设阈值且降落子区域内不存在行人。需要说明的是，在确定降落区域时，已经将包含静态障碍物的区域排除在降落区域之外，因此降落条件可以仅针对动态障碍物设置，如，降落子区域内不存在行人。
123.其中，在确定该第一俯视图中的各降落子区域、各降落子区域的区域类型以及各降落子区域的面积大小时，首先，无人机可通过第一卷积神经网络(convolutional neural networks,cnn)的卷积层对该第一俯视图进行特征提取，得到该卷积层输出的该第一俯视图对应的特征，以c
×
w
×
h表示。其中，c表示特征提取的通道数量，w表示输出图像的宽度，h表示输出图像的高度。之后由于利用卷积核提取图像特征后图像宽度和高度变小，因此为了在后续过程中更准确地确定各降落子区域的边界，还可通过该第一cnn的反卷积层对该特征提取后的w
×
h图像进行反卷积操作，得到特征升维后的特征c
’×
w
’×
h’。其中，w’大于w，h’大于h，表示该反卷积操作是对输出图像尺寸的扩充。然后，针对该第一cnn的反卷积层输出的w
’×
h’的图像，该w
’×
h’的图像中的每个像素均对应有c’个特征值。针对该图像中的每个像素，将该像素对应的特征值输入预设的第一分类器，以通过该第一分类器，确定该像素属于各区域类型的概率，例如：假设某个像素属于各区域类型的概率为：10％空地、50％草坪以及40％水域。其中，该第一分类器可为softmax分类器，用于确定各像素所属区域类型的概率。其次，根据该像素属于各区域类型的概率，确定该像素的区域类型，例如，根据该像素属于各区域类型概率中的最大概率，确定该像素的区域类型，继续沿用上例，由于该像素属于草坪的概率最大，因此确定该像素的区域类型为草坪。再之后根据各像素在图像中的位置以及各像素的区域类型，将位置临近且区域类型相同的像素进行连通，在该w
’×
h’的图像中得到若干连通域，并确定各连通域对应的区域类型以及各连通域的图像面积大小。最后，针对每个连通域，将该连通域对应在地面的区域，作为一个降落子区域，以及将该连通域对应的区域类型，作为该降落子区域对应的区域类型。其中，进行特征提取时所采用的cnn结构可根据需要设置，本说明书对此不做限定，例如：采用vgg16、resnet18以及densenet中的任一种cnn结构即可。
124.为了进一步判断各降落子区域是否满足降落条件中对降落子区域面积大小的要求，还需确定各降落子区域的实际面积大小。无人机可先确定各降落子区域对应的连通域在该第一俯视图中包含的像素数量(为方便描述，以下简称为各降落子区域对应的像素数量)，以及确定单位像素对应的实际面积。再根据确定出的单位像素对应的实际面积与各降落子区域对应的像素数量，确定各降落子区域的实际面积。针对每个降落子区域，当该降落子区域的实际面积大于无人机的最小停放面积时，可确定该降落子区域满足降落条件中对降落子区域面积大小的要求，为可供无人机降落的降落子区域，否则，该降落子区域不可供无人机降落。
125.具体的，在确定各降落子区域的实际面积时，首先无人机可根据反卷积操作后得到的图像的图像尺寸w
’×
h’以及该第一俯视图的图像尺寸w0
×
h0，确定各连通域在该第一俯视图中对应的位置以及包含的像素数量，之后根据无人机采集该第一俯视图时的对地高
度h、双目视觉系统的水平分辨率p、双目视觉系统的水平视角f以及单位像素的像素宽度r0，通过公式s0＝r0*(2*h*tan(f/2))/p确定单位像素对应在地面上的实际边长s0，再根据确定出的实际边长，确定单位像素对应的实际面积，最后针对每个降落子区域，根据该降落子区域对应的像素数量以及单位像素对应的实际面积，确定该降落子区域的实际面积。
126.或者，也可先根据无人机降落所需的最小停放区域的实际面积、采集第一俯视图时无人机的对地高度以及双目视觉系统的系统参数，确定该最小停放区域对应的图像面积，若确定出的降落子区域对应的图像面积大于该最小停放区域对应的图像面积，则可确定该降落子区域满足降落条件中对降落子区域面积大小的要求，可供无人机降落，否则，该降落子区域的面积大小不满足降落条件。
127.具体的，在确定各降落子区域对应的图像面积时，无人机可先通过自身配置的双目视觉系统确定采集第一俯视图时无人机的对地高度h，再根据确定出的采集该第一俯视图时无人机的对地高度h、双目视觉系统的水平分辨率p、双目视觉系统的水平视角f以及最小停放区域的实际边长s，通过公式r＝p*s/(2*h*tan(f/2))，确定该最小停放区域对应的图像边长r，最后根据确定出的该最小停放区域的图像边长，确定该最小停放区域的图像面积。其中，确定采集第一俯视图时无人机的对地高度h也可通过激光测量确定，本说明书对确定采集第一俯视图时无人机的对地高度的方法不做限定，可根据需要设置。
128.为保证无人机可安全降落，针对每个对应图像面积大于最小停放区域的降落子区域，还需进一步确定该降落子区域中是否至少包含一个r
×
r的最小停放区域，以保证该降落子区域的长度和宽度均满足无人机降落的条件。
129.进一步地，在确定各降落子区域的地面平整度时，首先无人机可确定双目视觉系统采集的第一俯视图的深度图，即包含深度信息的第一俯视图，之后确定该深度图中各降落子区域对应的像素，并根据该无人机配置的双目视觉系统的系统参数、该双目视觉系统输出的各像素对应的视差值、各像素在该第一俯视图中的位置，确定各像素投影在空间坐标系中的空间坐标。然后根据各像素的空间坐标，通过随机抽样一致(random sample consensus，ransac)算法拟合得到各降落子区域对应三维平面，并针对每个降落子区域，确定该降落子区域的各像素的空间坐标距离该三维平面的均方误差，以及确定该三维平面中内点占比。最后根据确定出的均方误差以及内点占比，确定各降落子区域的地面平整度，以确定符合降落条件的降落子区域进行降落。其中，当确定出的均方误差小于第三预设阈值，且内点占比大于第四预设阈值时，可确定该降落子区域的地面平整度大于第二预设阈值，即该降落子区域的地面平整度符合降落条件，可供无人机降落。否则，无人机不可降落。内点为位于三维平面上的像素，均方误差越小，地面平整度越高，内点占比越大，地面平整度越高。其中，该第二预设阈值、第三预设阈值以及第四预设阈值可根据需要设置，本说明书对此不做限制。
130.需要说明的是，无人机在确定各降落子区域对应连通域中的各像素的空间坐标时，可针对每个降落子区域对应连通域中的每个像素，根据该像素在该第一俯视图中的位置、双目视觉系统输出的该像素对应的视差值以及双目视觉系统的系统参数，通过公式x＝z*(px-pcx)/f、y＝z*(py-pcy)/f、z＝f*b/p确定该像素的空间坐标。其中，(x，y，z)表示像素的空间坐标，p表示双目视觉系统输出的像素对应的视差值，(x，y)表示像素在该第一俯视图中的位置，f表示双目视觉系统的相机焦距，b表示双目视觉系统的双目基线长度，
(pcx，pcy)表示第一俯视图的中心像素的位置坐标，c表示中心像素的位置参数。
131.此外，对于整体地面平整度不满足降落条件的降落子区域，若该降落子区域中存在部分区域地面平整度满足无人机的降落条件，则可确定该部分区域作为无人机在该降落子区域中的降落位置，供无人机降落。具体的，首先无人机可根据无人机的最小停放面积，确定无人机可进行降落的降落位置，该降落位置的面积至少大于无人机的最小停放面积，之后针对每个降落子区域，根据该降落位置的面积，以预设步长遍历该降落子区域，从该降落子区域中确定出若干降落位置，并确定各降落位置的地面平整度，当确定出各降落位置中存在地面平整度满足降落条件的降落位置时，则无人机可选择该降落子区域进行降落，并降落至该降落子区域中地面平整度满足降落条件的降落位置。其中，降落位置的地面平整度确定方法与降落子区域的地面平整度确定方法相同，本说明书对此不再赘述。
132.更进一步地，在确定各降落子区域是否存在行人时。具体的，无人机在采集第一俯视图时，同时通过自身配置的红外传感器采集红外图像，并根据该第一俯视图以及该红外图像，确定第一图像，该第一图像包含第一俯视图中的rgb三个颜色通道以及红外图像共四个通道的图像信息，之后可通过第二cnn的卷积层对该第一图像进行特征提取，得到该第一图像对应的特征c1
×
w1
×
h1，为了更准确地确定行人区域的边界，可通过该第二cnn的反卷积层对该第一图像进行反卷积操作，得到特征c1
’×
w1
’×
h1’，其中，w1’大于w1，h1’大于h1，表示该反卷积操作是对w1
×
h1图像尺寸的扩充。然后根据各像素的特征值c1’，通过预设的第二分类器，确定各像素是否存在行人，将存在行人的各像素输入预先训练的第三cnn模型中，确定各像素对应的行人区域的长度和宽度。最后根据各像素的位置信息以及各像素对应的行人区域的长度和宽度，确定各降落子区域中是否存在行人以及行人的位置信息。其中，该第二分类器可为softmax分类器，用于将各像素按照是否存在行人进行分类。
133.在本说明书中，无人机还可进一步判断符合降落条件的各降落子区域中是否存在区域类型与目标区域一致的降落子区域，以保证无人机降落的安全性。如图6所示，无人机可从第一俯视图确定出的各降落子区域中，确定满足预设的降落条件的降落子区域，即，面积大于无人机的最小停放面积、地面平整度大于第二预设阈值且不存在行人的降落子区域。对于满足预设的降落条件的降落子区域，还可进一步判断是否存在区域类型与目标区域一致的降落子区域，若存在，则可从区域类型一致的各降落子区域中选择一个降落子区域进行降落，否则，可按照区域类型的优先级顺序，确定降落子区域进行降落。若该第一俯视图中的各降落子区域均不满足降落条件，则无人机可飞回第二预设高度，重新确定目标区域以及各降落子区域。
134.此外，本说明书中对上述各降落条件判断的顺序不做限制，各降落条件也可根据需要设置。当然，在本说明书步骤s106中，无人机在降落过程中也可不连续采集第一俯视图，仅根据在第一预设高度采集的第一俯视图，确定符合降落条件的降落子区域进行降落。
135.本说明书实施例还对应提供一种无人机降落装置的结构示意图，如图7所示。
136.图7为本说明书实施例提供的一种无人机降落装置的结构示意图，所述装置包括：
137.位置信息确定模块200，其配置用于无人机确定自身所在位置的第一位置信息以及各环境区域的第二位置信息；
138.飞行路径确定模块202，其配置用于根据确定出的第一位置信息以及确定出的第二位置信息，进行飞行路径规划，分别确定所述无人机飞行至各环境区域的飞行路径；
139.目标路径确定模块204，其配置用于根据确定出的各飞行路径，确定目标路径，并将所述目标路径对应的环境区域作为目标区域；
140.采集模块206，其配置用于沿所述目标路径飞行，当移动至所述目标区域上空时，进行降落并在下降过程中连续采集各第一俯视图；
141.障碍物确定模块208，其配置用于针对每个第一俯视图，确定该第一俯视图中的降落区域以及障碍物；
142.降落模块210，其配置用于根据确定出的各第一俯视图中的障碍物，确定所述降落区域内障碍物的位置以及运动轨迹，并根据所述障碍物的位置以及运动轨迹，确定所述无人机的下降轨迹，以避开障碍物进行降落。
143.可选地，所述位置信息确定模块200具体用于，确定所述无人机在飞行过程中采集的第二俯视图，并确定所述第二俯视图中的各环境区域。
144.可选地，所述环境区域至少包括空地区域、草坪区域以及水域区域中的至少一种，所述第二位置信息为所述环境区域质心位置的位置信息，所述飞行路径确定模块202具体用于，针对每个环境区域，以所述第一位置信息为起点，以该环境区域的质心位置信息为终点，根据电子地图中的各障碍物的障碍物信息，进行飞行路径规划，确定所述无人机飞行至该环境区域的飞行路径。
145.可选地，飞行环境信息至少包括风速以及气压，所述飞行路径确定模块202具体用于，根据所述无人机自身的速度、加速度、所述飞行环境信息以及电子地图中的各障碍物的障碍物信息，进行飞行路径规划。
146.可选地，所述目标路径确定模块204具体用于，确定所述无人机沿各飞行路径飞行的耗电以及耗时，根据所述无人机沿各飞行路径飞行的耗电以及耗时，确定各飞行路径的得分，根据确定出的各飞行路径的得分，从各飞行路径中确定得分最高的路径作为目标路径，其中，所述无人机沿飞行路径飞行耗电越少得分越高，耗时越少得分越高。
147.可选地，所述状态信息至少包括所述无人机的速度、加速度以及电池性能参数，所述目标路径确定模块204具体用于，确定所述无人机飞行过程中的飞行环境信息，其中，所述飞行环境信息至少包括风速以及气压，针对确定出的每个飞行路径，根据所述飞行环境信息以及所述无人机自身状态信息中的速度、加速度，确定所述无人机沿该飞行路径飞行的耗时；并根据所述飞行环境信息以及所述无人机自身状态信息中的电池性能参数，确定所述无人机沿该飞行路径飞行的耗电。
148.可选地，所述环境区域配置有区域类型，且不同区域类型的优先级不同，所述目标路径确定模块204具体用于，根据预设的区域类型的优先级顺序以及各环境区域配置的区域类型，从各环境区域中确定待处理的环境区域，根据确定出的待处理的环境区域对应的飞行路径的耗电，判断是否存在耗电小于所述无人机的剩余电量的飞行路径，若是，则根据各飞行路径的耗电以及耗时，从所述待处理的环境区域对应的耗电小于所述无人机的剩余电量的飞行路径中确定目标路径，若否，则根据区域类型的优先级顺序，重新从各环境区域中确定待处理的环境区域，直至确定目标路径为止。
149.可选地，所述采集模块206具体用于，当所述无人机沿所述目标路径移动至所述目标区域的质心位置上空时，降落至第一预设高度，从所述第一预设高度下降过程中开始连续采集包含所述目标区域的第一俯视图。
150.可选地，所述降落模块210具体用于，根据所述障碍物的位置以及运动轨迹，判断最近采集的第一俯视图中的降落区域中是否存在可以避开障碍物的降落位置，若是，则根据确定出的降落位置，更新所述无人机的下降轨迹，以避开障碍物进行降落，若否，则上升至第二预设高度，重新确定目标区域，其中，所述第二预设高度高于所述第一预设高度。
151.可选地，所述降落模块210具体用于，通过图像分割算法确定所述降落区域中的各降落子区域以及各降落子区域的区域类型，根据各降落子区域的区域类型，按照预设的区域类型的优先级顺序，从各降落子区域中确定待降落子区域，根据所述障碍物的位置以及运动轨迹，判断所述待降落子区域中是否存在可以避开障碍物的降落位置，若是，则确定最近的降落位置，并根据确定出的最近的降落位置，确定所述无人机的下降轨迹，以避开障碍物进行降落，若否，则按照预设的区域类型的优先级顺序，重新确定待降落子区域，直至确定出下降轨迹为止。
152.本说明书实施例还提供了一种计算机可读存储介质，该存储介质存储有计算机程序，计算机程序可用于执行上述图1提供的无人机降落方法。
153.基于图1所示的无人机降落方法，本说明书实施例还提出了图8所示的无人机的示意结构图。如图8，在硬件层面，该无人机包括处理器、内部总线、网络接口、内存以及非易失性存储器，当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，以实现上述图1所示的无人机降落方法。
154.当然，除了软件实现方式之外，本说明书并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
155.在20世纪90年代，对于一个技术的改进可以很明显地区分是硬件上的改进(例如，对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而，随着技术的发展，当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此，不能说一个方法流程的改进就不能用硬件实体模块来实现。例如，可编程逻辑器件(programmable logic device,pld)(例如现场可编程门阵列(field programmable gate array，fpga))就是这样一种集成电路，其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字系统“集成”在一片pld上，而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且，如今，取代手工地制作集成电路芯片，这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现，它与程序开发撰写时所用的软件编译器相类似，而要编译之前的原始代码也得用特定的编程语言来撰写，此称之为硬件描述语言(hardware description language，hdl)，而hdl也并非仅有一种，而是有许多种，如abel(advanced boolean expression language)、ahdl(altera hardware description language)、confluence、cupl(cornell university programming language)、hdcal、jhdl(java hardware description language)、lava、lola、myhdl、palasm、rhdl(ruby hardware description language)等，目前最普遍使用的是vhdl(very-high-speed integrated circuit hardware description language)与verilog。本领域技术人员也应该清楚，只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中，就可以很容易得到实现该逻辑方法流程的硬件电路。
156.控制器可以按任何适当的方式实现，例如，控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(application specific integrated circuit，asic)、可编程逻辑控制器和嵌入微控制器的形式，控制器的例子包括但不限于以下微控制器：arc 625d、atmel at91sam、microchip pic18f26k20以及silicone labs c8051f320，存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
157.上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
158.为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
159.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
160.本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
161.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
162.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
163.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
164.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
165.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
166.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
167.本领域技术人员应明白，本说明书的实施例可提供为方法、系统或计算机程序产品。因此，本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
168.本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
169.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
170.以上所述仅为本说明书的实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。