无人机避障方法，装置，存储介质及电子设备与流程

1.本公开涉及无人机技术领域，具体地，涉及一种无人机避障方法，装置，存储介质及电子设备。


背景技术：

2.无人机自主避障是指无人机在飞行过程中，自主地、智能地躲避出现在航线上的障碍物，避免发生碰撞造成事故。无人机自主避障为无人机的使用提供了安全保障。
3.目前，无人机自主避障的方式，是采用红外传感器、超声波传感器、毫米波雷达等传感器中的一种或多种传感器来实时感知无人机外部的环境状况，然后根据感知结果执行相应的路径规划，以避开障碍物。


技术实现要素：

4.本公开的目的是提供一种无人机避障方法，装置，存储介质及电子设备，以提供一种新的无人机避障方式。
5.为了实现上述目的，根据本公开实施例的第一部分，提供一种无人机避障方法，所述无人机包括双目摄像机，所述方法包括：
6.通过所述双目摄像机采集图像信息；
7.针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，所述多个距离范围至少包括远距离范围、中距离范围以及近距离范围；
8.在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，以使所述无人机避障飞行。
9.可选地，所述方法还包括：
10.判断所述无人机当前航线上的所述远距离范围内是否存在障碍物；
11.在确定所述无人机当前航线上的所述远距离范围内不存在障碍物时，判断所述无人机当前航线上的所述中距离范围内是否存在障碍物；
12.在确定所述无人机当前航线上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。
13.可选地，所述方法还包括：
14.在确定所述无人机当前航线上的所述远距离范围内存在障碍物时，生成第一临时航线，并重新根据所述双目摄像机采集的图像信息，判断所述第一临时航线上的所述远距离范围内是否存在障碍物；
15.所述方法还包括：
16.在确定所述无人机当前航线上的所述中距离范围内存在障碍物时，生成第二临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第二临时航线上的所述远距离范围、所述中距离范围内是否存在障碍物；
17.所述方法还包括：
18.在确定所述无人机当前航线上的所述近距离范围内存在障碍物时，生成第三临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第三临时航线上的所述远距离范围、所述中距离范围以及所述近距离范围内是否存在障碍物。
19.可选地，所述在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，包括：
20.针对所述远距离范围，根据所述无人机上的双目摄像机采集的图像信息中的彩色图像或灰度图像进行深度学习目标检测，得到表征所述远距离范围内是否存在障碍物的第一检测结果；
21.针对所述中距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成双目视差图，并根据所述双目视差图进行障碍物检测，得到表征所述中距离范围内是否存在障碍物的第二检测结果；
22.针对所述近距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成对应的点云数据，并根据所述点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果。
23.可选地，所述根据所述点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果，包括：
24.根据所述点云数据进行聚类，得到障碍物信息；
25.针对所述点云数据进行概率融合处理生成3d占据栅格图；
26.根据所述障碍物信息和/或所述3d占据栅格图确定所述近距离范围内是否存在障碍物以得到所述第三检测结果。
27.可选地，所述在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，包括：
28.在所述第一检测结果表征所述远距离范围内存在障碍物的情况下，调整所述无人机的偏航角，并根据所述偏航角生成第一临时航线；
29.在所述第二检测结果表征所述中距离范围内存在障碍物的情况下，将无遮挡航点设置为所述无人机的临时目标航点，并根据所述临时目标航点生成第二临时航线；
30.在所述第三检测结果表征所述近距离范围内存在障碍物的情况下，控制所述无人机根据绕障算法进行规划得到第三临时航线。
31.可选地，所述在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，以使所述无人机避障飞行，包括：
32.在调整所述无人机当前航线后，判断调整后的航线对应的目标航点是否为所述无人机的初始目标航点，所述初始目标航点是所述无人机的初始目标地点；
33.若调整后的航线对应的目标航点为所述无人机的所述初始目标航点，则控制所述无人机按照调整后的航线航行；
34.所述方法还包括：若调整后的航线对应的目标航点不为所述无人机的所述初始目标航点，则根据所述无人机当前所在位置以及所述初始目标航点重新规划所述无人机的航线，并返回执行针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理的步骤。
35.根据本公开实施例的第二方面，提供一种无人机避障装置，所述装置包括：
36.采集模块，被配置为用于通过所述无人机上的双目摄像机采集图像信息；
37.判断模块，被配置为用于针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，所述多个距离范围至少包括远距离范围、中距离范围以及近距离范围；
38.调整模块，被配置为用于在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，以使所述无人机避障飞行。
39.可选地，所述装置还包括：
40.第一判断模块，被配置为用于判断所述无人机当前航线上的所述远距离范围内是否存在障碍物；
41.第二判断模块，被配置为用于在确定所述无人机当前航线上的所述远距离范围内不存在障碍物时，判断所述无人机当前航线上的所述中距离范围内是否存在障碍物；
42.第三判断模块，被配置为用于在确定所述无人机当前航线上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。
43.可选地，所述装置还包括：
44.第一生成模块，被配置为用于在确定所述无人机当前航线上的所述远距离范围内存在障碍物时，生成第一临时航线，并重新根据所述双目摄像机采集的图像信息，判断所述第一临时航线上的所述远距离范围内是否存在障碍物；
45.所述装置还包括：
46.第二生成模块，被配置为用于在确定所述无人机当前航线上的所述中距离范围内存在障碍物时，生成第二临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第二临时航线上的所述远距离范围、所述中距离范围内是否存在障碍物；
47.所述装置还包括：
48.第三生成模块，被配置为用于在确定所述无人机当前航线上的所述近距离范围内存在障碍物时，生成第三临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第三临时航线上的所述远距离范围、所述中距离范围以及所述近距离范围内是否存在障碍物。
49.可选地，所述判断模块包括：
50.第一判断子模块，被配置为用于针对所述远距离范围，根据所述无人机上的双目摄像机采集的图像信息中的彩色图像或灰度图像进行深度学习目标检测，得到表征所述远距离范围内是否存在障碍物的第一检测结果；
51.第二判断子模块，被配置为用于针对所述中距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成双目视差图，并根据所述双目视差图进行障碍物检测，得到表征所述中距离范围内是否存在障碍物的第二检测结果；
52.第三判断子模块，被配置为用于针对所述近距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成对应的点云数据，并根据所述点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果。
53.可选地，所述第三判断子模块包括：
54.聚类子模块，被配置为用于根据所述点云数据进行聚类，得到障碍物信息；
55.融合子模块，被配置为用于针对所述点云数据进行概率融合处理生成3d占据栅格图；
56.执行子模块，被配置为用于根据所述障碍物信息和/或所述3d占据栅格图确定所述近距离范围内是否存在障碍物以得到所述第三检测结果。
57.可选地，所述调整模块包括：
58.第一调整子模块，被配置为用于在所述第一检测结果表征所述远距离范围内存在障碍物的情况下，调整所述无人机的偏航角，并根据所述偏航角生成第一临时航线；
59.第二调整子模块，被配置为用于在所述第二检测结果表征所述中距离范围内存在障碍物的情况下，将无遮挡航点设置为所述无人机的临时目标航点，并根据所述临时目标航点生成第二临时航线；
60.第三调整子模块，被配置为用于在所述第三检测结果表征所述近距离范围内存在障碍物的情况下，控制所述无人机根据绕障算法进行规划得到第三临时航线。
61.可选地，所述调整模块还包括：
62.第四判断子模块，被配置为用于在调整所述无人机当前航线后，判断调整后的航线对应的目标航点是否为所述无人机的初始目标航点，所述初始目标航点是所述无人机的初始目标地点；
63.控制子模块，被配置为用于若调整后的航线对应的目标航点为所述无人机的所述初始目标航点，则控制所述无人机按照调整后的航线航行；
64.所述装置还包括：规划模块，被配置为用于若调整后的航线对应的目标航点不为所述无人机的所述初始目标航点，则根据所述无人机当前所在位置以及所述初始目标航点重新规划所述无人机的航线，并返回执行针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理的步骤。
65.根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面任一项所述方法的步骤。
66.根据本公开实施例的第四方面，提供一种电子设备，包括：
67.存储器，其上存储有计算机程序；
68.处理器，用于执行所述存储器中的所述计算机程序，以实现第一方面任一项所述方法的步骤。
69.采用上述技术方案，至少能够达到如下技术效果：
70.通过无人机上的双目摄像机采集图像信息，针对该双目摄像机采集的图像信息，在该无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，多个距离范围至少包括远距离范围、中距离范围以及近距离范围；在确定任一距离范围内存在障碍物时，调整无人机当前航线，以使无人机避障飞行。采用这种方式，无需无人机配置红外传感器、超声波传感器、毫米波雷达传感器等，仅通过无人机上的双目摄像机便可以实现无人机自主避障。此外，这种方式，根据双目摄像机采集的图像信息，分别针对远距离范围、中距离范围以及近距离范围采用不同的障碍物感知策略进行感知，可以得到符合对应距离范围内的障碍物感知粒度的感知结果。例
如，针对远距离范围内的障碍物，由于摄像机拍摄得到的图像较为粗糙，加之远距离范围内的障碍物离无人机距离较远，安全隐患较低，因此，可以对无人机航线上的远距离范围内的障碍物进行粗粒度的感知，而对障碍物进行粗粒度感知的计算速度快。这样，可以提高针对远距离范围内的障碍物的感知效率。再例如，针对近距离范围内的障碍物，由于近距离范围内的障碍物离无人机距离较近，对无人机的安全影响较大，因此可以对无人机航线上的近距离范围内的障碍物进行细粒度的感知，以保障无人机安全航行，从而提高无人机的安全性。可见采用这种方式，既能够提高无人机的障碍物感知效率，还能保障无人机的安全性。
71.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
72.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
73.图1是根据本公开一示例性实施例示出的一种无人机避障方法的流程图。
74.图2是根据本公开一示例性实施例示出的一种针对多个距离范围进行障碍物检测的顺序流程图。
75.图3是根据本公开一示例性实施例示出的另一种无人机避障方法的流程图。
76.图4是根据本公开一示例性实施例示出的一种无人机避障装置的框图。
77.图5是根据本公开一示例性实施例示出的一种电子设备的框图。
78.图6是根据本公开一示例性实施例示出的另一种电子设备的框图。
具体实施方式
79.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
80.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
81.图1是根据本公开一示例性实施例示出的一种无人机避障方法的流程图，应用于具有双目摄像机的无人机，如图1所示，该方法包括：
82.s11、通过所述双目摄像机采集图像信息。
83.s12、针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，所述多个距离范围至少包括远距离范围、中距离范围以及近距离范围。
84.在本公开中，多个距离范围是指三个及三个以上的不同距离范围，其中任意两个距离范围之间可以存在交集，且优选的任意两个距离范围之间不存在包含关系。示例地，多个距离范围可以是：0.1～20米、10～80米、50～300米。再示例地，多个距离范围还可以是：0.1～20米、21～50米、51～100米。再示例地，多个距离范围还可以是：0.1～20米、10～80米、50～300米、100～500米。
85.在一种可能的实施方式中，多个距离范围可以是远距离范围、中距离范围以及近
距离范围。其中，需说明的是，远距离范围的上限值大于中距离范围的上限值，中距离范围的上限值大于近距离范围的上限值，且远距离范围、中距离范围和近距离范围的范围总和为双目摄像机的拍摄范围。示例地，若双目摄像机的拍摄范围为0.1～300米，那么远距离范围可以为50～300米，中距离范围可以为10～80米，近距离范围可以为0.1～20米。
86.需说明的是，由于摄像机型号不同，因此其参数性能可能不同。一种可能的情况，质量较差的摄像机，其能拍摄的最远距离范围可能与质量较好的摄像机能够拍摄的中等距离范围重叠，因此，本领域的技术人员可以根据本发明提供的思路、结合摄像机的参数性能，灵活调整远距离范围、中距离范围、近距离范围的范围值。
87.不难理解的是，利用摄像机对障碍物进行拍摄时，障碍物离该摄像机越远，拍摄结果的清晰度越低。也即是说，针对远距离范围内的障碍物，摄像机拍摄得到的图像较为粗糙。针对中距离范围内的障碍物，摄像机拍摄得到的图像较为清晰。针对近距离范围内的障碍物，摄像机拍摄得到的图像较为精细。另外，本领域技术人员应当理解的是，离无人机越远的障碍物对无人机的安全影响越小。因此，一种可实现的实施方式，针对不同距离范围进行不同粒度的障碍物检测，可以在保障无人机安全性的基础之上，提高无人机航线上的障碍物检测效率。
88.具体地，根据双目摄像机采集的图像信息，针对无人机当前航线上的多个距离范围分别采用互不相同的障碍物感知策略进行障碍物检测，以分别确定各个距离范围内是否存在障碍物。详细地，针对远距离范围，采用与中距离范围和近距离范围不相同的粗粒度障碍物感知策略进行障碍物检测。针对中距离范围，采用与远距离范围和近距离范围不相同的细粒度障碍物感知策略进行障碍物检测。针对近距离范围，采用与远距离范围和中距离范围不相同的精细化障碍物感知策略进行障碍物检测。这样，通过分别判断各个距离范围内是否存在障碍物，可以得到符合对应距离范围内的障碍物感知粒度的感知结果。
89.s13、在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，以使所述无人机避障飞行。
90.一种可实现的实施方式，在确定远距离范围内存在障碍物时，对无人机的当前航线进行粗粒度的调整，以尽可能避开远距离范围内的障碍物。这样，针对远距离范围内的障碍物，在早期执行避障策略之后，可以提高该无人机整体航线的通过性。
91.另一种可实现的实施方式，在确定中距离范围内存在障碍物时，对无人机的当前航线进行较细粒度的调整，以尽量避开中距离范围内的障碍物。这样，在无人机快速飞行到上述中距离范围的位置时，可以降低无人机与障碍物发生碰撞的可能性。
92.再一种可实现的实施方式，在确定近距离范围内存在障碍物时，对无人机的当前航线进行精细化的调整，以完全避开近距离范围内的障碍物，保障无人机的安全。
93.采用这种方式，通过无人机上的双目摄像机采集图像信息，针对该双目摄像机采集的图像信息，在该无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，多个距离范围至少包括远距离范围、中距离范围以及近距离范围；在确定任一距离范围内存在障碍物时，调整无人机当前航线，以使无人机避障飞行。采用这种方式，无需无人机配置红外传感器、超声波传感器、毫米波雷达传感器等，仅通过无人机上的双目摄像机便可以实现无人机自主避障。此外，这种方式，根据双目摄像机采集的图像信息，分别针对远距离范围、中距离范围以及近距离范围采
用不同的障碍物感知策略进行感知，可以得到符合对应距离范围内的障碍物感知粒度的感知结果。例如，针对远距离范围内的障碍物，由于摄像机拍摄得到的图像较为粗糙，加之远距离范围内的障碍物离无人机距离较远，安全隐患较低，因此，可以对无人机航线上的远距离范围内的障碍物进行粗粒度的感知，而对障碍物进行粗粒度感知的计算速度快。这样，可以提高针对远距离范围内的障碍物的感知效率。再例如，针对近距离范围内的障碍物，由于近距离范围内的障碍物离无人机距离较近，对无人机的安全影响较大，因此可以对无人机航线上的近距离范围内的障碍物进行细粒度的感知，以保障无人机安全航行，从而提高无人机的安全性。可见采用这种方式，既能够提高无人机的障碍物感知效率，还能保障无人机的安全性。
94.一种可能的实施方式，针对无人机当前航线上的远距离范围、中距离范围以及近距离范围进行障碍物检测时，可以采用如图2所示的步骤进行检测：
95.s21、判断所述无人机当前航线上的所述远距离范围内是否存在障碍物；
96.s22、在确定所述无人机当前航线上的所述远距离范围内不存在障碍物时，判断所述无人机当前航线上的所述中距离范围内是否存在障碍物；
97.s23、在确定所述无人机当前航线上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。
98.具体地，首先判断无人机当前航线上的远距离范围内是否存在障碍物，在确定无人机当前航线上的远距离范围内不存在障碍物时，才进一步地判断无人机此时的航线上的中距离范围内是否存在障碍物。再进一步，在确定无人机当前航线上的中距离范围内不存在障碍物时，才判断无人机此时的航线上近距离范围内是否存在障碍物。
99.采用这种方式，针对远距离范围、中距离范围以及近距离范围进行的有序判断，即根据无人机的双目摄像机采集的图像信息，依次判断远距离范围，中距离范围以及近距离范围内是否存在障碍物的方式，可以便于对远距离范围内的判断结果、中距离范围内的判断结果以及近距离范围内的判断结果也进行有序的处理。而若分别地、有序地对该三个距离范围内的判断结果进行处理，可以避免同时对三个距离范围内的判断结果进行处理时出现相悖的处理结果的情况，进而可以避免同时出现相悖处理结果导致的安全性问题。
100.一种可能的实施方式，所述无人机避障方法还可以包括以下步骤：
101.在确定所述无人机当前航线上的所述远距离范围内存在障碍物时，生成第一临时航线，并重新根据所述双目摄像机采集的图像信息，判断所述第一临时航线上的所述远距离范围内是否存在障碍物。
102.具体地，在确定无人机当前航线上的远距离范围内存在障碍物时，生成第一临时航线，然后重新根据双目摄像机采集的图像信息，判断该第一临时航线上的远距离范围内是否存在障碍物，若该第一临时航线上的远距离范围内仍然存在障碍物，则继续生成新的第一临时航线，直到根据双目摄像机采集的图像信息，确定新的第一临时航线上的远距离范围内不存在障碍物。
103.其中，在生成第一临时航线时，无人机根据该第一临时航线进行航行。不难理解的是，无人机根据该第一临时航线进行航行时，该第一临时航线即为无人机的当前航线。
104.采用这种方式，在确定无人机当前航线上的远距离范围内存在障碍物时，生成第一临时航线，然后重新根据双目摄像机采集的图像信息，判断该第一临时航线上的远距离
范围内是否存在障碍物，直到得到远距离范围内不存在障碍物的航线。这样就可以实现在早期对远处的障碍物进行避障，提高无人机航线的整体通过性。
105.一种可实现的实施方式，所述无人机避障方法还可以包括以下步骤：
106.在确定无人机的当前航线上的远距离范围内不存在障碍物的同时或之后，判断无人机当前航线上的中距离范围内是否存在障碍物。并在确定所述无人机当前航线上的所述中距离范围内存在障碍物时，生成第二临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第二临时航线上的所述远距离范围、所述中距离范围内是否存在障碍物。
107.具体地，在确定无人机的当前航线上的远距离范围内不存在障碍物的同时或之后，判断无人机当前航线上的中距离范围内是否存在障碍物。若确定无人机当前航线上的中距离范围内存在障碍物时，生成第二临时航线，并重新根据双目摄像机采集的图像信息，依次判断第二临时航线上的远距离范围、中距离范围内是否存在障碍物。其中，在确定该第二临时航线上的远距离范围内存在障碍物时，执行上述的在确定所述无人机当前航线上的所述远距离范围内存在障碍物时，生成第一临时航线，并重新根据所述双目摄像机采集的图像信息，判断所述第一临时航线上的所述远距离范围内是否存在障碍物的步骤，直到根据双目摄像机采集的图像信息，确定第一临时航线上的远距离范围内不存在障碍物时，判断无人机当前航线(即第一临时航线)上的中距离范围内是否存在障碍物。
108.其中，在生成第二临时航线时，无人机根据该第二临时航线进行航行。不难理解的是，无人机根据该第二临时航线进行航行时，该第二临时航线即为无人机的当前航线。
109.采用这种方式，在确定无人机的当前航线上的远距离范围内不存在障碍物的同时或之后，判断无人机当前航线上的中距离范围内是否存在障碍物。并在确定无人机当前航线上的中距离范围内存在障碍物时，生成第二临时航线，并重新根据双目摄像机采集的图像信息，依次判断第二临时航线上的远距离范围、中距离范围内是否存在障碍物。这样，在确定远距离范围内不存在之后，才进一步确定中距离范围内是否存在障碍物，这种方式，可以避免在同时检测到远距离范围和中距离范围内都存在障碍物而生成两个不同的第一临时航线和第二临时航线导致的安全性问题。此外这种方式，可以得到远距离范围、中距离范围内均不存在障碍物的无人机航线，可以进一步地提高航线的整体通过性。
110.一种可实现的实施方式，所述无人机避障方法还可以包括以下步骤：
111.在确定所述无人机当前航线上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。在确定所述无人机当前航线上的所述近距离范围内存在障碍物时，生成第三临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第三临时航线上的所述远距离范围、所述中距离范围以及所述近距离范围内是否存在障碍物。
112.具体地，在确定所述无人机当前航线上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。若确定无人机当前航线上的近距离范围内存在障碍物时，生成第三临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第三临时航线上的所述远距离范围、所述中距离范围以及所述近距离范围内是否存在障碍物。其中，在确定该第三临时航线上的远距离范围内存在障碍物时，执行上述的在确定所述无人机当前航线上的所述远距离范围内存在
障碍物时，生成第一临时航线，并重新根据所述双目摄像机采集的图像信息，判断所述第一临时航线上的所述远距离范围内是否存在障碍物的步骤，直到根据双目摄像机采集的图像信息，确定第一临时航线上的远距离范围内不存在障碍物时，判断无人机当前航线(即第一临时航线)上的中距离范围内是否存在障碍物。并在确定第一临时航线上的中距离范围内存在障碍物时，执行上述的在确定所述无人机当前航线上的所述中距离范围内存在障碍物时，生成第二临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第二临时航线上的所述远距离范围、所述中距离范围内是否存在障碍物的步骤，直到根据双目摄像机采集的图像信息，确定所述无人机当前航线(即第二临时航线)上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。
113.其中，在生成第三临时航线时，无人机根据该第三临时航线进行航行。不难理解的是，无人机根据该第三临时航线进行航行时，该第三临时航线即为无人机的当前航线。
114.采用这种方式，在确定无人机当前航线上的远距离范围、中距离范围内均不存在障碍物时，判断无人机当前航线上的近距离范围内是否存在障碍物。若确定无人机当前航线上的近距离范围内存在障碍物时，生成第三临时航线，并重新根据双目摄像机采集的图像信息，依次判断第三临时航线上的远距离范围、中距离范围以及近距离范围内是否存在障碍物。这种方式，在确定无人机当前航线上的远距离范围、中距离范围内均不存在障碍物时，进一步地确定近距离范围内是否存在障碍物，通过这种方式可以得到远距离范围、中距离范围、近距离范围内均不存在障碍物的航线，以再进一步提高航线的整体通过性。此处，应当说明的是，提高无人机航线的整体通过性，即是降低航线上的碰撞风险。
115.一种可实现的实施方式中，所述在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，包括：
116.针对所述远距离范围，根据所述无人机上的双目摄像机采集的图像信息中的彩色图像或灰度图像进行深度学习目标检测，得到表征所述远距离范围内是否存在障碍物的第一检测结果。
117.可选地，所述根据所述无人机上的双目摄像机采集的图像信息中的彩色图像或灰度图像进行深度学习目标检测，包括：对所述无人机上的双目摄像机的任一目摄像机采集的彩色图像或灰度图像进行图像分割处理以及语义识别处理。
118.一种实施方式，通过对无人机上的双目摄像机的任一目摄像机采集的一张彩色图像或者灰度图像进行图像分割处理，然后进行语义识别处理。语义识别处理可以确定图像中的各障碍物的种类，根据各障碍物的种类以及各障碍物在该彩色图像或者灰度图像中的尺寸大小可以确定该障碍物与该无人机之间的距离；从而根据各障碍物与无人机之间的距离，可以确定远距离范围内是否存在障碍物，即可以得到表征远距离范围内是否存在障碍物的第一检测结果。
119.需说明的是，虽然根据障碍物的种类以及该障碍物在该彩色图像或者灰度图像中的尺寸大小得到的该障碍物与该无人机之间的距离不是一个精确值，但是，若是针对远距离范围采用这种方式来进行障碍物检测，那么估算得到的障碍物与无人机之间的距离值是否精确并不会影响无人机的避障效果。原因在于，远距离范围内的障碍物离无人机的距离较远，无人机具有足够的时间针对远距离范围内的障碍物进行避障处理。此外还需说明的
是，这种针对远距离范围内的障碍物进行深度学习目标检测的方法，是一种粗粒度的障碍物检测方法，这种方法的计算速度较快。
120.可选地，在所述第一检测结果表征所述远距离范围内存在障碍物的情况下，调整所述无人机的偏航角，并根据所述偏航角生成第一临时航线。
121.其中，通过调整无人机的偏航角以生成第一临时航线的具体实施方式可以是：随机一个方向调整预设角度的偏航角以生成第一临时航线。预设角度的偏航角值根据实际的需求进行设定，例如，在一种可能的情况下可以设置为0.5度。需说明的是，这种调整方式，是一种粗粒度的航线调整方式。
122.在检测到远距离范围内存在障碍物时，通过调整无人机的偏航角，使得距离无人机越远的地方的障碍物，其偏离无人机调整后的航线越远。如此，远距离范围内的障碍物出现在无人机调整后的航线上的概率较小，与无人机发生碰撞的可能性更小。
123.一种可实现的实施方式中，所述在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，还可以包括：
124.针对所述中距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成双目视差图，并根据所述双目视差图进行障碍物检测，得到表征所述中距离范围内是否存在障碍物的第二检测结果。
125.不难理解的是，根据无人机上的双目摄像机采集的图像信息，可以生成双目视差图(binocular disparity map)，然后针对该双目视差图进行障碍物检测，可以得到表征中距离范围内是否存在障碍物的检测结果。其中，针对双目视差图进行的障碍物检测方法，可以采用与相关技术相似的基于视差算法的障碍物标定法。
126.不难理解的是，根据双目视差图可以确定图像的深度信息，进而可以确定图像中的各障碍物与无人机之间的距离，进一步地，可以确定无人机当前航线上的中距离范围内是否存在障碍物，即得到表征所述中距离范围内是否存在障碍物的第二检测结果。
127.采用这种针对双目视差图进行障碍物检测的方式，可以识别出航线上的中距离范围内的障碍物，比如飞鸟、移动的吊塔等等，可见这是一种细粒度的障碍物识别方法。这种利用双目视差图的方式，还有利于识别出远距离范围内未识别出的障碍物，提升无人机自主避障的安全性。
128.可选地，在所述第二检测结果表征所述中距离范围内存在障碍物的情况下，将无遮挡航点设置为所述无人机的临时目标航点，并根据所述临时目标航点生成第二临时航线；
129.当确定所述中距离范围内存在障碍物时，将无遮挡航点设置为所述无人机的临时目标航点。设置无遮挡航点的实施方式可以是，在当前航线的偏航角基础之上，连续向左或者向右偏移预设大小的角度(比如0.5度)，直到无人机的偏航角的沿线在障碍物的边缘位置上(或者直到无人机的偏航角的沿线上不存在该第二距离范围内的该障碍物)，即找到不遮挡航点的偏航角。
130.采用这种方式，在确定中距离范围内存在障碍物时，通过设置无遮挡航点生成第二临时航线，有利于及时避开临时移动到航线上的中距离范围内的障碍物，比如避开飞鸟、移动的吊塔等等。
131.一种可实现的实施方式中，所述在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，还可以包括：
132.针对所述近距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成对应的点云数据，并根据所述点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果。
133.具体地，根据无人机上的双目摄像机采集的图像信息，生成对应的点云数据，并针对该点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果。
134.可选地，所述根据所述点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果，包括：
135.根据所述点云数据进行聚类，得到障碍物信息；针对所述点云数据进行概率融合处理生成3d占据栅格图；根据所述障碍物信息和/或所述3d占据栅格图确定所述近距离范围内是否存在障碍物以得到所述第三检测结果。
136.根据所述点云数据进行聚类，得到障碍物信息，可以是根据双目摄像机采集的单帧点云进行聚类以生成障碍物信息。这种利用点云数据的方式，可以对无人机周围的障碍物信息进行精细化描述。针对点云数据进行概率融合处理生成3d占据栅格图，具体是针对每一点云数据，采用与激光传感器相似的构建方法构建3d占据栅格图。
137.根据障碍物信息和/或所述3d占据栅格图可以确定近距离范围内是否存在障碍物，在具体实施时，可以采用碰撞检测算法对障碍物信息、3d占据栅格图进行检测以得到表征所述近距离范围内是否存在障碍物的第三检测结果。
138.采用这种针对点云数据进行障碍物检测的方式，可以将细小的线缆、临时进入航线的飞鸟、风筝线等障碍物识别出来，从而进行避障处理以提升无人机飞行的安全性。
139.可选地，在所述第三检测结果表征所述近距离范围内存在障碍物的情况下，控制所述无人机根据绕障算法进行规划得到第三临时航线。即根据第三检测结果，在确定近距离范围内存在障碍物时，控制所述无人机根据绕障算法进行规划得到临时航线以准确避开近距离范围内的障碍物。
140.可选地，所述在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，以使所述无人机避障飞行，包括：
141.在调整所述无人机当前航线后，判断调整后的航线对应的目标航点是否为所述无人机的初始目标航点，所述初始目标航点是所述无人机的初始目标地点；若调整后的航线对应的目标航点为所述无人机的所述初始目标航点，则控制所述无人机按照调整后的航线航行；所述方法还包括：若调整后的航线对应的目标航点不为所述无人机的所述初始目标航点，则根据所述无人机当前所在位置以及所述初始目标航点重新规划所述无人机的航线，并返回执行针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理的步骤。
142.不难理解的是，在使用无人机执行任务时，需设置无人机的初始目标地点以使得无人机能够到达执行热内的目标地点，该初始目标地点即上述的初始目标航点。
143.由于采用本公开的上述无人机避障方法，会在判断到无人机当前航线上的任一距
离范围内存在障碍物时，调整无人机的航线，而调整后的无人机航线与无人机的初始航线不相同，可能导致无人机无法到达初始目标地点。因此，在调整所述无人机当前航线后，需要判断调整后的航线对应的目标航点是否为所述无人机的初始目标航点。
144.若调整后的航线对应的目标航点是无人机的初始目标航点，则控制无人机按照调整后的航线航行。若调整后的航线对应的目标航点不为无人机的初始目标航点，则根据无人机当前所在位置以及无人机的初始目标航点重新规划无人机的航线，并返回执行针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理的步骤。
145.采用这种方式，在无人机进行避障之后，还能安全的到达任务地点，完成无人机飞行任务。
146.图3是根据本公开一示例性实施例示出的另一种无人机避障方法的流程图，如图3所示，包括：
147.s31、通过所述双目摄像机采集图像信息；
148.s32、判断所述无人机当前航线上的所述远距离范围内是否存在障碍物；
149.若根据双目摄像机采集的图像信息确定所述无人机当前航线上的所述远距离范围内存在障碍物，则执行s33，若确定所述无人机当前航线上的所述远距离范围内不存在障碍物，则执行s34
150.s33、在确定所述无人机当前航线上的所述远距离范围内存在障碍物时，生成第一临时航线；
151.生成第一临时航线后，重新执行s31。
152.s34、在确定所述无人机当前航线上的所述远距离范围内不存在障碍物时，判断所述无人机当前航线上的所述中距离范围内是否存在障碍物；
153.若确定所述无人机当前航线上的所述中距离范围内存在障碍物，则执行s35，若确定所述无人机当前航线上的所述中距离范围内不存在障碍物，则执行s36；
154.s35、在确定所述无人机当前航线上的所述中距离范围内存在障碍物时，生成第二临时航线；
155.生成第二临时航线后，重新执行s31。
156.s36、在确定所述无人机当前航线上的所述中距离范围内不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物；
157.若确定所述无人机当前航线上的所述近距离范围内存在障碍物，则执行s37，若确定所述无人机当前航线上的所述近距离范围内不存在障碍物，则执行s38。
158.s37、在确定所述无人机当前航线上的所述近距离范围内存在障碍物时，生成第三临时航线；
159.生成第三临时航线，重新执行s31。
160.s38、得到所有距离范围内均不存在障碍物的无人机航线。
161.得到所有距离范围内均不存在障碍物的无人机航线之后，继续执行步骤s31，以实现实时检测该无人机航线上是否存在障碍物。
162.此处值得说明的是，图3示出了多个距离范围为三个距离范围的情况，本公开的方法同样适用于四个以及四个以上的距离范围的情况，对此，本公开不做限定。
163.基于同一发明构思，本公开实施例还提供一种无人机避障装置，如图4所示，该装置400包括：
164.410采集模块，被配置为用于通过所述无人机上的双目摄像机采集图像信息；
165.420判断模块，被配置为用于针对所述双目摄像机采集的所述图像信息，在所述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，所述多个距离范围至少包括远距离范围、中距离范围以及近距离范围；
166.430调整模块，被配置为用于在确定任一所述距离范围内存在障碍物时，调整所述无人机当前航线，以使所述无人机避障飞行。
167.采用这种装置，通过无人机上的双目摄像机采集图像信息，针对该双目摄像机采集的图像信息，在该无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理，以分别判断各个距离范围内是否存在障碍物，其中，多个距离范围至少包括远距离范围、中距离范围以及近距离范围；在确定任一距离范围内存在障碍物时，调整无人机当前航线，以使无人机避障飞行。采用这种方式，无需无人机配置红外传感器、超声波传感器、毫米波雷达传感器等，仅通过无人机上的双目摄像机便可以实现无人机自主避障。此外，这种方式，根据双目摄像机采集的图像信息，分别针对远距离范围、中距离范围以及近距离范围采用不同的障碍物感知策略进行感知，可以得到符合对应距离范围内的障碍物感知粒度的感知结果。例如，针对远距离范围内的障碍物，由于摄像机拍摄得到的图像较为粗糙，加之远距离范围内的障碍物离无人机距离较远，安全隐患较低，因此，可以对无人机航线上的远距离范围内的障碍物进行粗粒度的感知，而粗粒度感知的计算速度快。这样，可以提高针对远距离范围内的障碍物的感知效率。再例如，针对近距离范围内的障碍物，由于近距离范围内的障碍物离无人机距离较近，对无人机的安全影响较大，因此可以对无人机航线上的近距离范围内的障碍物进行细粒度的感知，以保障无人机安全航行，从而提高无人机的安全性。可见采用这种方式，既能够提高无人机的障碍物感知效率，还能保障无人机的安全性。
168.可选地，所述装置还包括：
169.第一判断模块，被配置为用于判断所述无人机当前航线上的所述远距离范围内是否存在障碍物；
170.第二判断模块，被配置为用于在确定所述无人机当前航线上的所述远距离范围内不存在障碍物时，判断所述无人机当前航线上的所述中距离范围内是否存在障碍物；
171.第三判断模块，被配置为用于在确定所述无人机当前航线上的所述远距离范围、所述中距离范围内均不存在障碍物时，判断所述无人机当前航线上的所述近距离范围内是否存在障碍物。
172.可选地，所述装置还包括：
173.第一生成模块，被配置为用于在确定所述无人机当前航线上的所述远距离范围内存在障碍物时，生成第一临时航线，并重新根据所述双目摄像机采集的图像信息，判断所述第一临时航线上的所述远距离范围内是否存在障碍物；
174.所述装置还包括：
175.第二生成模块，被配置为用于在确定所述无人机当前航线上的所述中距离范围内存在障碍物时，生成第二临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断
所述第二临时航线上的所述远距离范围、所述中距离范围内是否存在障碍物；
176.所述装置还包括：
177.第三生成模块，被配置为用于在确定所述无人机当前航线上的所述近距离范围内存在障碍物时，生成第三临时航线，并重新根据所述双目摄像机采集的图像信息，依次判断所述第三临时航线上的所述远距离范围、所述中距离范围以及所述近距离范围内是否存在障碍物。
178.可选地，所述判断模块包括：
179.第一判断子模块，被配置为用于针对所述远距离范围，根据所述无人机上的双目摄像机采集的图像信息中的彩色图像或灰度图像进行深度学习目标检测，得到表征所述远距离范围内是否存在障碍物的第一检测结果；
180.第二判断子模块，被配置为用于针对所述中距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成双目视差图，并根据所述双目视差图进行障碍物检测，得到表征所述中距离范围内是否存在障碍物的第二检测结果；
181.第三判断子模块，被配置为用于针对所述近距离范围，根据所述无人机上的双目摄像机采集的图像信息，生成对应的点云数据，并根据所述点云数据进行障碍物检测，得到表征所述近距离范围内是否存在障碍物的第三检测结果。
182.可选地，所述第三判断子模块包括：
183.聚类子模块，被配置为用于根据所述点云数据进行聚类，得到障碍物信息；
184.融合子模块，被配置为用于针对所述点云数据进行概率融合处理生成3d占据栅格图；
185.执行子模块，被配置为用于根据所述障碍物信息和/或所述3d占据栅格图确定所述近距离范围内是否存在障碍物以得到所述第三检测结果。
186.可选地，所述调整模块包括：
187.第一调整子模块，被配置为用于在所述第一检测结果表征所述远距离范围内存在障碍物的情况下，调整所述无人机的偏航角，并根据所述偏航角生成第一临时航线；
188.第二调整子模块，被配置为用于在所述第二检测结果表征所述中距离范围内存在障碍物的情况下，将无遮挡航点设置为所述无人机的临时目标航点，并根据所述临时目标航点生成第二临时航线；
189.第三调整子模块，被配置为用于在所述第三检测结果表征所述近距离范围内存在障碍物的情况下，控制所述无人机根据绕障算法进行规划得到第三临时航线。
190.可选地，所述调整模块还包括：
191.第四判断子模块，被配置为用于在调整所述无人机当前航线后，判断调整后的航线对应的目标航点是否为所述无人机的初始目标航点，所述初始目标航点是所述无人机的初始目标地点；
192.控制子模块，被配置为用于若调整后的航线对应的目标航点为所述无人机的所述初始目标航点，则控制所述无人机按照调整后的航线航行；
193.所述装置还包括：规划模块，被配置为用于若调整后的航线对应的目标航点不为所述无人机的所述初始目标航点，则根据所述无人机当前所在位置以及所述初始目标航点重新规划所述无人机的航线，并返回执行针对所述双目摄像机采集的所述图像信息，在所
述无人机当前航线上的多个距离范围内采用不同的障碍物感知策略进行处理的步骤。
194.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
195.图5是根据一示例性实施例示出的一种电子设备700的框图。如图5所示，该电子设备700可以包括：处理器701，存储器702。该电子设备700还可以包括多媒体组件703，输入/输出(i/o)接口704，以及通信组件705中的一者或多者。
196.其中，处理器701用于控制该电子设备700的整体操作，以完成上述的无人机避障方法中的全部或部分步骤。存储器702用于存储各种类型的数据以支持在该电子设备700的操作，这些数据例如可以包括用于在该电子设备700上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器702可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件703可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器702或通过通信组件705发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口704为处理器701和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件705用于该电子设备700与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb-iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件705可以包括：wi-fi模块，蓝牙模块，nfc模块等等。
197.在一示例性实施例中，电子设备700可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的无人机避障方法。
198.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的无人机避障方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器702，上述程序指令可由电子设备700的处理器701执行以完成上述的无人机避障方法。
199.图6是根据一示例性实施例示出的一种电子设备1900的框图。例如，电子设备1900可以被提供为一服务器。参照图6，电子设备1900包括处理器1922，其数量可以为一个或多个，以及存储器1932，用于存储可由处理器1922执行的计算机程序。存储器1932中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理器1922可
以被配置为执行该计算机程序，以执行上述的无人机避障方法。
200.另外，电子设备1900还可以包括电源组件1926和通信组件1950，该电源组件1926可以被配置为执行电子设备1900的电源管理，该通信组件1950可以被配置为实现电子设备1900的通信，例如，有线或无线通信。此外，该电子设备1900还可以包括输入/输出(i/o)接口1958。电子设备1900可以操作基于存储在存储器1932的操作系统，例如windows servertm，mac os xtm，unixtm，linuxtm等等。
201.在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的无人机避障方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器1932，上述程序指令可由电子设备1900的处理器1922执行以完成上述的无人机避障方法。
202.在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的无人机避障方法的代码部分。
203.以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
204.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
205.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。