一种快速目标检测定位方法、装置及无人机系统与流程

1.本发明属于目标检测与图像识别技术领域，具体涉及无人机平台的目标检测技术，尤其是涉及一种快速目标检测定位方法、装置及无人机系统。


背景技术：

2.无人机具有体积小、质量轻、灵活度高等特点，已经在军事、反恐、农业、野生动物保护等各领域得到了广泛的应用。完全自主的无人机系统不需要人类操作员的实时控制，已经成为了无人机系统研究的重要方向。
3.无人机系统在进行任务时，通常会获取整个场景的图像，然后再通过点云或双目视觉技术实现场景重建，最后根据重建的场景完成目标识别、动作执行等任务。例如，cn114359707a公开了一种适用于无人机系统的障碍物识别方法，通过无人机拍摄的图像获取场景的稠密点云，再进行障碍物识别。然而该过程速度慢、资源消耗大(机载电脑的计算资源和电池电量资源)，限制了无人机的应用。此外，cn113569766a公开了一种面向无人机巡逻的行人异常行为检测方法，该方法使用时空图卷积架构来描述人类骨架图随时间的变化信息，进而预测未来帧内人类骨架特征。该方法在城市道路等简单环境下具有一定优势，但在复杂环境下，难以获得完整的人类骨架信息。
4.因此，已有方案要么对检测对象的完整性要求较高，例如需要获取完整的人体骨架信息才能确定目标的姿态信息，使得方案在复杂环境下难以实现，要么需要使用点云等技术来获取对象的位姿信息，计算过程缓慢，无法满足实时性要求。


技术实现要素：

5.本发明公开了一种快速目标检测定位方法、装置及无人机系统，旨在解决目前无人机系统在执行任务过程中目标检测定位过程缓慢，无法满足实时性要求，以及资源消耗大，影响无人机续航等问题。
6.根据本发明的第1方面，公开了一种目标检测定位方法，该方法包括：
7.获取预定场景的二维场景图像以及场景深度信息；
8.使用目标检测模型处理所述场景图像以识别目标及所述目标的关键特征；
9.求解所述目标的目标信息以及所述关键特征的关键特征信息；
10.根据所述目标信息及所述关键特征信息，使用目标空间映射模型得到所述目标的空间三维姿态信息；
11.根据所述场景深度信息求解所述目标及所述关键特征相对于无人机的深度信息；
12.根据所述空间三维姿态信息及所述目标及其关键特征相对于无人机的深度信息求解所述目标相对于无人机的空间位姿信息。
13.在一些示例中，所述目标信息包括目标的中心点、长、宽及长宽均值；所述关键特征信息包括关键特征的中心点、长、宽。
14.在一些示例中，所述目标空间映射模型为基于所述目标信息与其关键特征信息之
前的关系建立的用于表示目标从二维图像到三维姿态的姿态映射模型。
15.在一些示例中，还包括利用两个无人机之间的空间位姿变化矩阵将所述空间位姿信息转换为目标相对于其中一个无人机的空间位姿信息。
16.在一些示例中，还包括利用利用无人机自身的位姿信息，将所述空间位姿信息转换为目标在三维空间内的绝对位姿信息。
17.根据本发明的第2方面，公开了一种目标检测定位装置，该装置包括：
18.数据获取模块，被配置为用于获取预定场景的二维场景图像以及场景深度信息；
19.目标检测模块，被配置为使用目标检测模型处理所述场景图像以识别目标及所述目标的关键特征；
20.第一求解模块，被配置为求解所述目标的目标信息以及所述关键特征的关键特征信息；
21.姿态映射模块，被配置为根据所述目标信息及所述关键特征信息，使用目标空间映射模型得到所述目标的空间三维姿态信息；
22.第二求解模块，被配置为根据所述场景深度信息求解所述目标及所述关键特征相对于无人机的深度信息；
23.定位模块，被配置为根据所述空间三维姿态信息及所述目标及其关键特征相对于无人机的深度信息求解所述目标相对于无人机的空间位姿信息。
24.在一些示例中，所述数据获取模块包括二维图像采集单元以及深度信息采集单元，或者与所述二维图像采集单元以及所述深度信息采集单元连接的数据接口。
25.在一些示例中，所述定位模块利用两个无人机之间的空间位姿变化矩阵将所述空间位姿信息转换为目标相对于其中一个无人机的空间位姿信息。
26.在一些示例中，所述定位模块利用利用无人机自身的位姿信息，将所述空间位姿信息转换为目标在三维空间内的绝对位姿信息。
27.根据本发明的第3方面，一种无人机系统，包括无人机本体、用于获取场景二维图像的图像采集单元、用于获取场景深度信息的深度信息采集单元以及根据上述方案中任一项所述的目标检测定位装置。
28.本发明具有计算量小、计算速度快、资源消耗低的优点，能够提高无人机系统的目标识别及定位效率以及无人机的任务续航能力。
29.此外，本发明可适用于机器人抓取、野生动物保护等多个领域，通用性及可扩展性好。
附图说明
30.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：
31.图1为根据本发明实施例的无人机系统组成示意图；
32.图2为根据本发明实施例的目标检测定位方法流程示意图；
33.图3为根据本发明实施例的目标检测定位装置30组成示意图；
34.图4为yolo模型中目标的预测框示意图；
35.图5为本发明实施例1的坐标示意图；
36.图6为本发明实施例2的人体头部检测定位示意图。
具体实施方式
37.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
38.需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
39.图1为根据本发明实施例的无人机系统组成示意图。如图所示，所述无人机系统包括无人机本体10、用于获取场景二维图像的图像采集单元20(例如rgb相机)、用于获取场景深度信息的激光测距仪40以及目标检测定位装置30，所述目标检测定位装置30用于获取所述场景图像以及场景深度信息，以对所述场景中的目标进行检测定位。
40.作为替代的，也可以使用rgbd深度相机同时获取场景的彩色图像和深度图像，从而简化系统结构。
41.图2为根据本发明实施例的目标检测定位方法流程示意图。如图所示，该方法由所述目标检测定位装置30实施，包括如下步骤：
42.步骤201、获取预定场景的场景图像以及场景深度信息；
43.所述目标检测定位装置30获取所述图像采集单元20针对预定场景采集的彩色图像(该彩色图像中包含待检测定位的目标)以及所述激光测距仪40测量得到的所述场景的深度信息。
44.步骤202、使用目标检测模型处理所述场景图像以识别目标及所述目标的关键特征；
45.示例性地，所述目标检测模型采用yolo算法，例如yolo v5算法。yolo算法采用一个单独的cnn模型实现端到端的目标检测，相比r-cnn算法，其是一个统一的框架，速度更快。与yolo系列1-4不同的是，yolo v5采用跨领域网格，并在不同输出层匹配，极大的扩增了正样本anchor，加速模型收敛速度并提高模型召回率。
46.可以理解，所述目标检测模型是经过训练的模型，其训练过程例如包括如下步骤：
47.1)根据无人机任务需求，采集目标对象的图像，构建数据集；
48.必要地，对所述数据集中的图像进行清洗整理，去除不适合的图像，以提高模型训练的准确性和可靠性。
49.2)使用标注工具，对数据集中的每张图像进行目标及其关键特征标注；
50.其中，所述关键特征为所述目标的一个或多个特征，且所述特征是所述目标的全部特征中最能表示目标特点的特征。可以理解，不同的目标，其关键特征不同。例如，苹果的关键特征可以是果梗特征、花萼特征。人体头部的关键特征可以是人脸特征、五官特征等。此外，根据无人机任务的不同目的，针对同一类目标，选择的关键特征也可能不同。
51.3)将数据集分为训练集和测试集，并选择合适的目标检测模型，例如yolo模型进行训练，获得训练好的目标检测模型。
52.基于yolo算法的目标检测模型具有速度较快、精度较高的特点，能够满足实时性要求。
53.步骤203、求解所述目标的目标信息以及所述关键特征的关键特征信息；
54.根据所述目标检测模型输出的目标信息，可求解出目标的中心点、长、宽及长宽均值等信息。由于针对不同的对象，所需要的参数可能存在不同。以类球形水果为例，在求解过程中将其简化为球形模型时，则目标检测模型输出的矩形框的长和宽实际上就是水果直径在水平和竖直方向上的值，因此计算长宽均值可以获得更准确的水果直径参数。
55.根据所述目标检测模型输出的关键特征信息，可求解出目标关键特征的中心点、长、宽等信息。
56.上述求解的具体过程可以通过常规方法实现，并非本发明的关注点，在此不再赘述。
57.步骤204、根据所述目标信息及所述关键特征信息，使用目标空间映射模型得到所述目标的空间三维姿态信息；
58.示例性地，本发明采用基于专家知识的目标空间映射模型。根据无人机任务的目标对象，分析目标信息(包括长、宽、长宽均值、目标中心点等)与其关键特征信息(长、宽、中心点等)之间的关系，从而建立目标从二维图案到三维姿态的姿态映射模型。该姿态映射模型例如可以是映射表，该映射表用于表示目标从二维图案到三维姿态的姿态映射关系。
59.因此，在得到所述目标信息及所述关键特征信息，利用所述目标空间映射模型可以得到所述目标的空间三维姿态信息。
60.步骤205、根据所述场景深度信息求解所述目标及所述关键特征相对于无人机的深度信息；
61.根据所述目标检测模型输出的目标及其关键特征所在的区域信息以及所述激光测距仪40得到的场景深度信息，求解出目标及其关键特征相对于无人机的深度信息。
62.步骤206、根据所述空间三维姿态信息及所述目标及其关键特征相对于无人机的深度信息求解所述目标相对于无人机的空间位姿信息。
63.若任务由当前无人机执行，则该无人机根据求解得到的所述目标相对于无人机的空间位姿信息执行任务。
64.若任务由集群内的其他无人机执行，则利用当前无人机与任务无人机(即所述其他无人机)之间的空间位姿变化矩阵将所述空间位姿信息转换为目标相对于任务无人机的空间位姿信息。
65.若任务由无人机或无人机集群外的其他系统执行，则利用无人机自身的位姿信息(例如相对于地面站或其他标的物的变换矩阵)，将所述空间位姿信息转换为目标在三维空间内的绝对位姿信息。
66.图3为根据本发明实施例的目标检测定位装置30组成示意图。如图所示，该装置包括：
67.数据获取模块301，与所述图像采集单元20以及所述激光测距仪40连接，被配置为用于获取预定场景的场景图像以及场景深度信息。可以理解，该数据获取模块可以是单独的数据接口，或者集成在所述图像采集单元20以及所述激光测距仪40上数据接口。
68.目标检测模块302，被配置为使用目标检测模型处理所述场景图像以识别目标及所述目标的关键特征；
69.示例性地，所述目标检测模型采用yolo算法，例如yolo v5算法。
70.第一求解模块303，被配置为求解所述目标的目标信息以及所述关键特征的关键特征信息；
71.所述第一求解模块303根据所述目标检测模型输出的目标信息，可求解出目标的中心点、长、宽及长宽均值等信息，根据所述目标检测模型输出的关键特征信息，可求解出目标关键特征的中心点、长、宽等信息。
72.姿态映射模块304，被配置为根据所述目标信息及所述关键特征信息，使用目标空间映射模型得到所述目标的空间三维姿态信息；
73.示例性地，本发明采用基于专家知识的目标空间映射模型。该姿态映射模型例如可以是映射表，该映射表用于表示目标从二维图案到三维姿态的姿态映射关系。
74.在得到所述目标信息及所述关键特征信息，所述姿态映射模块304利用所述目标空间映射模型可以得到所述目标的空间三维姿态信息。
75.第二求解模块305，被配置为根据所述场景深度信息求解所述目标及所述关键特征相对于无人机的深度信息；
76.根据所述目标检测模型输出的目标及其关键特征所在的区域信息以及所述激光测距仪40得到的场景深度信息，所述第二求解模块305求解出目标及其关键特征相对于无人机的深度信息。
77.定位模块306，被配置为根据所述空间三维姿态信息及所述目标及其关键特征相对于无人机的深度信息求解所述目标相对于无人机的空间位姿信息。
78.若任务由当前无人机执行，则该无人机根据求解得到的所述目标相对于无人机的空间位姿信息执行任务。
79.若任务由集群内的其他无人机执行，则该定位模块306利用当前无人机与任务无人机(即所述其他无人机)之间的空间位姿变化矩阵将所述空间位姿信息转换为目标相对于任务无人机的空间位姿信息。
80.若任务由无人机或无人机集群外的其他系统执行，则该定位模块306利用无人机自身的位姿信息(例如相对于地面站或其他标的物的变换矩阵)，将所述空间位姿信息转换为目标在三维空间内的绝对位姿信息。
81.本发明通过结合专家先验知识的二维至三维姿态求解方法，能够有效降低计算量、提高计算效率，从而降低无人机系统能源消耗。此外，在军事侦察、军事打击、野生动物保护等方面具备较大的潜力，即无需获取完整的人体、动物图像信息即可求解出目标的空间姿态，由于野外环境下难以获取完整的人体或动物躯体图像，因此在野外复杂环境下尤其适用。
82.以下通过两个具体示例对本发明的技术方案进一步描述。
83.实施例1：
84.以无人机采摘苹果为例，在构建目标检测模型时，目标图像采集主要指采集苹果在果园中的图像，所述的苹果在果园中的图像应该是苹果在自然生长状态下的图像。对所采集的果园中苹果的图像进行整理，去除分辨率低、遮挡过于严重的图像。最后对目标及目标的关键特征进行标注构建数据集，本实施例中标注苹果、果梗和花萼。
85.将上述数据集划分成训练集和测试集，并选用yolo v5目标检测模型进行训练，获得训练好的目标检测模型。
86.分析目标对象特征信息，包括苹果的高度、赤道直径、果梗位置、花萼位置等信息，根据上述苹果的尺寸信息，建立苹果从二维图案到三维姿态的空间映射模型，即得到基于专家知识的姿态映射模型。由于苹果具有较为明显的类球形特征，因此该实施例中将苹果简化为带有特征的球体。
87.在无人机任务执行阶段，使用无人机机载相机获取场景的彩色图像，使用激光测距仪获取场景深度信息，然后将获取的彩色图像用于目标及关键特征识别，再结合专家知识求解目标的空间姿态信息，结合无人机获取的目标及其关键特征信息的深度信息即可恢复出目标相对与无人机的空间姿态信息，最后根据任务需求及执行任务的具体方式不同，将目标相对与无人机的空间姿态信息进行转换，并由对应的执行系统完成对应的任务。
88.在将彩色图输入到目标检测模型中进行目标及其关键特征识别时，可以通过无人机机载计算机订阅相机发布的数据流即可获得场景的图像。
89.图4为yolo模型中目标的预测框示意图。目标识别模型yolo v5对输入的图像进行识别之后会输出目标及关键特征所在区域，即苹果所在区域、果梗及花萼所在区域(有时可能因为苹果姿态原因果梗或花萼中的一个不可见)，并使用类似图4所示的预测框标出。
90.如图5所示，根据识别出的苹果、果梗或花萼区域，建立以苹果为中心的坐标系x’o’y’，原xoy坐标系内的苹果中心坐标为：
[0091][0092][0093]
原xoy坐标系内的果梗中心坐标为：
[0094][0095][0096]
则对应的x’o’y’坐标系下的果梗中心坐标为：
[0097][0098][0099]
苹果的半径为：
[0100][0101]
根据所求得的苹果中心、果梗中心及苹果半径信息即可求解出苹果的空间姿态信息。
[0102]
这里，xoy坐标系可以参考像素坐标系，或者为了便于理解，也可以设定左下角为原点，横轴为x轴，纵轴为y轴。x’o’y’坐标系则以苹果中心作为该坐标系原点，横轴作为x'轴，纵轴作为y'轴。
[0103]
通过识别出来的目标及其关键特征所在区域及所获得的深度信息，获取得到苹果、果梗或花萼相对于无人机的深度信息。最后结合苹果的空间姿态信息和苹果、果梗或花
萼相对于无人机的深度信息即可求解得到苹果相对于无人机的空间位姿信息。
[0104]
实施例2：
[0105]
该实施例以无人机进行人体头部识别与定位为例。
[0106]
在构建数据集时，目标图像采集主要指采集人体头像图片，所采集的人体头像图像应尽可能贴近无人机任务环境，并对所采集的人体头像图像进行整理，去除分辨率低、遮挡过于严重的图像。在进行图像标注时，本实施例中主要指标注头部、眼睛、鼻子、嘴巴、耳朵等特征。
[0107]
将上述数据集划分成训练集和测试集，并选用合适的目标检测模型(如上文所述的yolo v5)进行训练，获得训练好的目标检测模型。
[0108]
构建基于专家知识的姿态映射模型包括分析目标对象特征信息和建立目标对象从二维图案到三维姿态的姿态映射模型。基于目标对象特征信息分析主要指分析人体头部尺寸和中心与眼睛、鼻子、嘴巴、耳朵等之间的空间关系。建立目标对象从二维图案到三维姿态的姿态映射模型主要指根据上述人体头部、眼睛、鼻子、嘴巴、耳朵等的尺寸及位置信息。由于人体头部不具备较好的类球形特征。因此，该环节需要进行一定数量的调研，并总结出规律，进而可用于建立人体头部从二维图案到三维姿态的空间映射模型。
[0109]
在无人机任务执行阶段，使用无人机机载相机获取场景的彩色图像和深度信息，然后将获取的彩色图像用于目标及关键特征识别，然后结合专家知识求解目标的空间姿态信息，结合无人机获取的目标及其关键特征信息的深度信息即可恢复出目标相对与无人机的空间姿态信息，最后根据任务需求及执行任务的具体方式不同，将目标相对与无人机的空间姿态信息进行转换，并由对应的执行系统完成对应的任务。
[0110]
在进行目标及其关键特征识别时，通过无人机机载计算机订阅相机发布的数据流即可获得场景的图像。
[0111]
目标识别模型yolo v5对输入的图像进行识别之后会输出人脸、眼睛、鼻子、嘴巴及耳朵所在区域。
[0112]
如图6所示，根据求得人脸、眼睛、鼻子、嘴巴及耳朵所在区域及各部位中心点位置信息结合人体头部模型的专家知识即可从二维图像中恢复出人体头部三维姿态。
[0113]
在求解目标及其关键特征的深度信息时，通过识别出来的目标及其关键特征所在区域及所获得的深度信息，获取得到人脸、眼睛、鼻子、嘴巴及耳朵等各部位相对于无人机的深度信息。最后，结合人体头部的空间姿态信息和人脸、眼睛、鼻子、嘴巴及耳朵相对于无人机的深度信息即可求解得到人体头部相对于无人机的空间位姿信息。
[0114]
虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明发明构思的情况下，可以对本本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。