一种无人机集群对空中目标运动状态跟踪方法

1.本发明涉及一种无人机集群对空中目标运动状态跟踪方法，尤其是一种无人机集群对空中集群目标运动状态跟踪方法，属无人机控制技术领域。


背景技术：

2.在无人机集群对抗中，首要任务是发现目标并跟踪目标集群的运动状态，而实现目标运动状态跟踪首先要检测到目标。
3.视觉检测是无人机目标检测的主要检测方式之一，相比于其它检测模式，受到环境制约较小，已被广泛使用。
4.现有视觉目标检测大都是通过地面站或一台主无人机对目标集群进行检测，由于视野限制，此种方式对目标集群中多个运动目标的详细位置检测精度较低，并且受制于地面站或主无人机的观察角度，难以准确对目标集群中多个运动目标的运动状态进行准确跟踪，尤其是目标飞行过程中飞行轨迹交替重叠时，极易出现目标识别跟踪错误，将多个目标识别为同一个目标，或者将同一目标识别为多个目标，或者直接丢失目标的情况，最终造成多个无人机打击同一个目标，而遗漏部分目标，或无人机打击过程混乱，打击效率降低等情况。
5.现有的视觉目标检测，在设计时大都只考虑单个无人机对多目标检测这一情况，采用的神经网络结构较为复杂，对地面站或主无人机的计算性能要求较高，将其直接搭载在普通的无人机机载计算机上时，受制于机载计算机算力影响，会导致检测频率过低，进而导致定位不准，严重影响目标运动状态跟踪结果。
6.由于上述原因，有必要提出了一种针对无人机集群对空中集群目标运动状态跟踪方法，在无人机机载计算机性能较低的情况下，能够对多目标位置进行较为精确的检测，并跟踪目标的运动状态。


技术实现要素：

7.为了克服上述问题，本发明人进行了深入研究，设计出一种无人机集群对空中目标运动状态跟踪方法，包括以下步骤：
8.s1、t帧时刻，多个无人机检测各自视角下的目标位置，多个无人机预测各自视角下t 1帧时刻目标的位置；
9.s2、t 1帧时刻，多个无人机检测各自视角下的目标位置，将检测的目标位置与各自预测的目标位置比对，实现多个无人机各自对目标运动状态的跟踪；
10.s3、多个无人机相互之间对各自跟踪的目标进行标识匹配，使得多个无人机对同一目标的标识相同。
11.进一步地，所述空中目标具有多个，所述运动状态跟踪是指对目标位置的跟踪。
12.进一步地，无人机通过对目标方向持续进行拍摄，获得含有目标的多帧图像，通过图像对目标的运动状态进行跟踪。
13.进一步地，在步骤s1中，所述检测目标位置通过centernet神经网络对无人机拍摄的图像进行检测获得。
14.优选地，在步骤s2中，基于t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵、t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵，采用匈牙利匹配法实现对目标运动状态的跟踪。
15.优选地，在步骤s2中，根据t帧时刻与t 1帧时刻检测目标位置，在像素坐标系下，通过欧式度量方式，计算t帧时刻所有检测目标位置到t 1帧时刻所有预测目标位置之间的欧式距离，获得t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵。
16.优选地，在步骤s2中，根据t 1帧时刻检测到的目标位置和t帧时刻检测到的目标位置，在像素坐标系下，计算t 1帧时刻所有检测目标位置到t帧时刻所有检测目标位置的余弦距离，t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵。
17.优选地，在步骤s2中，比对t 1帧时刻目标的预测位置与该目标在t 1帧时刻的检测位置，确定目标跟踪是否正确。
18.优选地，在步骤s3中，多个无人机之间共享各自跟踪的目标信息，对目标进行标识匹配，所述共享目标信息是指共享当前帧时刻下目标的位置信息。
19.优选地，步骤s3包括以下子步骤：
20.s31、多个无人机将各自跟踪到的目标位置信息从像素坐标系转化到世界坐标系下；
21.s32、获取当前帧时刻下多个无人机共享的目标之间的欧氏距离，获得多视角欧式距离矩阵；
22.s33、根据多视角欧式距离矩阵，通过匈牙利匹配法得到不同无人机视场下当前帧目标群中所有目标间的匹配关系，完成目标标识匹配。
23.本发明所具有的有益效果包括：
24.(1)检测快速、实时、高鲁棒性；
25.(2)利用卡尔曼滤波预测目标下一时刻的位置，提高对目标运动状态跟踪的准确度，提高多个运动目标的检测精度与跟踪效果；
26.(3)利用匈牙利匹配算法实现目标在不同视场下的关联，解决无人机集群时多视场对多目标运动状态跟踪过程中多目标身份匹配混乱的问题，提高无人机集群对多目标的跟踪精度。
附图说明
27.图1示出根据本发明一种优选实施方式的一种无人机集群对空中目标运动状态跟踪方法流程示意图；
28.图2示出根据本发明一种优选实施方式的一种无人机集群对空中目标运动状态跟踪方法中centernet神经网络模型；
29.图3示出根据本发明一种优选实施方式的一种无人机集群对空中目标运动状态跟踪方法中坐标变换关系图；
30.图4示出根据本发明实施例1中模拟实验背景。
具体实施方式
31.下面通过附图和实施例对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
32.在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
33.根据本发明提供的一种无人机集群对空中目标运动状态跟踪方法，如图1所示，包括以下步骤：
34.s1、t帧时刻，多个无人机检测各自视角下的目标位置，多个无人机预测各自视角下t 1帧时刻目标的位置；
35.s2、t 1帧时刻，多个无人机检测各自视角下的目标位置，将检测的目标位置与各自预测的目标位置比对，实现多个无人机各自对目标运动状态的跟踪；
36.s3、多个无人机相互之间对各自跟踪的目标进行标识匹配，使得多个无人机对同一目标的标识相同。
37.进一步地，在本发明中，所述空中目标具有多个，所述运动状态跟踪是指对目标位置的跟踪，无人机通过对目标方向持续进行拍摄，获得含有目标的多帧图像，通过图像对目标的运动状态进行跟踪。
38.在步骤s1中，所述检测目标位置通过centernet目标检测方法获得，具体地，在多个无人机的机载计算机中载入centernet神经网络，通过centernet神经网络检测多个目标的位置。
39.在无人机拍摄的图像中，目标的位置可以通过目标中心位置或目标的边界框位置表示，在一个优选的实施方式中，目标位置通过目标的中心位置表示。
40.centernet神经网络是一种端到端的无锚检测网络，是在2019年cvpr论文objects as points中提出的一种识别网络。
41.相比于传统无人机目标识别采用的神经网络，如faster r-cnn、ssd、yolo等神经网络，centernet神经网络的运算量小，使得其能够在无人机机载计算机的性能支持下实现每秒15帧以上的检测，从而提高了后续目标运动状态跟踪的准确度。
42.传统的目标运动状态跟踪，多采用直接对连续两帧图像进行比对确定目标运动状态的方式进行，然而，由于无人机集群对抗时，多个空中目标飞行过程中飞行轨迹会出现交替重叠、相互遮挡现象，传统的目标运动状态跟踪的准确性有所不足。
43.进一步地，为了保证目标运动状态跟踪的准确度，不同于传统目标运动状态跟踪，在本发明中，通过多个无人机预测各自视角下第二帧时刻目标的位置，将其与第二帧时刻目标的检测值进行比对，从而实现对目标运动状态的跟踪。
44.优选地，所述centernet神经网络的结构如图2所示，输入图片通过特征提取网络进行特征提取得到特征图，对特征图利用热图分支，偏移分支，边界框尺寸分支进行预测得到最终检测结果，
45.优选地，所述特征提取网络为dla-34深层聚合网络，dla-34是在2018年vpr会议论文deep layer aggregation中提出的一种聚合网络，该网络可融合图像多层特征，对称地提高特征图分辨率、提高后续数据关联准确度，其具有结构简单的特点，使整个目标检测算
法在机载计算机的弱算力下仍然能够达到较高检测速度。
46.在一个优选的实施方式中，无人机通过相机采样目标区域图像，采样的图像的尺寸为1260
×
1080，将图像尺寸缩放为1088
×
608后输入至centernet神经网络，经过centernet神经网络的特征处理网络处理后得到272
×
152的特征图，通过热图分支在特征图上预测目标关键点位置和表示分类信息并生成热图，热图中以目标中心为圆心，填充高斯函数计算值；通过偏移分支检测由于图像下采样造成的目标中心连续偏移量通过边界框尺寸分支检测到的边界框尺寸为其中，表示热图分支检测的目标中心点位置，表示边界框左上角点横坐标，表示边界框右下角点横坐标，表示边界框左上角点纵坐标，表示边界框右下角点纵坐标。
47.进一步地，在检测的热图上，根据热图得分执行非极大抑制处理，提取出相关峰值关键点，保留热图得分大于阈值的关键点位置，根据偏移量和边界框尺寸得到目标边界框位置：
[0048][0049]
其中为边界框尺寸分支预测的边界框尺寸。
[0050]
所述预测目标的位置通过卡尔曼滤波进行，卡尔曼滤波预测是一种常用的预测方式，在本发明中，对其具体过程不做赘述，本领域技术人员可参照论文a new approach to linear filtering and prediction problems中的方法进行。
[0051]
在步骤s2中，基于t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵、t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵，采用匈牙利匹配法实现对目标运动状态的跟踪。
[0052]
具体地，根据t帧时刻与t 1帧时刻检测目标位置，在像素坐标系下，通过欧式度量方式，计算t帧时刻所有检测目标位置到t 1帧时刻所有预测目标位置之间的欧式距离，获得t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵。
[0053]
所述欧氏度量也称为欧几里得度量，是数学中常用的一种空间距离计算方式，在本发明中对其计算过程不做赘述。
[0054]
进一步地，所述检测到的目标位置为无人机检测各自视角下的t 1帧时刻的目标位置，所述检测方式与步骤s1中的t帧时刻的检测方式相同。
[0055]
进一步地，根据t 1帧时刻检测到的目标位置和t帧时刻检测到的目标位置，在像素坐标系下，计算t 1帧时刻所有检测目标位置到t帧时刻所有检测目标位置的余弦距离，t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵。
[0056]
所述匈牙利匹配法是一种在多项式内求解任务分配问题的组合优化算法，由数学家哈罗德
·
库恩于1965年提出，在本发明中，将t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵、t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵作为子集，通过匈牙利匹配法即可获得t帧时刻的任意一个检测目标与t 1帧时刻中检测目标中的匹配关系，从而实现对目标运动状态的跟踪。
[0057]
在一个优选的实施方式中，在步骤s2中，还比对t 1帧时刻目标的预测位置与该目标在t 1帧时刻的检测位置，确定目标跟踪是否正确。
[0058]
具体地，针对t帧时刻的一个检测目标a，当t 1帧时刻目标的预测位置与该目标在t 1帧时刻的检测位置之间的距离小于等于追踪阈值时，认为该目标跟踪正确；当t 1帧时刻目标的预测位置与该目标在t 1帧时刻的检测位置之间的距离大于追踪阈值时，认为该目标跟踪出现错误，t 1帧时刻检测到的目标与t帧时刻的目标不是相同目标，即t帧时刻的目标a丢失，t 1帧时刻检测到的目标为新的目标b，进一步地，对新的目标b在t 2帧时刻进行追踪。
[0059]
通过预测位置与检测位置的比对，使得目标追踪更加精准，极大降低了目标识别跟踪错误率。
[0060]
在步骤s3中，多个无人机之间共享各自跟踪的目标信息，对目标进行标识匹配。
[0061]
进一步地，所述共享目标信息是指共享当前帧时刻下目标的位置信息。
[0062]
进一步地，步骤s3包括以下子步骤：
[0063]
s31、多个无人机将各自跟踪到的目标位置信息从像素坐标系转化到世界坐标系下；
[0064]
s32、获取当前帧时刻下多个无人机共享的目标之间的欧氏距离，获得多视角欧式距离矩阵；
[0065]
s33、根据多视角欧式距离矩阵，通过匈牙利匹配法得到不同无人机视场下当前帧目标群中所有目标间的匹配关系，完成目标标识匹配。
[0066]
在步骤s31中，将目标位置坐标从相对图像的像素坐标系转化到世界坐标系中，使得多个无人机之间的目标位置可进行比对。
[0067]
进一步地，像素坐标系向世界坐标系变换涉及四个坐标系：世界坐标系owx
wywzw
，坐标原点为实际场景中某点；相机坐标系ocxcyczc，坐标原点为相机光心，图像坐标系oxy，坐标原点为图像中心点；像素坐标系uv，坐标原点为图像左上角；各个坐标系之间关系如图3所示。
[0068]
像素坐标系与世界坐标系转换表示为：
[0069][0070]
其中，f
x
为相机在x轴方向焦距，fy为相机在y轴方向焦距；u0表示图像坐标系原点在像素坐标系中横坐标，v0表示图像坐标系原点在像素坐标系中纵坐标；r为世界坐标系到相机坐标系的旋转矩阵，t为世界坐标系到相机坐标系的平移矩阵；(u，v)表示像素坐标系中的某点，zc表示该点在相机坐标系下的z轴方向的坐标，(xw，yw，zw)表示该点在世界坐标系下的坐标。
[0071]
在步骤s32中，在世界坐标系下，通过欧式度量方式，对当前帧时刻下多个无人机共享的目标进行计算，获得多视角欧式距离矩阵；
[0072]
在步骤s33中，对多个无人机共享的所有目标在世界坐标系下进行匹配，若在一个无人机共享的信息中，身份标识为k的目标的位置与其它无人机共享的信息中身份标号为l的目标的位置距离小于标识阈值，则认为这是同一目标，此时将其它无人机视场中的目标身份标识l改为k；如果二者距离高于标识阈值，则认为二者不是同一个目标。
[0073]
优选地，在匹配时，对多个无人机分配不同的优先级顺序，以最高优先级的无人机中的目标标识为基准，将其它无人机中跟踪目标的标识更改为与最高优先级的无人机中相匹配目标的标识相同，使得不同无人机对相匹配目标的标识相同。
[0074]
进一步地，对于没有出现在最高优先级的无人机视角中的目标或从最高优先级的无人机视角中消失的目标，以次高优先级的无人机中的目标表示为基准，对其它无人机中的匹配目标进行标识，以此类推，完成所有目标的标识，使得不同无人机跟踪的目标中，同一目标的标识相同。
[0075]
在本发明中，对多个无人机的优先级顺序的制订方式不做特别限制，可以是随机设置优先级顺序，也可以是按照从无人机集群中央到边缘的顺序设定优先级顺序。
[0076]
重复步骤s1～s3，即可实现无人机集群对空中目标的持续性跟踪。
[0077]
实施例
[0078]
实施例1
[0079]
进行模拟实验，无人机集群包括8个四旋翼无人机，空中目标为8架dji精灵四旋翼无人机，目标在空中进行速度不断变化的“8”字型轨迹飞行，使得目标相互之间遮挡，并且轨迹发生交互，模拟实验场地采用背景复杂，且与目标颜色相似度较高的楼宇前进行，以增加追踪难度，如图4所示。
[0080]
无人机集群对空中目标运动状态跟踪，通过以下步骤进行：
[0081]
s1、t帧时刻，多个无人机检测各自视角下的目标位置，多个无人机预测各自视角下t 1帧时刻目标的位置；
[0082]
s2、t 1帧时刻，多个无人机检测各自视角下的目标位置，将检测的目标位置与各自预测的目标位置比对，实现多个无人机各自对目标运动状态的跟踪；
[0083]
s3、多个无人机相互之间对各自跟踪的目标进行标识匹配，使得多个无人机对同一目标的标识相同。
[0084]
其中，在步骤s1中，检测目标位置通过centernet神经网络对无人机拍摄的图像进行检测获得。
[0085]
在步骤s2中，根据t帧时刻与t 1帧时刻检测目标位置，在像素坐标系下，通过欧式度量方式，计算t帧时刻所有检测目标位置到t 1帧时刻所有预测目标位置之间的欧式距离，获得t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵；
[0086]
根据t 1帧时刻检测到的目标位置和t帧时刻检测到的目标位置，在像素坐标系下，计算t 1帧时刻所有检测目标位置到t帧时刻所有检测目标位置的余弦距离，t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵；
[0087]
基于t帧时刻与t 1帧时刻检测目标位置之间的欧式距离矩阵、t帧时刻与t 1帧时刻的检测目标位置之间的余弦距离矩阵，采用匈牙利匹配法实现对目标运动状态的跟踪。
[0088]
步骤s3包括以下子步骤：
[0089]
s31、多个无人机将各自跟踪到的目标位置信息从像素坐标系转化到世界坐标系下；
[0090]
s32、获取当前帧时刻下多个无人机共享的目标之间的欧氏距离，获得多视角欧式距离矩阵；
[0091]
s33、根据多视角欧式距离矩阵，通过匈牙利匹配法得到不同无人机视场下当前帧
目标群中所有目标间的匹配关系，完成目标标识匹配。
[0092]
模拟实验中，无人机集群中每个四旋翼无人机均能够持续对目标进行跟踪，并且对不同的目标的标识相同。
[0093]
对比例1
[0094]
进行与实施例1相同的模拟实验，区别在于，步骤s1中检测目标位置通过faster r-cnn神经网络对无人机拍摄的图像进行检测获得。
[0095]
对比例2
[0096]
进行与实施例1相同的模拟实验，区别在于，步骤s1中检测目标位置通过ssd神经网络对无人机拍摄的图像进行检测获得。
[0097]
对比例3
[0098]
进行与实施例1相同的模拟实验，区别在于，步骤s1中检测目标位置通过yolo神经网络对无人机拍摄的图像进行检测获得。
[0099]
对比例4
[0100]
进行与实施例1相同的模拟实验，区别在于，采用论文mots:multi-object tracking and segmentation中提到的track r-cnn方法对目标进行追踪。
[0101]
对比例5
[0102]
进行与实施例1相同的模拟实验，区别在于，采用论文deep affinity network for multiple object tracking中提到的sst方法对目标进行追踪。
[0103]
对比例6
[0104]
进行与实施例1相同的模拟实验，区别在于，采用论文towards real-time multi-object tracking中提到的jde方法对目标进行追踪。
[0105]
实验例
[0106]
实验例1
[0107]
统计实施例1与对比例1～3模拟过程中，不同神经网络对结果的影响，结果如表一所示：
[0108]
表一
[0109][0110]
其中，fps为检测帧频，map(mean average precision)为平均检测精度，从表一可以看出，实施例1中的方法在保证检测帧频较高的同时，仍具有较高的map值，当目标快速变化时，不易丢失目标，从而保证了跟踪的准确度。
[0111]
统计实施例1与对比例4～6模拟过程中的数据，结果如表二所示：
[0112]
表二
[0113]
[0114][0115]
其中，mota(multi-object tracking accuracy)为多目标跟踪准确度，其是多目标跟踪中的标准评价指标，具体计算方式在此不做赘述。
[0116]
从表二可以看出，实施例1中，检测频率明显高于其它检测方法，并且检测中目标标示切换次数明显降低，即目标丢失的次数极大降低，多目标跟踪准确度较高，即能够较好的完成对目标的跟踪。
[0117]
在本发明的描述中，需要说明的是，术语“上”、“下”、“内”、“外”、“前”、“后”等指示的方位或位置关系为基于本发明工作状态下的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0118]
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”“相连”“连接”应作广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接普通；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0119]
以上结合了优选的实施方式对本发明进行了说明，不过这些实施方式仅是范例性的，仅起到说明性的作用。在此基础上，可以对本发明进行多种替换和改进，这些均落入本发明的保护范围内。