基于无人机的高精度多目标智能识别定位追踪方法及系统与流程

1.本发明无人机定位追踪领域，特别是指基于无人机的高精度多目标智能识别定位追踪方法及系统。


背景技术：

2.目标跟踪技术是自动驾驶、智慧交通、智慧安防等应用场景中的关键共性技术，其目的是将场景中检测到的物体框在时序上关联形成轨迹，并用于物体实时位置的跟踪。mot的研究难点主要在于相似背景、光照条件变化、遮挡等外界因素干扰，和目标姿态变化、尺度变化、进出视野、运动模糊等自身因素影响下的多目标跟踪。
3.常见的目标跟踪技术主要分为生成式模型方法和判别式模型方法两类。生成式模型方法是通过在线学习方式建立目标模型，然后使用模型搜索重建误差最小的图像区域，完成目标定位，该方法包括卡尔曼滤波，粒子滤波，mean
‑
shift等。但是这一类方法没有考虑目标的背景信息，图像信息没有得到较好的利用，并且该类算法计算代价大耗时长，准确率差。判别式模型方法，又称检测跟踪算法(tracking
‑
by
‑
detection)，其将目标跟踪看作是一个二元分类问题，同时提取目标和背景信息用来训练分类器，将目标从图像序列背景中分离出来，从而得到当前帧的目标位置。判别式模型方法与生成类方法最大的区别是，其分类器采用机器学习，训练中用到了背景信息，这样分类器就能专注区分前景和背景，所以判别类方法普遍都比生成类好，也是目前主流的跟踪方法。但目前的技术普遍存在精度不都高，识别定位追踪不够智能的问题。


技术实现要素：

4.本发明的主要目的在于克服现有技术中的上述缺陷，提出基于无人机的高精度多目标智能识别定位追踪方法，通过图像序列对齐、多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
5.本发明采用如下技术方案：基于无人机的高精度多目标智能识别定位追踪方法，包括如下步骤：基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通
过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
6.具体地，所述利用sobel算子提取各帧图像的边缘特征图，具体为：其中，i表示图像像素矩阵，和分别表示图像关于水平方向和垂直方向的边缘梯度，e表示图像边缘梯度值，d表示边缘梯度方向。
7.具体地，所述输入训练好的自关注模块，寻找匹配特征对，具体为：自关注模块输入为经过sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用mse均方误差函数 训练自关注模块训练；其中，是网络中目标图像的第i个真实值，是基准图像的第i个输出的预测值，i=1,2
…
n，n为特征对的个数。
8.具体地，将目标包围框从rgb色彩空间转换到lab色彩空间，具体为：xyz空间到lab空间的转换关系：式中，时，时，时， x、y、z分别为转换变量。
9.具体地，基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：由前一帧的跟踪结果获取目标位置的尺度模板：lab直方图特征模板和尺寸模板；通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的lab直方图特征l
j
，其中j=1,2,3
…
n,n为设定数量；
以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的lab直方图特征l
j
，将对应的l
j
和l
j
进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
10.本发明实施例另一方面提供基于无人机的高精度多目标智能识别定位追踪系统，包括：图像序列对齐单元：基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；多目标包围框确定单元：将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多个目标包围框；多目标位置识别单元：将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出其他目标位置；多目标追踪单元：基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
11.具体地，图像序列对齐单元中，所述利用sobel算子提取各帧图像的边缘特征图，具体为：其中，i表示图像像素矩阵，和分别表示图像关于水平方向和垂直方向的边缘梯度，e表示图像边缘梯度值，d表示边缘梯度方向。
12.具体地，图像序列对齐单元中，所述输入训练好的自关注模块，寻找匹配特征对，具体为：自关注模块输入为经过sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用mse均方误差函数 训练自关注模块训练；其中是网络中目标图像的第i个真实值，是基准图像的第i个输出的预测值，i=1,2
…
n，n为特征对的个数。
13.具体地，目标位置识别单元中，将目标包围框从rgb色彩空间转换到lab色彩空间,具体为：
xyz空间到lab空间的转换关系：式中，时，时，时， x、y、z分别为转换变量。
14.具体地，基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：由前一帧的跟踪结果获取目标位置的尺度模板：lab直方图特征模板和尺寸模板；通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的lab直方图特征l
j
，其中j=1,2,3
…
n,n为设定数量；以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的lab直方图特征l
j
，将对应的l
j
和l
j
进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
15.由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：（1）本发明提出了基于无人机的高精度多目标智能识别定位追踪方法，首先基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪；本发明通过图像序列对齐，以及多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
16.（2）本发明利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐；图像序列的对齐能够提高目标识别的精度。
17.（3）本发明从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，从当前帧的目标位置处截取不同尺度图
像块，融合了颜色特征，实现了尺度自适应，跟踪性能好。
附图说明
18.图1为本发明实施例提出的基于无人机的高精度多目标智能识别定位追踪的方法流程图；图2为本发明实施例提供的基于无人机的高精度多目标智能识别定位追踪系统的结构图；
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
19.本发明提出本发明提出了基于无人机的高精度多目标智能识别定位追踪方法，通过图像序列对齐，以及多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
20.如图1为本发明方案基于无人机的高精度多目标智能识别定位追踪方法流程图；具体包括如下步骤：s101：基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；具体地，所述利用sobel算子提取各帧图像的边缘特征图，具体为：其中，i表示图像像素矩阵，和分别表示图像关于水平方向和垂直方向的边缘梯度，e表示图像边缘梯度值，d表示边缘梯度方向。
21.具体地，所述输入训练好的自关注模块，寻找匹配特征对，具体为：自关注模块输入为经过sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用mse均方误差函数 训练自关注模块训练；其中是网络中目标图像的第i个真实值，是基准图像的第i个输出的预测值，i=1,2
…
n，n为特征对的个数。
22.s102：将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；
s103：将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；具体地，将目标包围框从rgb色彩空间转换到lab色彩空间，具体为：式中，时，时，时， x、y、z分别为转换变量。
23.s104：基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
24.具体地，基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：由前一帧的跟踪结果获取目标位置的尺度模板：lab直方图特征模板和尺寸模板；通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的lab直方图特征l
j
，其中j=1,2,3
…
n,n为设定数量；以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的lab直方图特征l
j
，将对应的l
j
和l
j
进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
25.如图2，本发明另一实施例提供基于无人机的高精度多目标智能识别定位追踪系统，包括：图像序列对齐单元201：基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；具体地，图像序列对齐单元中，所述利用sobel算子提取各帧图像的边缘特征图，具体为：其中，i表示图像像素矩阵，和分别表示图像关于水平方向和垂直方向的边缘梯度，e表示图像边缘梯度值，d表示边缘梯度方向。
[0026] 自关注模块输入为经过sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用mse均方误差函数 训练自关注模块训练；
其中是网络中目标图像的第i个真实值，是基准图像的第i个输出的预测值，i=1,2
…
n，n为特征对的个数。
[0027]
多目标包围框确定单元202：将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多个目标包围框；多目标位置识别单元203：将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出其他目标位置；具体地，目标位置识别单元中，将目标包围框从rgb色彩空间转换到lab色彩空间,具体为：xyz空间到lab空间的转换关系：式中，时，时，时， x、y、z分别为转换变量。
[0028]
多目标追踪单元204：基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。
[0029]
具体地，图像序列对齐单元中，所述输入训练好的自关注模块，寻找匹配特征对，具体为：具体地，基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：由前一帧的跟踪结果获取目标位置的尺度模板：lab直方图特征模板和尺寸模板；通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的lab直方图特征l
j
，其中j=1,2,3
…
n,n为设定数量；以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的lab直方图特征l
j
，将对应的l
j
和l
j
进行相似度计算，得到最大相似
度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。
[0030]
本发明提出了基于无人机的高精度多目标智能识别定位追踪方法，首先基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪；本发明通过图像序列对齐，以及多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能识别定位追踪方法。
[0031]
本发明利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐；图像序列的对齐能够提高目标识别的精度。
[0032]
本发明从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，从当前帧的目标位置处截取不同尺度图像块，融合了颜色特征，实现了尺度自适应，跟踪性能好。
[0033]
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。