基于无人机的高精度多目标智能识别定位追踪方法及系统与流程

技术特征：
1.基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，包括如下步骤：基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多目标包围框；将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。2.根据权利要求1所述的基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，所述利用sobel算子提取各帧图像的边缘特征图，具体为：其中，i表示图像像素矩阵，和分别表示图像关于水平方向和垂直方向的边缘梯度，e表示图像边缘梯度值，d表示边缘梯度方向。3.根据权利要求1所述的基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，所述输入训练好的自关注模块，寻找匹配特征对，具体为：自关注模块输入为经过sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用mse均方误差函数 训练自关注模块训练；其中是网络中目标图像的第i个真实值，是基准图像的第i个输出的预测值，i=1,2
…
n，n为特征对的个数。4.根据权利要求1所述的基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，将目标包围框从rgb色彩空间转换到lab色彩空间,具体为：xyz空间到lab空间的转换关系：
式中，时, ;时，x、y、z分别为转换变量。5.根据权利要求1所述的基于无人机的高精度多目标智能识别定位追踪方法，其特征在于，基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：由前一帧的跟踪结果获取目标位置的尺度模板：lab直方图特征模板和尺寸模板；通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的lab直方图特征l
j
，其中j=1,2,3
…
n,n为设定数量；以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的lab直方图特征l
j
，将对应的l
j
和l
j
进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。6.基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，包括：图像序列对齐单元：基于无人机获取观测图像数据，利用sobel算子提取各帧图像的边缘特征图，输入训练好的自关注模块，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；多目标包围框确定单元：将对齐后的图像序列输入mask r
‑
cnn网络模型的骨干网络层，进行预先设定好的目标特征的提取，将骨干网络层提取出的目标特征信息输入候选区域网络，用于生成检测区域，确定出多个目标包围框；多目标位置识别单元：将目标包围框从rgb色彩空间转换到lab色彩空间，提取相应的lab色彩特征，融合lab色彩特征与方向梯度直方图特征得到多通道特征，利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出其他目标位置；多目标追踪单元：基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现多目标追踪。7.根据权利要求6所述的基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，图像序列对齐单元中，所述利用sobel算子提取各帧图像的边缘特征图，具体为：
其中，i表示图像像素矩阵，和分别表示图像关于水平方向和垂直方向的边缘梯度，e表示图像边缘梯度值，d表示边缘梯度方向。8.根据权利要求6所述的基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，图像序列对齐单元中，所述输入训练好的自关注模块，寻找匹配特征对，具体为：自关注模块输入为经过sobel算子提取的图像边缘特征图，输出为包含强映射匹配关系的特征对矩阵，其中，根据如下公式采用mse均方误差函数训练自关注模块训练；其中是网络中目标图像的第i个真实值，是基准图像的第i个输出的预测值，i=1,2
…
n，n为特征对的个数。9.根据权利要求6所述的基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，目标位置识别单元中，将目标包围框从rgb色彩空间转换到lab色彩空间,具体为：xyz空间到lab空间的转换关系：式中，时，；时， x、y、z分别为转换变量。10.根据权利要求6所述的基于无人机的高精度多目标智能识别定位追踪系统，其特征在于，基于lab色彩特征建立尺度模型，从当前帧的目标位置处截取不同尺度图像块，通过将其与尺度模型比较得到目标尺度最优估计实现目标追踪，具体为：由前一帧的跟踪结果获取目标位置的尺度模板：lab直方图特征模板和尺寸模板；通过非均匀量化的方式将ａ和ｂ通道的各个数值量化区分为设定数量的数值区间，统计ａ和ｂ通道分量量化后的每个区间的数值作为图像的lab直方图特征l
j
，其中j=1,2,3
…
n,n为设定数量；以当前帧的跟踪结果得到的目标位置为中心，截取设定数量个不同尺度的图像，提取不同尺度的图像的lab直方图特征l
j
，将对应的l
j
和l
j
进行相似度计算，得到最大相似度值，以该值对应的图像尺寸大小作为当前帧的最优尺寸。

技术总结
本发明提供了基于无人机的高精度多目标智能识别定位追踪方法，首先基于无人机获取观测图像数据，提取各帧图像的边缘特征图，寻找匹配特征对，实现图像序列的对齐，得到对齐后的图像序列；利用核相关滤波计算输出响应图并寻找图中最大响应位置即目标位置，依次确定出多个目标的位置；基于Lab色彩特征建立尺度模型，从截取不同尺度图像块，得到目标尺度最优估计实现多目标追踪；本发明通过图像序列对齐、多目标包围框的识别，以及融合颜色特征的尺度自适应的跟踪方法，实现目标识别准确率高，目标定位精度高的智能方法。目标定位精度高的智能方法。目标定位精度高的智能方法。


技术研发人员：赵杰岩 许杏 曲亮 刘朋 李宏博 刘欣志 欧阳斌 王岽 黄小清 李诚诚
受保护的技术使用者：深圳火眼智能有限公司
技术研发日：2021.09.17
技术公布日：2021/10/23