一种基于无人机的图像目标识别与跟踪系统的制作方法

1.应用于无人机图像识别与跟踪领域。


背景技术：

2.无人机作为可灵活移动的飞行设备，其广泛应用于各个行业领域。当前，采用无人机对目标进行跟踪拍摄成为了研究热点。无人机凭借其灵活的操控性能，能够从多视角、多距离条件下对目标进行跟踪拍摄。
3.然而，由于无人机和目标均为移动物体，在针对无人机拍摄画面中的目标识别与跟踪过程中容易出现各种各样的问题。如当无人机与目标均移动时，容易造成目标的丢失；无人机与目标不同视角的切换使得目标图像特征存在较大变化，这将对目标的识别造成较大难度；无人机与目标二者的移动会极大降低目标在图像中的识别效率；当目标被建筑物等遮挡时会造成目标的短暂丢失。基于上述问题，本技术提出了一种基于无人机的图像目标识别与跟踪系统。


技术实现要素：

4.本发明的目的是通过以下技术方案实现的。
5.本发明为了解决上述问题，提出了一种基于无人机的图像目标识别与跟踪系统。
6.所述系统包括：无人机摄像头，无人机摄像头控制模块，无人机图像预处理模块，无人机目标识别模块，位置调整模块，目标跟踪模块，目标显示模块；其中各模块包含如下功能：
7.无人机摄像头，获取包含跟踪目标和环境的高分辨率图像；
8.进一步地，所述无人机摄像头包括可见光拍摄装置和红外光拍摄装置；其中可见光拍摄装置能够拍摄目标物的可见光图像，红外光拍摄装置能够拍摄目标物的红外图像；
9.无人机摄像头控制模块，对摄像头拍摄模式进行调整；
10.进一步地，所述无人机摄像头控制模块对摄像头拍摄模式进行调整，具体包括：
11.当无人机处于夜晚飞行模式时，控制所述红外光拍摄装置开启，以红外光拍摄装置所拍摄的图像作为高分辨率图像；
12.当无人机处于白天飞行模式时，如当前采用可见光拍摄装置进行拍摄时，获取环境色温值和高分辨率图像色温值，并获取图像hsv模型中的亮度参数值，通过阈值比较法决定是否切换拍摄模式；
13.当无人机处于白天飞行模式时，如当前采用红外光拍摄装置进行拍摄时，获取环境色温值，通过阈值比较法决定是否切换拍摄模式。
14.无人机图像预处理模块，对所述高分辨率图像进行预处理；
15.无人机目标识别模块，对图像中的跟踪目标进行识别；
16.进一步地，所述无人机目标识别模块，对图像中的跟踪目标进行识别，具体包括：
17.获取无人机相对于目标的三维空间相对坐标(x,y,z)；
18.进一步地，所述目标位置为坐标原点(0，0,0)；
19.在无人机目标物三维图像库中获取所述相对坐标位置视角下目标图像，所述目标图像的像素矩阵大小为n*n；
20.在所述高分辨率图像的像素矩阵为m*m中心区域进行目标图像的查找。
21.位置调整模块，控制目标处于图像中心区域位置；
22.目标跟踪模块，实现对目标的实时跟踪，并绘制目标运动轨迹，形成目标移动日志；
23.进一步地，所述目标跟踪模块，实现对目标的实时跟踪，并绘制目标运动轨迹，形成目标移动日志，具体包括：
24.存储目标运动轨迹以及目标的运动姿态，并进行存储，形成目标移动日志；
25.当存在遮挡物遮挡目标或者在所述高分辨率图像中未识别到目标时，根据目标历史运动轨迹和运动姿态，预测目标当前时刻的位置以及与无人机的相对角度；
26.在无人机数据库中获取预测目标位置以及无人机与目标在预测的相对坐标的视角下的目标图像；
27.淡化图像中的遮挡物，在淡化后的遮挡物上显示目标在上述相对坐标视角下的图像。
28.目标显示模块，实现对跟踪目标的清晰化显示。
29.进一步地，所述目标显示模块实现对跟踪目标的清晰化显示，具体包括：
30.当在图像中识别到目标图像时，将在无人机数据库中获取的相对坐标视角下的目标图像与在图像中识别到的目标图像进行叠加显示；
31.当在图像中未识别到目标图像时，将在无人机数据库中获取的预测的相对坐标的视角下的目标图像显示在遮挡物上。
32.本发明的优点在于：
33.1.通过可见光摄像装置和红外光摄像装置的双摄像装置设置，能够实现在白天和夜晚对目标的准确识别和跟踪；并且，通过颜色模型亮度参数和色温值的双参数比较算法，能够实现更加准确的摄像模式切换，进一步提高目标识别的准确性；
34.2.通过无人机相对于目标的相对位置和距离，在三维图像数据库中获取目标的图像，根据无人机观测目标的视角获取准确的目标图像；避免在无人机与目标均运动的情况下，对固定目标参照图像进行目标识别所带来的不准确性；同时，在无人机所获取的高分辨率图像的中心位置识别目标图像，提高了目标识别的效率；
35.3.在目标存在遮挡的情况下，对目标位置进行预测，并通过无人机与目标的相对坐标计算观察视角，在淡化的遮挡物上显示目标，避免目标在图像中丢失，为观察者提供连续的目标运动图像。
附图说明
36.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
37.附图1示出了无人机目标识别与跟踪系统结构框图。
具体实施方式
38.下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
39.根据本发明的实施方式，提出一种基于无人机的图像目标识别与跟踪系统。
40.所述系统包括：无人机摄像头，无人机摄像头控制模块，无人机图像预处理模块，无人机目标识别模块，位置调整模块，目标跟踪模块，目标显示模块；其中各模块包含如下功能：
41.无人机摄像头，获取包含跟踪目标和环境的高分辨率图像；
42.进一步地，所述无人机摄像头包括可见光拍摄装置和红外光拍摄装置；其中可见光拍摄装置能够拍摄目标物的可见光图像，红外光拍摄装置能够拍摄目标物的红外图像；
43.无人机摄像头控制模块，对摄像头拍摄模式进行调整；
44.进一步地，所述无人机摄像头控制模块对摄像头拍摄模式进行调整，具体包括：
45.当无人机处于夜晚飞行模式时，控制所述红外光拍摄装置开启，以红外光拍摄装置所拍摄的图像作为高分辨率图像；
46.当无人机处于白天飞行模式时，如当前采用可见光拍摄装置进行拍摄时，获取环境色温值和高分辨率图像色温值，并获取图像hsv模型中的亮度参数值，通过阈值比较法决定是否切换拍摄模式；
47.当需要切换拍摄模式时，将当前可见光拍摄装置进行拍摄的模式切换为红外光拍摄装置进行拍摄的模式；
48.进一步地，所述获取环境色温值和高分辨率图像色温值，并获取图像hsv模型中的亮度参数值，通过阈值比较法决定是否切换拍摄模式，具体方法为：
49.获取环境色温值e1和图像色温值e2；
50.获取图像色彩模型hsv中的亮度参数v；
51.采用如下公式计算当前亮度值c：
[0052][0053]
其中λ1、λ2为加权系数；
[0054]
当所述当前亮度值c大于预定阈值d时，不切换当前拍摄模式；当所述当前亮度值c小于预定阈值d时，将当前可见光拍摄装置进行拍摄的模式切换为红外光拍摄装置进行拍摄的模式。
[0055]
当无人机处于白天飞行模式时，如当前采用红外光拍摄装置进行拍摄时，获取环境色温值，通过阈值比较法决定是否切换拍摄模式；
[0056]
当需要切换拍摄模式时，将当前红外光拍摄装置进行拍摄的模式切换为可见光拍摄装置进行拍摄的模式。
[0057]
进一步地，所述获取环境色温值，通过阈值比较法决定是否切换拍摄模式，具体方法为：
[0058]
获取环境色温值e1；
[0059]
当所述环境色温值大于当前阈值d
e
时,将当前红外光拍摄装置进行拍摄的模式切换为可见光拍摄装置进行拍摄的模式；当所述环境色温值小于当前阈值d
e
时,不切换当前拍摄模式。
[0060]
无人机图像预处理模块，对所述高分辨率图像进行预处理；
[0061]
无人机目标识别模块，对图像中的跟踪目标进行识别；
[0062]
进一步地，所述无人机目标识别模块，对图像中的跟踪目标进行识别，具体包括：
[0063]
获取无人机相对于目标的三维空间相对坐标(x,y,z)；
[0064]
进一步地，所述目标上安装有定位器，无人机可根据该定位器计算无人机相对于目标的空间相对坐标；
[0065]
在无人机目标物三维图像库中获取所述相对坐标位置视角下目标图像，所述目标图像的像素矩阵大小为n*n；
[0066]
进一步地，所述无人机目标物三维图像库中存储了目标的三维立体结构图像以及目标在各视角下的可见光图像和红外光图像；
[0067]
进一步地，获取无人机相对于目标的三维空间相对坐标(x,y,z)，在无人机目标物三维图像库中获取所述相对坐标位置视角下目标图像，具体为：
[0068]
预先在无人机数据库中存储目标的三维图像数据；
[0069]
以目标作为坐标原点(0,0,0)，获取无人机相对于目标的三维空间相对坐标(x,y,z)；
[0070]
计算无人机相对于目标的三维视角；
[0071]
在数据库中获取在上述三维视角下的目标图像；
[0072]
根据无人机与目标的相对距离，调整所获取的上述三维视角下的目标图像的像素矩阵大小，以获得矩阵大小为n*n的目标图像。
[0073]
在所述高分辨率图像的像素矩阵为m*m中心区域采用如下算法进行目标查找。
[0074]
以所述高分辨率图像的中心点为m*m中心区域的中心点，以中心点坐标作为原点坐标(0,0)；采用区域收敛的迭代目标识别算法进行目标识别，具体步骤如下：
[0075]
s1：在作为左上角和右下角坐标的正方形区域内进行目标相似度匹配；
[0076]
s2:在作为右上角和左下角坐标的正方形区域内进行目标相似度匹配；
[0077]
s3:在作为左下角和右上角坐标的正方形区域内进行目标相似度匹配；
[0078]
s4:在作为右下角和左上角坐标的正方形区域内进行目标相似度匹配；
[0079]
s5在作为左上角和右下角坐标的正方形区域内进行目标相似度匹配；
[0080]
其中m＝16*n；
[0081]
s6:当在当前正方形区域位置计算所得到的所述相似度大于预设阈值d
p
时，以该当前正方形区域位置中心作为中心，缩小m为原来的一半，得到新的m值，以新的m值为边长的正方形区域内重复上述步骤s1
‑
s6；
[0082]
s7：当m＝n时，算法结束，所获得的当前正方形区域图像即为目标图像；
[0083]
位置调整模块，控制目标处于图像中心区域位置；
[0084]
目标跟踪模块，实现对目标的实时跟踪，并绘制目标运动轨迹，形成目标移动日志；
[0085]
进一步地，所述目标跟踪模块，实现对目标的实时跟踪，并绘制目标运动轨迹，形成目标移动日志，具体包括：
[0086]
存储目标运动轨迹以及目标的运动姿态，并进行存储，形成目标移动日志；
[0087]
当存在遮挡物遮挡目标或者在所述高分辨率图像中未识别到目标时，根据目标历史运动轨迹和运动姿态，预测目标当前时刻的位置以及与无人机的相对角度；
[0088]
在无人机数据库中获取预测目标位置以及无人机与目标在预测的相对坐标的视角下的目标图像；
[0089]
淡化图像中的遮挡物，在淡化后的遮挡物上显示目标在上述相对坐标视角下的图像。
[0090]
目标显示模块，实现对跟踪目标的清晰化显示。
[0091]
进一步地，所述目标显示模块实现对跟踪目标的清晰化显示，具体包括：
[0092]
当在图像中识别到目标图像时，将在无人机数据库中获取的相对坐标视角下的目标图像与在图像中识别到的目标图像进行叠加显示；
[0093]
当在图像中未识别到目标图像时，将在无人机数据库中获取的预测的相对坐标的视角下的目标图像显示在遮挡物上。
[0094]
本发明的优点在于：
[0095]
1.通过可见光摄像装置和红外光摄像装置的双摄像装置设置，能够实现在白天和夜晚对目标的准确识别和跟踪；并且，通过颜色模型亮度参数和色温值的双参数比较算法，能够实现更加准确的摄像模式切换，进一步提高目标识别的准确性；
[0096]
2.通过无人机相对于目标的相对位置和距离，在三维图像数据库中获取目标的图像，根据无人机观测目标的视角获取准确的目标图像；避免在无人机与目标均运动的情况下，对固定目标参照图像进行目标识别所带来的不准确性；同时，在无人机所获取的高分辨率图像的中心位置识别目标图像，采用区域收敛的迭代目标识别算法，提高了目标识别的效率；
[0097]
3.在目标存在遮挡的情况下，对目标位置进行预测，并通过无人机与目标的相对坐标计算观察视角，在淡化的遮挡物上显示在无人机数据库中获取的目标在上述视角下的图像，避免目标在图像中丢失，为观察者提供连续的目标运动图像。
[0098]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。