一种快速交汇过程目标可靠跟踪方法与流程

1.本发明涉及目标跟踪领域，具体涉及一种快速交汇过程目标可靠跟踪方法。


背景技术：

2.无人机具有体积小、重量轻、起降条件限制少、机动灵活、操作简单等优点。由于无人机能够胜任许多人工操纵驾驶的无人机不能完成的任务，逐渐成为航空领域各个国家直至全球主攻的重要方向，当今已经广泛应用到许多领域，常见的像军队作战、日常生活、民用领域等。
3.近年无人机的智能化高速发展，其中重要的一项就是无人机对目标的自主追踪。基于目标追踪，可以实现无人机自主在运动载具上着落，或者自主自杀式打击目标。然而在无人机快速接近目标的过程中，目标尺度会在无人机视野里急速膨胀，对于视觉技术，尺度是个很重要的问题，如果对目标尺度预测不准确，则会造成跟踪任务的失败。
4.大部分相关滤波的跟踪器采用文献【a scale adaptivekernel correlation filter tracker with feature integration[c]// european conference on computer vision.springer,cham, 2014.】中的方法，对多个预测的目标尺度进行滤波，最后取得分最高的尺度作为目标尺度。
[0005]
siamrpn【li b,yan j,wu w,et al.high performance visualtracking with siamese region proposal network[c]//proceedings ofthe ieee conference on computer vision and pattern recognition. 2018:8971
‑
8980.】使用双分支孪生网络方法，其中一个分支用来对目标进行粗定位，另一个分支采用回归的方法对目标位置进行微调，并对目标尺度的变化方式进行估计。
[0006]
上述方法都是在上一帧中目标尺度的基础上进行微调，只能用于目标尺度的变化较小、尺度变化过程缓慢的情况，在无人机快速接近目标过程中，目标尺度在无人机视野里快速膨胀，最后充满整个视场，上述方法不能很好地解决尺度快速膨胀的问题。


技术实现要素：

[0007]
为了克服上述问题，本发明人进行了锐意研究，设计出一种快速交汇过程目标可靠跟踪方法及系统，该方法通过构建无人机与目标快速交汇过程的跟踪模型，利用所述跟踪模型获得粗估计的目标尺度和位置，并对粗估计的目标尺度进行微调，获得最终目标尺度和位置，实现了快速交汇过程中对目标的可靠跟踪，使得无人机能够精准执行任务。本发明所提供的方法解决了无人机快速接近目标时，目标尺度在无人机视野中迅速膨胀，造成跟踪失败的问题，能够准确跟踪目标并执行着落或打击任务，本发明所提供的方法使用灵活，通用性强，计算快速，从而完成本发明。
[0008]
本发明的目的在于提供一种快速交汇过程目标可靠跟踪方法，所述方法包括：
[0009]
构建适用于无人机与目标快速交汇过程的跟踪模型；
[0010]
利用所述跟踪模型实现无人机对目标的跟踪。
[0011]
所述构建跟踪模型包括：
[0012]
初始化阶段；
[0013]
根据第i帧跟踪阶段确定目标位置和尺度；
[0014]
末跟踪阶段。
[0015]
所述初始化阶段包括：确定初始化时的参数信息，所述参数信息包括无人机的高度h0、目标在无人机视场中的偏航视角ψ0和俯仰视角
[0016]
所述参数信息还包括目标尺度l0，w0和h0分别表示目标在像素坐标系的宽度和高度；
[0017]
所述初始化阶段还包括：确定无人机与目标的距离h0表示初始化时无人机的高度，θ0表示吊舱的俯仰角。
[0018]
第i帧跟踪阶段包括：确定粗估计的目标位置和尺度；对粗估计的目标位置和尺度进行微调，获得最终目标位置和尺度，
[0019]
优选地，通过跟踪算法确定粗估计的目标位置和尺度，更优选地，所述跟踪算法为siamrpn跟踪算法。
[0020]
确定粗估计的目标位置和尺度包括：
[0021]
获取第i帧时无人机的高度h
i
、目标在视场中的俯仰视角θ
i
，
[0022]
获得无人机和目标的距离d
i
，
[0023]
对目标尺度进行粗估计，获得粗估计的目标尺度，
[0024]
l
e
＝l
i
‑1·
d
i
‑1/d
i
[0025]
其中，l
e
表示粗估计的目标尺度,l
i
‑1表示上一帧时获得的目标尺度。
[0026]
根据获得的第i帧的粗估计的目标尺度，获取搜索区域，
[0027]
所述搜索区域的中心为目标在上一帧中的位置，
[0028]
优选地，所述搜索区域的大小为所述粗估计的目标尺度l
e
的2～3倍，如2.5倍。
[0029]
根据权利要求2所述的方法，其特征在于，按照式(1.1) 获得最终目标位置和尺度，
[0030]
(x
i
,y
i
,w
i
,h
i
)＝f(x
i
‑1,y
i
‑1,l
e
)
ꢀꢀ
(1.2)
[0031]
式(1.1)中，(x
i
‑1,y
i
‑1)表示第i
‑
1帧的目标位置，l
e
表示第 i帧的粗估计的目标尺度，f()是siamrpn算法；(x
i
,y
i
,w
i
,h
i
)表示算法输出的第i帧目标在图像坐标系的横坐标、纵坐标、宽度、高度。
[0032]
所述末跟踪阶段包括：根据所获得的最终目标位置和尺度，无人机执行任务；
[0033]
所述利用所述跟踪模型对目标进行跟踪包括：确定参数信息，获得粗估计的目标尺度和位置，获得回归输出结果，确定最终目标位置和尺度，当目标充满视场时，进入末跟踪阶段，无人机执行任务。
[0034]
本发明还提供一种快速交汇过程目标可靠跟踪系统，所述系统包括：
[0035]
采集模块，用于采集视场中目标的视频；
[0036]
解算模块，用于获得粗估计目标位置和尺度，并对粗估计的目标位置和尺度进行微调，获得最终目标位置和尺度；
[0037]
控制模块，用于控制无人机执行任务。
[0038]
所述解算模块根据跟踪模型进行解算，所述跟踪模型包括跟踪模型定位分支单元，和跟踪模型回归分支单元，所述跟踪模型定位分支单元获得粗估计的目标位置和尺度，所述跟踪模型回归分支单元获得回归输出结果。
[0039]
本发明所具有的有益效果为：
[0040]
(1)本发明所提供的方法解决了无人机在接近目标时，目标尺度急剧膨胀，造成跟踪失败的问题；
[0041]
(2)本发明所提供的方法可与任何跟踪算法结合使用，使用灵活，通用性强，应用广泛；
[0042]
(3)本发明所提供的方法计算快速，不会给跟踪算法增加过多计算负担，可在机载计算机上实时运行。
附图说明
[0043]
图1示出本发明实施例中初始状态时的无人机影像图；
[0044]
图2、图3、图4和图5分别示出本发明实施例中无人机在逐渐接近目标的过程中获得的无人机影像图。
具体实施方式
[0045]
下面通过附图和优选实施方式对本发明进一步详细说明。通过这些说明，本发明的特点和优点将变得更为清楚明确。
[0046]
根据本发明，提供一种快速交汇过程目标可靠跟踪方法，该方法包括：
[0047]
构建适用于无人机与目标快速交汇过程的跟踪模型；
[0048]
利用所述跟踪模型实现无人机对目标的跟踪。
[0049]
本发明中，无人机与目标快速交汇过程指的是无人机在快速接近目标过程中，目标尺度在无人机视野中快速膨胀的过程，在该过程中，如果目标尺度变化较大，尺寸变化较快，则容易造成跟踪失败，本发明通过对搜索区域以及目标尺度进行微调，获得最终的目标位置和尺度，克服上述问题。
[0050]
根据本发明，所述构建适用于无人机与目标快速交汇过程的跟踪模型包括：
[0051]
初始化阶段；
[0052]
第i帧跟踪阶段；
[0053]
末跟踪阶段。
[0054]
根据本发明，初始化阶段包括：确定初始化时的参数信息，所述参数信息包括初始化时无人机的高度坐标h0、目标在无人机视场中的偏航视角ψ0和俯仰视角
[0055]
可通过机载光电吊舱获得，所述光电吊舱优选为贯中 eot
‑
90a3光电吊舱。
[0056]
所述参数信息还包括目标尺度l0，w0和h0分别为目标在像素坐标系的宽度和高度。
[0057]
所述初始化阶段还包括：确定无人机与目标的距离h0表示初始化时无人机的高度，θ0表示吊舱的俯仰角，本技术中所述吊舱的俯仰角垂直向下为0度，垂直向上为180 度，无人机对地面目标观测和打击时，θ0通常为10
‑
80度。
[0058]
根据本发明，所述跟踪阶段包括根据第i帧跟踪阶段确定目标位置和尺度，其中i为大于等于1的正整数。
[0059]
根据本发明，第i帧跟踪阶段包括：确定粗估计的目标位置和尺度；对粗估计的目标位置和尺度进行微调，获得最终目标位置和尺度，
[0060]
优选地，通过跟踪算法确定粗估计的目标位置和尺度，更优选地，所述跟踪算法为siamrpn跟踪算法。
[0061]
根据本发明优选的实施方式，确定粗估计的目标位置和尺度包括：
[0062]
确定粗估计的目标位置和尺度包括：
[0063]
获取第i帧时无人机的高度h
i
、目标在视场中的俯仰视角θ
i
，
[0064]
获得无人机和目标的距离d
i
，
[0065]
对目标尺度进行粗估计，获得粗估计的目标尺度，
[0066]
l
e
＝l
i
‑1·
d
i
‑1/d
i
[0067]
其中，l
e
表示粗估计的目标尺度，l
i
‑1表示上一帧即第i
‑
1帧时获得的目标尺度，d
i
‑1表示第i
‑
1帧时获得的无人机和目标的距离。
[0068]
根据本发明，根据获得的第i帧的粗估计的目标尺度在当前帧(即第i帧)图像上进行裁剪，获取搜索区域，所述搜索区域的中心为目标在上一帧(即第i
‑
1帧)中的位置、2.5倍l
e
大小的区域。然后按照式(1.1)获得最终目标位置和尺度，
[0069]
(x
i
,y
i
,w
i
,h
i
)＝f(x
i
‑1,y
i
‑1,l
e
)
ꢀꢀ
(1.3)
[0070]
式(1.1)中，(x
i
‑1,y
i
‑1)表示第i
‑
1帧的目标位置，l
e
表示第 i帧的粗估计的目标尺度，f()表示siamrpn算法。 (x
i
,y
i
,w
i
,h
i
)x
i
表示算法输出的第i帧目标在图像坐标系的横坐标；y
i
表示算法输出的第i帧目标在图像坐标系的纵坐标；w
i
表示算法输出的第i帧目标在图像坐标系的宽度；h
i
表示算法输出的第i帧目标在图像坐标系的高度。
[0071]
本发明中，在跟踪阶段，确定最终的目标位置和尺度后，无人机迅速接近目标，进入末跟踪阶段，利用无人机的主动性，在末跟踪阶段进行快速机动，执行任务。
[0072]
根据本发明，在末跟踪阶段，当目标充满视场时(即l0＞720， 720为图像的垂直分辨率)，判定进入末跟踪阶段，
[0073]
若无人机任务为着陆任务，则输出满油门的水平向前机动的脉冲命令，然后迅速关闭发动机，无人机平稳着陆在目标上；
[0074]
若无人机任务为打击任务，则满油门撞向目标，执行任务。
[0075]
根据本发明，在无人机与目标快速交汇过程中，利用所述跟踪模型对目标进行跟踪包括：确定参数信息，获得粗估计的目标位置和尺度，获得回归输出结果，确定最终目标位置和尺度，当目标充满视场时，进入末跟踪阶段，无人机执行任务。
[0076]
根据本发明，所述确定参数信息包括：确定无人机的高度、目标在视场中的偏航视
角和俯仰视角；获得无人机和目标的距离。
[0077]
根据本发明，根据所述参数信息，确定粗估计的目标位置和尺度，获得回归输出结果，根据式(1.1)得到最终目标位置和尺度。
[0078]
根据本发明，在末跟踪阶段，当目标充满视场时，判定进入末跟踪阶段，
[0079]
若无人机任务为着陆任务，则输出满油门的水平向前机动的脉冲命令，然后迅速关闭发动机，无人机平稳着陆在目标上；
[0080]
若无人机任务为打击任务，则满油门撞向目标，执行任务。
[0081]
本发明所提供的快速交汇过程目标可靠跟踪方法，通过对目标尺度和位置进行粗估计，根据粗估计的目标尺度确定搜索区域，对目标进行定位，并对目标尺度进行微调，获得最终目标位置和尺度，当目标充满视场时，无人机执行任务，本发明的方法适用于无人机快速接近目标时对目标的准确跟踪，解决了目标尺度迅速膨胀，造成跟踪失败的问题，且该方法采用的方法可与任何跟踪算法结合使用，灵活通用，且不会增加过多计算负担。
[0082]
本发明还提供一种快速交汇过程目标可靠跟踪系统，所述系统包括：
[0083]
采集模块，用于采集实时视频及无人机与目标的参数信息；
[0084]
解算模块，用于获得粗估计的目标位置和尺度，并对粗估计的目标位置和尺度进行微调，获得最终目标位置和尺度；
[0085]
控制模块，用于控制无人机执行任务。
[0086]
根据本发明一种优选的实施方式，采集模块用于采集视场中无人机的实时视频和图像，如确定目标第i帧的目标的图像。
[0087]
根据本发明，无人机与目标的参数信息包括无人机的高度、目标在视场中的偏航视角和俯仰视角，以及无人机与目标的距离。
[0088]
根据本发明，所述解算模块根据跟踪模型进行解算，所述跟踪模型包括跟踪模型定位分支单元和跟踪模型回归分支单元，所述解算模块包括机载计算机，优选所述机载计算机包括英伟达tx2芯片。
[0089]
优选地，所述跟踪模型包括siamrpn跟踪算法。
[0090]
根据本发明，所述跟踪模型定位分支单元用于获得粗估计的目标尺度和位置，具体地，根据第i帧的无人机的参数及无人机与目标的距离，获得粗估计的目标尺度，并获得粗估计的目标位置。
[0091]
根据本发明，所述跟踪模型获取微调后的目标位置和尺度。
[0092]
实施例
[0093]
无人机搭载eot
‑
90a3光电吊舱，对地面小轿车进行模拟打击，机载计算机使用英伟达tx2芯片，跟踪模型采用siamrpn 跟踪算法。无人机的任务是在面包车顶着陆。
[0094]
首先确定跟踪目标，使目标在无人机视场中。
[0095]
初始化阶段，实时采集目标视频或照片，获得无人机的参数信息，包括无人机高度、视频吊舱的俯仰角，获得无人机与目标的距离。如下图1中所示，无人机起飞时的海拔高为75m，此时无人机海拔高为122米，无人机距离地面高度为47米，吊舱俯仰角度为64度。
[0096]
跟踪阶段，根据第i帧无人的参数信息和无人机与目标的距离，获得粗估计的目标位置和尺度；
[0097]
具体包括获取第i帧时无人机的高度h
i
、目标在视场中的俯仰视角θ
i
，
[0098]
获得无人机和目标的距离d
i
，
[0099]
对目标尺度进行粗估计，获得粗估计的目标尺度，
[0100]
l
e
＝l
i
‑1·
d
i
‑1/d
i
[0101]
其中，l
e
表示粗估计的目标尺度，l
i
‑1表示第i
‑
1帧时获得的目标尺度，d
i
‑1表示第i
‑
1帧时获得的无人机和目标的距离；
[0102]
根据粗估计的目标尺度在当前帧图片上裁剪，设置搜索区域为粗估计的目标尺度的2.5倍，
[0103]
对目标进行定位，并对粗估计的目标尺度进行微调，获得最终目标位置和尺度。
[0104]
当目标充满视场时，无人机已经非常接近目标，并且在接近目标后由飞手控制无人机降落在目标上。
[0105]
该跟踪过程中，随着无人机逐渐接近目标，获得的影像信息逐渐更新，即获得了如图2、图3、图4和图5中所示的按照时间顺序排布的影像图，跟踪框为绿色框，从图2至图5中可知，该跟踪方案中的跟踪框随着无人机接近目标而逐步增大，可以有效解决无人机抵近目标时的尺度膨胀问题。
[0106]
再单独使用传统的原始siamrpn算法对同样的目标进行跟踪，获得的跟踪框如图2、图3、图4和图5中的黄色框所示；该原始siamrpn算法，由于不能适应尺度膨胀，造成跟踪失败。
[0107]
以上结合优选实施方式和范例性实例对本发明进行了详细说明。不过需要声明的是，这些具体实施方式仅是对本发明的阐述性解释，并不对本发明的保护范围构成任何限制。在不超出本发明精神和保护范围的情况下，可以对本发明技术内容及其实施方式进行各种改进、等价替换或修饰，这些均落入本发明的保护范围内。本发明的保护范围以所附权利要求为准。