一种应用于航拍视频中的地面目标跟踪方法与流程

技术特征：
1.一种应用于航拍视频中的地面目标跟踪方法，其特征在于，包括如下步骤：s1：将siamfc 的特征空间嵌入网络由googlenet更改为resnet；s2：将搜索区域图像x输入特征空间嵌入网络resnet，将resnet的第2个block输出的深度特征输入到第一特征金字塔网络的最低层，将resnet的第3个block输出的深度特征输入到第一特征金字塔网络的中层，将resnet的第4个block输出的深度特征输入到第一特征金字塔网络的最高层；第一特征金字塔网络对输入到各层的深度特征进行处理后，在第一特征金字塔网络的最低层输出搜索区域图像x的深度特征在第一特征金字塔网络的中层输出搜索区域图像x的深度特征在第一特征金字塔网络的最高层输出搜索区域图像x的深度特征s3：将模板图像z输入和步骤s2中结构相同且参数共享的特征空间嵌入网络resnet，将resnet的第2个block输出的深度特征输入到和步骤s2中结构相同但参数不共享的第二特征金字塔网络的最低层，将resnet的第3个block输出的深度特征输入到第二特征金字塔网络的中层，将resnet的block4输出的深度特征输入到第二特征金字塔网络的最高层；第二特征金字塔网络对输入到各层的深度特征进行处理后，在第二特征金字塔网络的最低层输出模板图像z的深度特征在第二特征金字塔网络的中层输出模板图像z的深度特征在第二特征金字塔网络的最高层输出模板图像z的深度特征s4：将深度特征与组合后输入到第一跟踪头部网络中，将深度特征与组合后输入到第二跟踪头部网络中，将深度特征与组合后输入到第三跟踪头部网络中；其中，所述第一跟踪头部网络、所述第二跟踪头部网络和所述第三跟踪头部网络结构相同但参数不共享，三个跟踪头部网络均与siamfc 的跟踪头部网络的结构相同；s5：每个跟踪头部网络接收对应的深度特征和作为输入，输出第一分类置信分数图和目标边界框回归响应图；其中，k∈{2,3,4}；s6：选择三个跟踪头部网络输出的第一分类置信分数图中分类置信分数最大值所在位置，目标边界框回归响应图在该位置的向量为待跟踪目标的边界框预测结果。2.如权利要求1所述的应用于航拍视频中的地面目标跟踪方法，其特征在于，步骤s5，每个跟踪头部网络接收对应的深度特征和作为输入，输出第一分类置信分数图和目标边界框回归响应图，具体包括：每个跟踪头部网络包括用于空间位置分类的分类分支和用于目标边界框回归的回归分支，将组合后的深度特征和分别输入对应的跟踪头部网络的分类分支和回
归分支；对于分类分支，使用一个结构相同但参数不共享的多层卷积层分别处理深度特征和后做互相关操作，将互相关操作的结果分别输送到分类分支的分类子分支和中心度子分支中；分类子分支使用一个1
×
1卷积处理互相关操作的结果，输出第二分类置信分数图；中心度子分支使用一个1
×
1卷积处理互相关操作的结果，输出每一个空间位置的中心度置信概率图；在测试阶段，将中心度置信概率图作为权重与第二分类置信分数图相乘，生成第一分类置信分数图；对于回归分支，使用一个结构相同但参数不共享的多层卷积层分别处理深度特征和后做互相关操作；回归分支使用一个1
×
1卷积处理互相关操作的结果，输出目标边界框回归响应图；步骤s5形式化表示为：其中，表示特征空间嵌入网络resnet，表示模板图像z经过特征空间嵌入网络resnet的前k个block和第二特征金字塔网络处理后的深度特征，表示模板图像x经过特征空间嵌入网络resnet的前k个block和第一特征金字塔网络处理后的深度特征，k表示特征空间嵌入网络resnet的索引编号；i表示跟踪头部网络的索引编号，i∈{1,2,3}，ζ
i
表示第i个跟踪头部网络；f
i
表示从输入到第i组输出的映射，数学化表示为：其中，和分别表示第i个跟踪头部网络输出的第一分类置信分数图和目标边界框回归响应图，和分别表示第i个跟踪头部网络输出结果的高和宽。3.如权利要求2所述的应用于航拍视频中的地面目标跟踪方法，其特征在于，步骤s6，选择三个跟踪头部网络输出的第一分类置信分数图中分类置信分数最大值所在位置，目标边界框回归响应图在该位置的向量为待跟踪目标的边界框预测结果，具体包括：选择三个跟踪头部网络输出的第一分类置信分数图中分类置信分数最大值所在位置，形式化表示为：其中，p表示所有分类置信分数最大值所在位置，目标边界框回归响应图在该位置的向量为待跟踪目标的边界框预测结果，形式化表示为：其中，表示第p1个跟踪头部网络输出的目标边界框回归响应图中第p2行第p3列的向量b，p1∈{1,2,3}，
4.如权利要求1～3任一项所述的应用于航拍视频中的地面目标跟踪方法，其特征在于，步骤s2中，搜索区域大小自适应调整策略，具体包括：搜索区域图像为航拍视频中每一帧图像的一部分；在跟踪时，设置初始的搜索区域图像的大小为d0，以三个跟踪头部网络的第一分类置信分数图中分类置信分数的最大值代表对航拍视频中当前帧图像的跟踪质量θ，设置稳定阈值τ1、丢失阈值τ2以及跟踪质量类别数目m；则下一帧图像中的搜索区域图像的大小为：目m；则下一帧图像中的搜索区域图像的大小为：其中，μ表示特征空间嵌入网络resnet的最大感受野大小的3倍，函数max表示取集合中元素的最大值。

技术总结
本发明公开了一种应用于航拍视频中的地面目标跟踪方法，将SiamFC 的特征空间嵌入网络更改为ResNet；将搜索区域图像x和模板图像z输入ResNet提取深度特征；将深度特征输入跟踪头部网络，输出分类置信分数图和目标边界框回归响应图；选择分类置信分数最大值所在位置，目标边界框回归响应图在该位置的向量为目标边界框预测结果。在提取深度特征过程中，通过构造特征金字塔网络，自适应地融合特征空间嵌入网络的浅层和深层特征，使特征表示既有丰富的细节信息，也有强大的语义信息，可以强化小目标的判别性特征表示，避免跟踪漂移甚至跟踪丢失问题。并提出搜索区域大小自适应调整策略，可以增强跟踪器抵抗跟踪丢失风险能力。可以增强跟踪器抵抗跟踪丢失风险能力。可以增强跟踪器抵抗跟踪丢失风险能力。


技术研发人员：刘庆杰 扶智宏 温奇 王兵 王薇 李苓苓 董喆 罗伟儿
受保护的技术使用者：应急管理部国家减灾中心 北京空间机电研究所
技术研发日：2021.09.30
技术公布日：2022/3/21