一种基于孪生注意力网络的在线更新目标跟踪方法和系统与流程

技术特征：
1.一种基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，包括：获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片；所述目标跟踪网络模型包括：特征提取网络和区域建议网络；所述特征提取网络包括第一输入分支和第二输入分支；所述第一输入分支和第二输入分支均与所述区域建议网络连接；所述区域建议网络与所述分类和回归头网络连接；所述第一输入分支和所述第二输入分支中的第三层网络结构、第四层网络结构和第五层网络结构中均嵌入有孪生注意力网络；所述孪生注意力网络为两输入分支并行结构，孪生注意力网络的每一输入分支均包括全局平均池化器、全局最大平均池化器、3个全连接层、整流层以及激活函数；所述区域建议网络包含分类和回归头网络；所述初始搜索图片为第一帧中的目标区域；将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子；所述全局描述子包括全局平均池化描述子和全局最大平均池化描述子；根据所述全局描述子确定特征通道权重；根据所述特征通道权重和输入特征得到最终注意力特征；所述输入特征为所述孪生注意力网络中全连接层的输入特征；根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图；将所述相似度得分图输入至所述区域建议网络中生成锚框；将所述锚框输入至所述分类和回归头网络得到与每个锚框对应的置信度得分和边界框偏差；选取置信度得分最高的锚框，并根据与置信度得分最高的锚框对应的边界框偏差生成跟踪目标包围框；根据所述跟踪目标包围框确定第一帧中的目标，得到第一帧的跟踪结果；根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片；采用所述新的模板图片替换所述初始模板图片后，返回步骤“将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子”。2.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片，之前还包括：获取跟踪目标的预设边界框；以所述预设边界框的中心点坐标为中心在第一帧图片中剪裁出预设边长的正方形区域；将所述正方形区域重新采样为边长是127
×
127的图片以作为初始模板图片。3.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子，具体包括：将所述初始模板图片送入所述第一输入分支，在所述第一输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第一全局描述子；所述第一全局描述子包括：第一全局平均池化描述子和第一全局最大平均池化描述子；
将所述初始搜索图片送入所述第二输入分支，在所述第二输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第二全局描述子；所述第二全局描述子包括：第二全局平均池化描述子和第二全局最大平均池化描述子。4.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图，具体包括：采用相关计算法根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定初始相似度得分图；将所述初始相似度得分图进行逐元素加权求和得到所述相似度得分图。5.根据权利要求1所述的基于孪生注意力网络的在线更新目标跟踪方法，其特征在于，所述根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片，具体包括：对所述第一帧的跟踪结果、过程累积模板图片和初始模板图片进行加权相加得到所述新的模板图片；所述过程累积模板图片为跟踪结构融合得到的图片。6.一种基于孪生注意力网络的在线更新目标跟踪系统，其特征在于，包括：获取模块，用于获取训练好的目标跟踪网络模型、初始模板图片和初始搜索图片；所述目标跟踪网络模型包括：特征提取网络和区域建议网络；所述特征提取网络包括第一输入分支和第二输入分支；所述第一输入分支和第二输入分支均与所述区域建议网络连接；所述区域建议网络与所述分类和回归头网络连接；所述第一输入分支和所述第二输入分支中的第三层网络结构、第四层网络结构和第五层网络结构中均嵌入有孪生注意力网络；所述孪生注意力网络为两输入分支并行结构，孪生注意力网络的每一输入分支均包括全局平均池化器、全局最大平均池化器、3个全连接层、整流层以及激活函数；所述区域建议网络包含分类和回归头网络；所述初始搜索图片为第一帧中的目标区域；全局描述子确定模块，用于将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子；所述全局描述子包括全局平均池化描述子和全局最大平均池化描述子；特征通道权重确定模块，用于根据所述全局描述子确定特征通道权重；最终注意力特征确定模块，用于根据所述特征通道权重和输入特征得到最终注意力特征；所述输入特征为所述孪生注意力网络中全连接层的输入特征；相似度得分图确定模块，用于根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定相似度得分图；锚框生成模块，用于将所述相似度得分图输入至所述区域建议网络中生成锚框；置信度得分和边界框偏差确定模块，用于将所述锚框输入至所述分类和回归头网络得到与每个锚框对应的置信度得分和边界框偏差；跟踪目标包围框生成模块，用于选取置信度得分最高的锚框，并根据与置信度得分最高的锚框对应的边界框偏差生成跟踪目标包围框；跟踪结果确定模块，用于根据所述跟踪目标包围框确定第一帧中的目标，得到第一帧的跟踪结果；
模板图片更新模块，用于根据所述第一帧的跟踪结果和初始模板图片生成新的模板图片；循环模块，用于采用所述新的模板图片替换所述初始模板图片后，返回执行“将所述初始模板图片和所述初始搜索图片同时送入所述特征提取网络的输入分支得到全局描述子”。7.根据权利要求6所述的基于孪生注意力网络的在线更新目标跟踪系统，其特征在于，还包括：预设边界框获取模块，用于获取跟踪目标的预设边界框；裁剪模块，用于以所述预设边界框的中心点坐标为中心在第一帧图片中剪裁出预设边长的正方形区域；初始模板图片确定模块，用于将所述正方形区域重新采样为边长是127
×
127的图片以作为初始模板图片。8.根据权利要求6所述的基于孪生注意力网络的在线更新目标跟踪系统，其特征在于，所述全局描述子确定模块包括：第一全局描述子确定单元，用于将所述初始模板图片送入所述第一输入分支，在所述第一输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第一全局描述子；所述第一全局描述子包括：第一全局平均池化描述子和第一全局最大平均池化描述子；第二全局描述子确定单元，用于将所述初始搜索图片送入所述第二输入分支，在所述第二输入分支中依次经过五层特征提取网络，第三层网络、第四层网络和第五层网络提取的特征分别输入所述孪生注意力网络，经所述孪生注意力网络的全局平均池化器和全局最大平均池化器后得到第二全局描述子；所述第二全局描述子包括：第二全局平均池化描述子和第二全局最大平均池化描述子。9.根据权利要求6所述的基于孪生注意力网络的在线更新目标跟踪系统，其特征在于，所述相似度得分图确定模块包括：初始相似度得分图确定单元，用于采用相关计算法根据所述最终注意力特征和与所述最终注意力特征对应的搜索注意力特征确定初始相似度得分图；相似度得分图确定单元，用于将所述初始相似度得分图进行逐元素加权求和得到所述相似度得分图。10.根据权利要求6所述的基于孪生注意力网络的在线更新目标跟踪系统，其特征在于，所述模板图片更新模块包括：模板图片更新单元，用于对所述第一帧的跟踪结果、过程累积模板图片和初始模板图片进行加权相加得到所述新的模板图片；所述过程累积模板图片为跟踪结构融合得到的图片。

技术总结
本发明涉及一种基于孪生注意力网络的在线更新目标跟踪方法和系统。本发明提供的基于孪生注意力网络的在线更新目标跟踪方法，通过采用在线更新模板图片的策略，可以实时获取目标的外观状态，便于跟踪算法适应目标的形变，部分遮挡已经尺度变化。同时采用孪生注意力网络加强了对于跟踪目标重要的特征同时抑制了非重要特征，有利于跟踪器将目标与背景区分开来，进而能够提高目标跟踪的准确性。进而能够提高目标跟踪的准确性。进而能够提高目标跟踪的准确性。


技术研发人员：魏振忠 肖定坤 张广军
受保护的技术使用者：北京航空航天大学
技术研发日：2021.09.01
技术公布日：2021/11/14