多模板网络框架的目标跟踪方法及装置

1.本发明涉及医学图像处理的技术领域，尤其涉及一种多模板网络框架的目标跟踪方法，以及多模板网络框架的目标跟踪装置。


背景技术：

2.随着大数据、云计算以及人工智能的快速发展，目标跟踪在许多领域拥有广泛的应用。其要求是已知第一帧图像当中跟踪目标的位置以及尺寸信息，在后续视频图像帧中对目标的位置以及尺寸等信息进行预测以达到跟踪的目的。
3.早期的目标跟踪方法主要基于生成式模型，近年来的目标跟踪主要基于判别式模型，可以分为相关滤波与深度学习两个方向。相关滤波起源与通讯领域，用于衡量两个信号的相似度，在目标跟踪领域其原理是与滤波模板图像进行相似性计算得到特征响应图，响应图的峰值位置即为预测的目标。虽然人工设置的特征速度很快可以达到数百帧每秒，但是这种基于纹理、颜色信息的提取表观特征的方法，很难维持较高的鲁棒性。而随着深度学习方法的广泛应用,人们开始考虑将其应用到目标跟踪中，并且提出了许多深度学习框架提升特征表达能力来提高跟踪的鲁棒性。
4.在实际应用中，会出现很多情况导致跟踪的准确率很低，甚至会出现跟踪错误目标的情况。例如：在超声图像跟踪过程中可能会出现相似目标，导致跟踪出现错误的情况；在高速无人机拍摄得到的比较模糊的红外图像或者遥感图像当中，由于噪声比较大可能会导致比较大的跟踪误差。bharadwaj在2021年采用模板更新与线性卡尔曼滤波结合的框架更新孪生网络以此来得到鲁棒且准确的跟踪目标。但这种方法的模板更新采用阈值更新的策略很难找到适应与当前目标的模板，而且以超声图像跟踪为例，线性卡尔曼滤波忽视了人体运动的特性例如呼吸等导致的类周期运动和咳嗽导致的剧烈变速运动，导致跟踪此类目标的精度较低，因此需要采用新的优化跟踪框架对目标进行跟踪。


技术实现要素：

5.为克服现有技术的缺陷，本发明要解决的技术问题是提供了一种多模板网络框架的目标跟踪方法，其可针对不同应用场景的目标进行跟踪，准确率高、鲁棒性和兼容性好，具有很高的适用性和实用性。
6.本发明的技术方案是：这种多模板网络框架的目标跟踪方法，其包括以下步骤：
7.(1)数据预处理：将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作，得到适应于网络的尺寸；
8.(2)双模板特征提取：双模板由两个孪生单模板子网络组成，两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像，每个子网络得到模板位置在搜索图像中的概率分布图；
9.(3)峰值检测：为了防止背景中相似物体对目标的干扰，对概率分布图按照从粗到细进行量化统计得到局部区域的峰值，当峰值大于设定的阈值时，其所在的位置被添加到
位置候选集；
10.(4)多特征优化：利用上下文相似性对模板与搜索图像的相关性进行量化，对候选目标的速度与背景速度的差异进行量化，二者量化值之和用于在位置候选集中挑选最佳目标位置。
11.本发明采用双模板特征提取，在长时序列中当目标发生较大形变时也能保持稳定跟踪。采用峰值检测、多特征优化的策略进行优化，能大幅改善目标跟踪过程中的漂移现象，对相似目标以及类周期运动和剧烈变速运动有较高的跟踪准确率。因此，本发明可针对不同应用场景的目标进行跟踪，准确率高、鲁棒性和兼容性好，具有很高的适用性和实用性。
12.还提供了多模板网络框架的目标跟踪装置，其包括：
13.数据预处理模块，其配置来将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作，得到适应于网络的尺寸；双模板特征提取模块，其中双模板由两个孪生单模板子网络组成，两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像，每个子网络得到模板位置在搜索图像中的概率分布图；
14.峰值检测模块，其配置来峰值检测：为了防止背景中相似物体对目标的干扰，对概率分布图按照从粗到细进行量化统计得到局部区域的峰值，当峰值大于设定的阈值时，其所在的位置被添加到位置候选集；
15.多特征优化模块，其配置来多特征优化：利用上下文相似性对模板与搜索图像的相关性进行量化，对候选目标的速度与背景速度的差异进行量化，二者量化值之和用于在位置候选集中挑选最佳目标位置。
附图说明
16.图1是根据本发明的多模板网络框架的目标跟踪方法的流程图。
17.图2示出了根据本发明的多模板网络框架的目标跟踪方法的一个具体实施例的流程图。
具体实施方式
18.如图1所示，这种多模板网络框架的目标跟踪方法，其包括以下步骤：
19.(1)数据预处理：将初始帧模板图像、上一帧模板图像和当前帧输入图像进行crop和resize操作(即裁剪和调整图像大小操作)，得到适应于网络的尺寸；
20.(2)双模板特征提取：双模板由两个孪生单模板子网络组成，两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像，每个子网络得到模板位置在搜索图像中的概率分布图；
21.(3)峰值检测：为了防止背景中相似物体对目标的干扰，对概率分布图按照从粗到细进行量化统计得到局部区域的峰值，当峰值大于设定的阈值时，其所在的位置被添加到位置候选集；
22.(4)多特征优化：利用上下文相似性对模板与搜索图像的相关性进行量化，对候选目标的速度与背景速度的差异进行量化，二者量化值之和用于在位置候选集中挑选最佳目
标位置。
23.本发明采用双模板特征提取，在长时序列中当目标发生较大形变时也能保持稳定跟踪。采用峰值检测、多特征优化的策略进行优化，能大幅改善目标跟踪过程中的漂移现象，对相似目标以及类周期运动和剧烈变速运动有较高的跟踪准确率。因此，本发明可针对不同应用场景的目标进行跟踪，准确率高、鲁棒性和兼容性好，具有很高的适用性和实用性。
24.优选地，所述步骤(1)中，进行crop和resize操作后的尺寸分别为：127
×
127
×
3、255
×
255
×
3、127
×
127
×
3。
25.优选地，所述步骤(2)中，单模板子网络将初始帧或上一帧作为模板图像，将当前帧作为搜索图像，对单模板子网络中的浅层、中层、深层特征进行融合，将模板分支与搜索分支进行互相关运算，得到搜索图像中模板位置的概率分布图。
26.优选地，所述步骤(3)中，使用金字塔结构在低分辨率下寻找初始峰值位置，再依次提高分辨率详细定位峰值位置，峰值大于设定阈值时，将其所在位置添加至位置候选集。
27.优选地，所述步骤(4)中，对得到的位置候选集，通过上下文相似性和运动一致性进行质量评估，上下文相似性基于相关系数计算两幅图像之间的相似程度，结果越大表示与初始帧模板越相似；运动一致性用来计算目标位移与背景位移之间的差异；对候选点集中的每个点进行量化评估，判断量化的最大值是否大于阈值，若大于则将候选点视为目标点，否则将背景运动近似为目标运动。
28.本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括上述实施例方法的各步骤，而所述的存储介质可以是：rom/ram、磁碟、光盘、存储卡等。因此，与本发明的方法相对应的，本发明还同时包括一种多模板网络框架的目标跟踪装置，该装置通常以与方法各步骤相对应的功能模块的形式表示。该装置包括：
29.多模板网络框架的目标跟踪装置，其包括：
30.数据预处理模块，其配置来将初始帧模板图像、上一帧模板图像和当前帧输入图像进行裁剪和调整图像大小操作，得到适应于网络的尺寸；双模板特征提取模块，其中双模板由两个孪生单模板子网络组成，两个单模板子网络的输入分别为初始帧模板、当前帧搜索图像、以及前一帧模板与当前帧搜索图像，每个子网络得到模板位置在搜索图像中的概率分布图；
31.峰值检测模块，其配置来峰值检测：为了防止背景中相似物体对目标的干扰，对概率分布图按照从粗到细进行量化统计得到局部区域的峰值，当峰值大于设定的阈值时，其所在的位置被添加到位置候选集；
32.多特征优化模块，其配置来多特征优化：利用上下文相似性对模板与搜索图像的相关性进行量化，对候选目标的速度与背景速度的差异进行量化，二者量化值之和用于在位置候选集中挑选最佳目标位置。
33.优选地，所述数据预处理模块中，进行crop和resize操作后的尺寸分别为：127
×
127
×
3、255
×
255
×
3、127
×
127
×
3。
34.优选地，所述双模板特征提取模块中，单模板子网络将初始帧或上一帧作为模板
图像，将当前帧作为搜索图像，对单模板子网络中的浅层、中层、深层特征进行融合，将模板分支与搜索分支进行互相关运算，得到搜索图像中模板位置的概率分布图。
35.优选地，所述峰值检测模块中，使用金字塔结构在低分辨率下寻找初始峰值位置，再依次提高分辨率详细定位峰值位置，峰值大于设定阈值时，将其所在位置添加至位置候选集。
36.优选地，所述多特征优化模块中，对得到的位置候选集，通过上下文相似性和运动一致性进行质量评估，上下文相似性基于相关系数计算两幅图像之间的相似程度，结果越大表示与初始帧模板越相似；运动一致性用来计算目标位移与背景位移之间的差异；对候选点集中的每个点进行量化评估，判断量化的最大值是否大于阈值，若大于则将候选点视为目标点，否则将背景运动近似为目标运动。
37.与现有的目标跟踪方法相比，本方法的优点在于：
38.1.采用双模板跟踪，在长时序列中当目标发生较大形变时也能保持稳定跟踪。
39.2.采用峰值检测、上下文相似性、运动一致性的策略进行优化，能大幅改善目标跟踪过程中的漂移现象，对相似目标以及类周期运动和剧烈变速运动有较高的跟踪准确率。
40.3.可针对不同应用场景的目标进行跟踪，准确率高、鲁棒性和兼容性好，具有很高的适用性和实用性。
41.以上所述，仅是本发明的较佳实施例，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属本发明技术方案的保护范围。