一种单目标追踪方法、装置、电子设备及存储介质与流程

1.本发明涉及计算机视觉跟踪技术领域，尤其涉及一种单目标追踪方法、装置、电子设备及存储介质。


背景技术：

2.对视频图像中的待追踪目标进行追踪，最基础的就是根据目标检测结果对每一帧图像中的待追踪目标进行定位和分类识别。作为人工智能领域的重要分支，计算机视觉已经日渐成熟，尤其是基于深度卷积神经网络(convolutional neural networks，cnn)的单目标追踪算法在计算机视觉领域取得了突破性进展，在许多应用上的精度也逐渐达到工业化、产品化的标准，这主要归功于其具有深层的网络结构以及能通过大量的训练数据进行预训练。
3.然而，也正是由于cnn这两大特点，导致了深层网络模型的存储量大，前向推理时运行速度慢，导致检测速度跟不上，并且对待追踪目标的检测准确率也相对较低，这是深度学习成果在工业化、产品化过程中最大的障碍之一。
4.有鉴于此，亟需进一步提高现有的目标检测模型的推理速度以及推理精度。


技术实现要素：

5.本发明提供一种单目标追踪方法、装置、电子设备及存储介质，用以解决现有技术中模型检测速度慢、时间成本高，不能满足快速、精准进行单目标跟踪需求的缺陷。
6.第一方面，本发明提供一种单目标追踪方法，包括：
7.步骤1，将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和分类特征fcls；
8.步骤2，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores；
9.步骤3，执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
10.根据本发明提供的一种单目标追踪方法，在将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络之前，还包括：
11.将任一初始图像和所述待追踪目标在所述任一初始图像上的已知坐标输入至模板分支网络，在tenorrt推理框架下，以获取所述模板分支网络输出的坐标偏移卷积核模板kreg和分类卷积核模板kcls；
12.根据所述坐标偏移卷积核模板kreg和分类卷积核模板kcls，组成所述卷积核模板。
13.根据本发明提供的一种单目标追踪方法，所述模板分支网络和所述检测分支网
络，均是借助训练目标追踪算法后保存的onnx模型转换成tensorrt框架的网络结构模型后生成的；
14.所述模板分支网络和所述检测分支网络，为一对权值共享的孪生网络结构模型。
15.根据本发明提供的一种单目标追踪方法，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores，包括：
16.利用所述坐标偏移特征freg、所述分类特征fcls和卷积核模板，构建基于cuda并行实现的二维动态卷积操作cuconv；
17.所述二维动态卷积操作cuconv包括所述坐标偏移动态卷积操作和分类动态卷积操作；
18.在cuda并行实现下，以坐标偏移特征freg和分类特征fcls作为待卷积特征，执行所述坐标偏移动态卷积操作和分类动态卷积操作，生成多个所述目标坐标偏移向量delta_offsets和目标置信度向量scores。
19.根据本发明提供的一种单目标追踪方法，所述利用所述坐标偏移特征freg、所述分类特征fcls和卷积核模板，构建基于cuda并行实现的二维动态卷积操作cuconv，包括：
20.基于所述坐标偏移特征freg和坐标偏移卷积核模板kreg在所述卷积核模板上的第一权重，构建所述坐标偏移动态卷积操作；
21.基于分类特征fcls和分类卷积核模板kcls在所述卷积核模板上的第二权重，构建所述分类动态卷积操作；
22.所述第一权重和所述第二权重，是训练目标追踪算法后保存的。
23.根据本发明提供的一种单目标追踪方法，所述执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标，包括：
24.对所述目标坐标偏移向量delta_offsets执行修正动态卷积操作，生成对应的追踪坐标偏移向量deltas；
25.构建与所述待卷积特征的尺寸相对应的汉明窗和尺度变化惩罚；
26.根据所述汉明窗和尺度变化惩罚，确定与所有置信度scores中的最大置信度相对应的最优追踪坐标偏移向量deltas
max
；
27.根据所述最优追踪坐标偏移向量deltas
max
和所述待追踪目标在前一帧图像中的追踪坐标，确定所述待追踪目标在当前帧图像上的追踪坐标。
28.根据本发明提供的一种单目标追踪方法，在获取所述待追踪目标在当前帧图像上的追踪坐标之后，还包括：
29.迭代执行步骤1-步骤3，直至达到预设迭代停止条件，输出所述待追踪目标的运行轨迹。
30.第二方面，本发明还提供一种单目标追踪装置，包括：
31.特征提取单元主要用于将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和所有分类特征fcls；
32.偏移运算单元主要用于以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores；
33.坐标输出单元主要用于执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
34.第三方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述单目标追踪方法的步骤。
35.第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述单目标追踪方法的步骤。
36.本发明提供的单目标追踪方法、装置、电子设备及存储介质，为将tensorrt推理框架应用于动态可变卷积核加速端到端单目标追踪算法提供了可行性方法保证了追踪精度的同时，提高了推理速度和实时性能。
附图说明
37.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1是本发明提供的单目标追踪方法的流程示意图；
39.图2是本发明提供的一种基于cuda加速的二维动态卷积操作cuconv运算示意图；
40.图3是本发明提供的基于tensorrt端到端动态卷积核加速方法实现目标追踪的流程示意图；
41.图4本发明提供的每帧图像算法前向推理的时间示意图；
42.图5本发明提供的每帧图像算法前向推理的得分示意图；
43.图6是本发明提供的单目标追踪装置的结构示意图；
44.图7是本发明提供的电子设备的结构示意图。
具体实施方式
45.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.需要说明的是，在本发明实施例的描述中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发
明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
47.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
48.tensorrt是一个高性能的深度学习推理(inference)优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。但tensorrt的深度神经网络推理优化引擎仅可以加速优化卷积核权重不变的神经网络结构，即只能对仅有一个分支的神经网络结构进行加速，才能实现端到端前向推理。
49.英伟达(nvidia)推出的并行运算平台(compute unified device architecture，cuda)，能够让图形处理器(graphics processing unit，gpu)拥有解决复杂计算问题的能力，可以帮助用户为不同的任务对处理器进行编程。
50.本发明提供的单目标追踪方法、装置、电子设备及存储介质，通过cuda将tensorrt和gpu结合起来，能在几乎所有的网络模型框架中进行快速和高效的部署推理。
51.下面结合图1-图7描述本发明实施例所提供的单目标追踪方法、装置、电子设备及存储介质。
52.图1是本发明提供的单目标追踪方法的流程示意图，如图1所示，包括但不限于以下步骤：
53.步骤1，将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和所有分类特征fcls
54.其中，当前帧图像是从利用无人机实时拍摄的一帧图像，待追踪目标可以由用户预先在初始图像中标注出的目标，一般是活动的目标，也可以是静止的目标。在该待追踪目标为活动的目标时，本发明所提供的单目标追踪方法，能够根据对相邻帧图像中的待追踪目标进行连续迭代分类以及定位，获取该待追踪目标的移动轨迹，以实现对其追踪。
55.前一帧图像可以是按预设采样周期进行采样时，在当前帧图像的前一采用周期所采集到的图像，在该图像上预先确定出了其中的待追中目标的追踪坐标，本发明可以通过待追踪目标在前一帧图像中的追踪坐标，实现在当前帧图像上对待追踪目标的分类识别以及定位。
56.具体来说，将当前帧图像和待追踪目标在前一帧图像中的追踪坐标作为检测分支网络dnet的输入，以由检测分支网络dnet在tensorrt推理框架下对当前帧图像进行特征提取，输出待追踪目标所所在目标搜索区域内相关的位置坐标偏移特征freg和分类特征
fcls。
57.其中，检测分支网络dnet可以采用一般的用于实现目标检测的卷积神经网络模型，对此本发明不作具体的限定。
58.其中，坐标偏移特征freg主要用于反映待追踪目标在当前帧图像中的位置特征，分类特征fclc主要用于反映待追踪目标在当前帧图像中的分类识别特征。
59.作为一种可选实施例，步骤1可以包括但不限于以下步骤：
60.步骤1.1，构建目标追踪算法相关的检测分支网络dnet，为基于tensorrt框架下的网络模型，由开放神经网络交换(open neural network exchange，onnx)模型转换得到，其中onnx模型为训练后的目标检测模型。
61.步骤1.2，将视频图像序列中的最新采集到的当前帧图像frame以及对其前一帧图像进行识别后获取的待追踪目标的追踪坐标roi[x,y,w,h]，输入至检测分支网络dnet，以获取由检测分支网络dnet输出的目标追踪区域的位置坐标偏移特征freg和分类特征fcls，其具体过程为：
[0062]
freg,fcls＝dnet(frame,roi)。
[0063]
步骤2，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores。
[0064]
其中，卷积核模板是根据初始图像确定的，卷积核模板主要包括坐标偏移卷积核模板kreg和分类卷积核模板kcls。
[0065]
本发明是基于cuda加速的二维动态卷积运算cuconv，实现目标坐标偏移向量delta_offsets和目标置信度向量scores的输出，实现对当前帧图像中待追踪目标的定位，具体包括但不限于以下步骤：
[0066]
以坐标偏移卷积核模板kreg和分类卷积核模板kcls所构建的卷积核模板作为目标追踪动态卷积核，以各坐标偏移特征freg和分类特征fcls作为二维动态卷积运算cuconv的待卷积特征，实现基于cuda并行下的坐标偏移动态卷积操作，生成对应的目标坐标偏移向量delta_offsets和目标置信度向量scores，具体的过程为：
[0067]
delta_offsets,scores＝cuconv(kreg,kcls,freg,fcls)。
[0068]
步骤3，执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
[0069]
首先，可以根据训练好后修正卷积核保，对所述目标坐标偏移向量delta_offsets和其目标置信度向量scores执行偏置动态卷积操作，生成对应的追踪坐标偏移向量deltas。以进一步提升待追踪目标在当前帧图像中的定位精度。
[0070]
进一步地，由于在步骤2中会输出带有置信度scores的多个目标坐标偏移向量delta_offsets，故需要从所有的目标坐标偏移向量delta_offsets中确定出一个最优的坐标偏移作为待追踪目标在当前帧图像的最终定位。
[0071]
进一步地，也可以在对目标坐标偏移向量delta_offsets进行修正后，获取到对应的追踪坐标偏移向量deltas之后，对追踪坐标偏移向量deltas及其对应的置信度scores进行后处理。
[0072]
故本发明对所有追踪坐标偏移向量deltas(或者目标坐标偏移向量delta_
offsets)及其对应的置信度scores进行后处理，能实现在当前帧图像中对待追踪目标的有效追踪。
[0073]
本发明提供的单目标追踪方法，为tensorrt推理框架应用于动态可变卷积核加速端到端单目标追踪提供了可行性方法，保证了追踪精度的同时，提高了推理速度和实时性能。
[0074]
基于上述实施例的内容，作为一种可选实施例，在将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络之前，还包括：
[0075]
将任一初始图像和所述待追踪目标在所述任一初始图像上的已知坐标输入至模板分支网络，在tenorrt推理框架下，以获取所述模板分支网络输出的坐标偏移卷积核模板kreg和分类卷积核模板kcls；
[0076]
根据所述坐标偏移卷积核模板kreg和分类卷积核模板kcls，组成所述卷积核模板。
[0077]
其中，任一初始图像可以是由用户手动从视频图像序列中选择的任一帧初始图像，并通过手动标注的方式在该初始图像中确定待选目标所在目标搜索区域，并将目标搜索区域的位置作为已知坐标。
[0078]
作为一种可选实施例，上述创建所述卷积核模板的步骤，包括但不限于以下步骤：
[0079]
首先，构建模板分支网络tnet，其中模板分支网络tnet可以是一种卷积神经网络模型，包含5个卷积层构成。
[0080]
然后，将由pytorch保存的孪生网络网络模型中的分支神经网络onnx模型，转换为tensorrt推理框架网络模型。
[0081]
将包含有预先设定了待追踪目标的初始图像，以及待追踪目标的在初始图像上的已知坐标initroi[x,y,w,h]，输入至模板分支网络tnet，输出动态可变化的待追踪目标的坐标偏移卷积核模板kreg和分类卷积核模板kcls，则可以为检测分支网络dnet的二维动态卷积操作cuconv运算设定动态的卷积核模板。
[0082]
需要说明的是，针对用户在初始图像所设定的任一待追踪目标(包含该目标位置的已知坐标)后，则相当于确定了一个卷积核模板所相关的坐标偏移卷积核模板kreg和分类卷积核模板kcls，并在后续的整个但目标跟踪的过程中，该卷积核模板是保存不变的。
[0083]
用户可以根据跟踪的需要对不同的待追踪目标进行定位、跟踪，即只需要重新确定初始图像，或者重新在初始图像中确定出新的待追踪目标及其已知坐标，就能完成对不同待追踪目标的后续跟踪。
[0084]
基于上述实施例的内容，作为一种可选实施例，所述模板分支网络和所述检测分支网络，均是借助训练目标追踪算法后保存的onnx模型转换成tensorrt框架的网络结构模型后生成的；
[0085]
所述模板分支网络和所述检测分支网络，为一对权值共享的孪生网络结构模型。
[0086]
需要说明的是，模板分支网络tnet和检测分支网络dnet可以是同一卷积神经网络模型，也可以采用不同的结构的神经网络模型，即采用孪生网络结构模型时，两者是可以实现权值共享的。
[0087]
可选地，两者也可以采用伪孪生神经网络，例如一个为：lstm模型，一个采用cnn模型，此时两者的权值则不会共享。
[0088]
本发明在选择孪生网络结构模型的两个分支分别作为模板分支网络tnet和检测分支网络dnet，能够有效地提升网络模型的训练效率，且能够提升后续由检测分支网络dnet根据模板分支网络tnet所确定卷积核模板进行目标识别与定位的精度。
[0089]
基于上述实施例的内容，作为一种可选实施例，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores，包括：
[0090]
利用所述坐标偏移特征freg、所述分类特征fcls和卷积核模板，构建基于cuda并行实现的二维动态卷积操作cuconv；
[0091]
所述二维动态卷积操作cuconv包括所述坐标偏移动态卷积操作和分类动态卷积操作；
[0092]
在cuda并行实现下，以坐标偏移特征freg和分类特征fcls作为待卷积特征，进行所述坐标偏移动态卷积操作和分类动态卷积操作，生成多个所述目标坐标偏移向量delta_offsets和目标置信度向量scores。
[0093]
其中，利用所述坐标偏移特征freg、所述分类特征fcls和卷积核模板，构建基于cuda并行实现的二维动态卷积操作cuconv的具体计算过程为：
[0094]
delta_offsets,scores＝cuconv(kreg,kcls,freg,fcls)。
[0095]
图2是本发明提供的一种基于cuda加速的二维动态卷积操作cuconv运算示意图，如图2所示，本发明构建基于cuda加速的二维动态卷积操作cuconv，包括：
[0096]
基于所述坐标偏移特征freg和坐标偏移卷积核模板kreg在所述卷积核模板上的第一权重，构建所述坐标偏移动态卷积操作；
[0097]
基于分类特征fcls和分类卷积核模板kcls在所述卷积核模板上的第二权重，构建所述分类动态卷积操作；
[0098]
所述第一权重和所述第二权重，是训练目标追踪算法后保存的。
[0099]
其中，第一权重，又称坐标偏移卷积核权重wreg，第二权重又称分类卷积核权重wcls，坐标偏移卷积核权重wreg和分类卷积核权重wcls是对目标检测模型进行训练后确定并保存的对应层的权重和偏置。
[0100]
本发明提供的单目标追踪方法，采用了基于tensorrt与cuda实现的端到端动态卷积核单目标追踪算法，为tensorrt推理框架应用于动态可变卷积核加速端到端单目标追踪算法提供了可行性方法，同时实现了具有普遍应用性的多分支可变卷积核神经网络的端到端加速，满足了目标追踪算法效率的提升和实时性的要求。
[0101]
基于上述实施例的内容，作为一种可选实施例，
[0102]
执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标，包括：
[0103]
对所述目标坐标偏移向量delta_offsets执行修正动态卷积操作，生成对应的追踪坐标偏移向量deltas；
[0104]
构建与所述待卷积特征的尺寸相对应的汉明窗和尺度变化惩罚；
[0105]
根据所述汉明窗和尺度变化惩罚，确定与所有置信度scores中的最大置信度相对应的最优追踪坐标偏移向量deltas
max
；
[0106]
根据所述最优追踪坐标偏移向量deltas
max
和所述待追踪目标在前一帧图像中的追踪坐标，确定所述待追踪目标在当前帧图像上的追踪坐标。
[0107]
首先，可以对每个所述目标坐标偏移向量delta_offsets和目标置信度向量scores执行修正动态卷积操作，生成对应的追踪坐标偏移向量deltas确定每个追踪坐标偏移向量deltas的置信度向量scores，其具体的计算过程为：
[0108]
deltas＝cuconv(wdelta,bias,delta_offsets)。
[0109]
进一步地，由于在步骤2中会输出带有置信度向量scores的目标坐标偏移向量delta_offsets，故需要从所有的追踪坐标偏移向量deltas确定出一个最优的坐标偏移作为待追踪目标在当前帧图像的最终定位，故本发明基于汉明窗和尺度变化惩罚相结合的后处理方法，还可以进一步对所有追踪坐标偏移deltas和及其对应的置信度scores进行后处理，以实现在当前帧图像对待追踪目标的追踪，具体包括但不限于以下步骤：
[0110]
首先，构建与特征图尺寸相对应的汉明窗hanning和尺度变化惩罚penalty；
[0111]
对所有的置信度scores进行排序，以获取最大置信度scores
max
；
[0112]
将追踪坐标偏移向量deltas中与最大置信度scores
max
得分相同索引的一个追踪坐标偏移向量为目标坐标偏移值最优追踪坐标偏移向量deltas
max
；
[0113]
根据待追踪目标在前一帧图像中的追踪坐标对最优追踪坐标偏移向量deltas
max
进行坐标变换，则可以获取到待追踪目标在当前帧图像上的追踪坐标，坐标变换的表达式可以表示为：
[0114]
score＝max(score[i]*penalty[i]*hanning[i])；
[0115]
roi.x＝anchor.x deltas.x*anchor.w；
[0116]
roi.y＝anchor.y deltas.y*anchor.h；
[0117]
roi.w＝anchor.w*exp(delta.w)；
[0118]
roi.h＝anchor.h*exp(delta.h)；
[0119][0120]
0≤i≤j,j∈{sizea,sizeb},pi＝3.14159；
[0121]
其中，anchor[x,y,w,h]为预设目标对应的特征图在前一帧图像中的追踪坐标；roi[x,y,w,h]为坐标变换后获取的追踪坐标；deltas[x,y,w,h]为最优追踪坐标偏移向量；{sizea,sizeb}为特征图尺寸。
[0122]
本发明提供的单目标追踪方法，采用汉明窗和尺度变化惩罚对追踪坐标偏移向量进行优化，能够进一步的提升目标追踪的精度。
[0123]
基于上述实施例的内容，作为一种可选实施例，在获取所述待追踪目标在当前帧图像上的追踪坐标之后，还包括：
[0124]
迭代执行步骤1-步骤3，直至达到预设迭代停止条件，输出所述待追踪目标的运行轨迹。
[0125]
图3是本发明提供的基于tensorrt端到端动态卷积核加速方法实现目标追踪的流程示意图，如图3所示，整体操作包括但不限于以下步骤：
[0126]
第一步，卷积核模板的创建。在初始化训练好的跟踪器或目标检测模型模板卷积
权重的基础上，构建模板分支网络tnet，在本发明中由pytorch保存的孪生网络模板中的分支神经网络onnx模型，转换为tensorrt推理框架网络模型，其中模板分支网络tnet可以包含5个卷积层。
[0127]
将视频序列中含待追踪目标的初始图像frame，以及待追踪目标在该初始图像frame上的已知坐标initroi[x,y,w,h]，输入至模板分支网络tnet，输出动态可变化的待追踪目标的坐标偏移卷积核模板kreg和分类卷积核模板kcls，以为检测分支模型dnet的二维动态卷积操作cuconv设定卷积核模板。
[0128]
第二步，图像实时检测。构建检测分支网络dnet，本发明由pytorch保存的孪生网络模板的分支神经网络onnx模型转换为tensorrt推理框架网络模型，其中检测分支网络dnet也可以由5个卷积层构成，与模板分支网络tnet为孪生网络，两者权值共享。
[0129]
将视频图像序列中的当前帧图像frame以及待追踪目标在前一帧图像中的追踪坐标roi
′
[x,y,w,h]输入至检测分支网络dnet，以实现目标检测，输出目标追踪区域位置相关的坐标偏移特征freg和分类特征fcls。
[0130]
进一步地，构建基于cuda加速的二维动态卷积操作cuconv，即以kreg和kcls为目标追踪动态卷积核，以位置坐标偏移特征freg和分类特征fcls作为二维动态卷积操作cuconv的待卷积特征，实现cuda加速下的动态可变卷积，具体包括两个方面：
[0131]
基于坐标偏移特征freg和坐标偏移卷积核模板kreg在所述卷积核模板上的坐标偏移卷积核权重，构建坐标偏移动态卷积操作；
[0132]
基于分类特征fcls和分类卷积核模板kcls在所述卷积核模板上的分类卷积核权重，构建分类动态卷积操作。
[0133]
进一步地，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，执行tensorrt推理框架下的二维动态卷积操作，生成多个目标坐标偏移量delta_offsets和对应的置信度向量scores，以实现坐标偏移特征的卷积。
[0134]
进一步地，可以对每个所述目标坐标偏移向量delta_offsets和目标置信度向量scores执行修正动态卷积操作，生成对应的追踪坐标偏移向量deltas，以实现分类特征的卷积。其中本步骤中的分类动态卷积操作的卷积核权重wcls和偏置bias为训练算法后保存对应层的权重和偏置。
[0135]
最后，执行对输出的所有追踪坐标偏移向量deltas和相关置信度scores的后处理，以获取到最优追踪坐标偏移向量deltas
max
。进而，根据最优追踪坐标偏移向量deltas
max
和所述待追踪目标在前一帧图像中的追踪坐标，确定所述待追踪目标在当前帧图像上的追踪坐标。
[0136]
迭代执行上述步骤二中的所有步骤，依次对视频图像序列中的每一帧当前图像进行待追踪目标的识别以及定位，并由每帧图像中的坐标值拟合成待追踪目标在视频图像序列中的运行轨迹，完成对待追踪目标的历史运行轨迹的生成，同时能实时在新获取到的图像中定位出待追踪目标的位置坐标，直至完成对其的快速追踪。
[0137]
其中，预设迭代停止条件可以根据实际的检测需要进行定义，如：若用户对输入的初始图像或者重新指定了初始图像中新的待追踪目标，则在重新执行上述步骤一和步骤二之后，重新迭代执行步骤二直至实现对整个视频图像序列的检测，完成追踪任务。
[0138]
为了进一步阐述本发明所提供的单目标追踪方法的可行性与有效性，以下选择uav123无人机单目标车辆追踪数据集(https://ivul.kaust.edu.sa/pages/dataset-uav123.aspx)展开验证，选取car6数据子集展开验证(car6数据子集共有4861帧图像)。
[0139]
在本次实验中，定期执行模板分支网络tnet更新待追踪目标位置坐标偏移卷积核模板kreg和分类卷积核模板kcls，并对每帧图像执行检测分支网络dnet以及后续处理追踪目标。
[0140]
图4本发明提供的每帧图像算法前向推理的时间示意图，如图4所示，经验证本发明所提供的单目标追踪方法，可以稳定追踪目标车辆，加速后算法平均执行时间为0.00643ms，达到160fps。
[0141]
图5本发明提供的每帧图像算法前向推理的得分示意图，如图5所示，本发明提供的单目标追踪方法的追踪置信度在0.44～0.99之间。
[0142]
综上所述，本发明为tensorrt推理框架应用于动态可变卷积核加速端到端单目标追踪算法提供了可行性方法，满足了目标追踪算法效率的提升和实时性的要求。
[0143]
图6是本发明提供的单目标追踪装置的结构示意图，如图6所示，主要包括特征提取单元61、偏移运算单元62、分类运算单元63和坐标输出单元64，其中：
[0144]
特征提取单元61主要用于将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和分类特征fcls；
[0145]
偏移运算单元62主要用于以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores；
[0146]
坐标输出单元64主要用于执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
[0147]
需要说明的是，本发明实施例提供的单目标追踪装置，在具体运行时，可以执行上述任一实施例所述的单目标追踪方法，对此本实施例不作赘述。
[0148]
本发明提供的单目标追踪装置，为tensorrt推理框架应用于动态可变卷积核加速端到端单目标追踪提供了可行性方法，保证了追踪精度的同时，提高了推理速度和实时性能。
[0149]
图7是本发明提供的电子设备的结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(communications interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行单目标追踪方法，该方法包括以下步骤：
[0150]
步骤1，将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和分类特征fcls；
[0151]
步骤2，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores；
[0152]
步骤3，执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
[0153]
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0154]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的单目标追踪方法，该方法包括以下步骤：
[0155]
步骤1，将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和分类特征fcls；
[0156]
步骤2，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores；
[0157]
步骤3，执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
[0158]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的单目标追踪方法，该方法包括：该方法包括以下步骤：
[0159]
步骤1，将当前帧图像和待追踪目标在前一帧图像中的追踪坐标，输入至检测分支网络，在tensorrt推理框架下，获取所述检测分支网络输出的目标搜索区域的坐标偏移特征freg和分类特征fcls；
[0160]
步骤2，以卷积核模板作为目标追踪动态卷积核，以所述坐标偏移特征freg和所述分类特征fcls作为待卷积特征，进行基于cuda并行实现的二维动态卷积操作cuconv，生成目标坐标偏移向量delta_offsets和目标置信度向量scores；
[0161]
步骤3，执行对目标坐标偏移向量delta_offsets和目标置信度向量scores的后处理，获取所述待追踪目标在当前帧图像上的追踪坐标。
[0162]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0163]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可
借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0164]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。