一种跨尺度目标跟踪方法和装置与流程

1.本技术涉及深度学习技术领域，特别是涉及一种跨尺度目标跟踪方法和装置。


背景技术：

2.现有的大场景全景成像方式一般利用多摄像机拼接全景成像，或者利用多鱼眼镜头全景成像。这两种方式都存在小尺度目标感知分辨率低、边缘成像质量差的缺点，导致在运动模糊、背景相似干扰、存在遮挡或光照变化情况下进行跨尺度目标跟踪时，精度低且适用性差；另外上述部署方式均存在价格昂贵，部署成本过高等问题。
3.因此发明人认识到，针对大场景的全景目标跟踪的需求，亟需一种结构简单、部署方便且具备跨尺度高精度目标跟踪性能的大场景全景成像算法。


技术实现要素：

4.基于此，针对上述技术问题，提供一种跨尺度目标跟踪方法和装置。
5.第一方面，一种跨尺度目标跟踪方法，包括：
6.步骤一，搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；
7.步骤二，搭建跨尺度全景感知系统，利用跨尺度全景感知系统进行图像的采集，得到多张全局感知图像和多张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360
°
全景拼接图像ig；
8.步骤三，对步骤二中采集到的多张局部感知图像，分别利用步骤一训练得到的跨尺度目标跟踪模型进行处理，得到目标在局部感知图像中的坐标位置定位结果；基于卡尔曼滤波算法计算目标在局部感知图像中的跟踪轨迹，并根据目标在局部感知图像中的跟踪轨迹得到目标在对应全局感知图像中的跟踪轨迹；将多张全局感知图像中的目标轨迹利用所述全局感知图像的相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中目标的具体轨迹。
9.可选地，所述跨尺度全景感知系统包括排布成正十二边形的十二组固定装置，每组固定装置上均固定有一个相机阵列固定支架，每个相机阵列固定支架上均固定有一组相机阵列；十二组相机阵列分别对应覆盖正十二边形周向的十二个外围区域；
10.每组相机阵列均包括三台感知成像相机，所述三台感知成像相机包括两台局部感知成像相机和一台全局感知成像相机，所述全局感知成像相机固定在两台局部感知成像相机的中间；
11.相邻两组相机阵列的全局感知成像相机的成像区域具有重叠部分；对于每组相机阵列，全局感知成像相机的视场角大于两台局部感知成像相机的视场角之和，全局感知成像相机的垂直视场角大于局部感知成像相机的垂直视场角的2倍，所述局部感相机的视场
光轴能够任意调整角度。
12.进一步可选地，所述训练数据采集装置包括一个所述相机阵列固定支架和固定在所述相机阵列固定支架上的一组所述相机阵列。
13.进一步可选地，在跨尺度全景感知系统中，所有感知成像相机的视场光轴均与所述正十二边形共面，所有全局感知成像相机的视场光轴的反向延长线均经过所述正十二边形的中心；所有全局感知成像相机的水平视场角均大于或等于45
°
，所有全局感知成像相机和所有局部感知成像相机的成像分辨率均大于或等于900万像素。
14.进一步可选地，步骤一中对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型具体包括：
15.对训练数据采集装置中的两台局部感知成像相机和全局感知成像相机进行位置标定，并利用特征点匹配方法得到两台局部感知成像相机分别相对于全局感知成像相机的映射矩阵和
16.利用搭建的训练数据采集装置在特定地点进行图像数据的采集，得到局部感知图像数据集和全局感知图像数据集，并对局部感知图像数据集和全局感知图像数据集中采集到的目标进行定位框标注；将带有标注的局部感知图像数据集按照预设比例划分成训练集、测试集和验证集；
17.利用现有的目标跟踪算法及其对应的损失函数对训练集进行训练，并根据预先设定的训练策略迭代训练模型，直至损失函数收敛，得到跨尺度目标跟踪模型。
18.进一步可选地，所述特征点匹配方法为surf特征点匹配算法；所述特定地点包括步行街广场和十字路口。
19.进一步可选地，所述预设比例为8:1:1；所述目标跟踪算法为bytetrack算法。
20.进一步可选地，所述步骤二具体包括：
21.搭建跨尺度全景感知系统，并使用方波同步触发方法进行12组相机阵列的图像数据的同步采集，将t时刻12组相机阵列感知到的全局感知图像记为以及将感知到的局部感知图像记为i表示一组相机阵列的索引，i∈{1,2,
…
,12}；
22.对于t时刻下全局感知图像序列使用基于图像特征的匹配算法分别对序列中的相邻图像和进行特征提取和匹配，得到全局感知图像的相邻图像的变换矩阵i∈{1,2,
…
,11}，j＝i 1；
23.利用全局感知图像的相邻图像的变换矩阵，将12张全局感知图像进行拼接融合，得到360
°
全景拼接图像ig。
24.进一步可选地，所述步骤三具体包括：
25.对于t时刻下12组相机阵列感知到的24张局部感知图像，利用步骤一训练得到的跨尺度目标跟踪模型分别进行处理，得到目标在局部感知图像中的坐标位置定位结果；
26.基于卡尔曼滤波算法预测t-1时刻保存的目标轨迹在t时刻的位置，并基于iou策略或外观表征向量进行相似度矩阵计算，然后利用匈牙利算法进行匹配；
27.对匹配到的轨迹，结合匹配结果和t时刻的目标定位结果，利用卡尔曼滤波算法进
行t时刻轨迹更新，然后将更新后的轨迹作为t时刻的目标跟踪轨迹；对于未匹配到的轨迹，放到未丢失轨迹集中，在下一时刻再进行匹配；对于未匹配到的定位结果，作为新的轨迹加入到当前跟踪轨迹集，并根据卡尔曼滤波算法进行轨迹的更新；
28.根据映射矩阵和将目标在局部感知图像中的跟踪轨迹，映射回对应的全局感知图像中，得到目标在全局感知图像中的跟踪轨迹；
29.针对全局感知图像的获取的目标轨迹，利用所述全局感知图像的相邻图像的变换矩阵将12张全局感知图像的目标轨迹进行变换，得到360
°
全景拼接图像ig中目标的具体轨迹，实现亿像素级全景图像的跨尺度目标跟踪。
30.第二方面，一种跨尺度目标跟踪装置，包括：
31.跨尺度目标跟踪模型训练模块，用于搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；
32.全景图像融合模块，用于搭建跨尺度全景感知系统，利用跨尺度全景感知系统进行图像的采集，得到多张全局感知图像和多张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360
°
全景拼接图像ig；
33.跨尺度目标跟踪模块，用于对全景图像融合模块中采集到的多张局部感知图像，分别利用跨尺度目标跟踪模型训练模块训练得到的跨尺度目标跟踪模型进行处理，得到目标在局部感知图像中的坐标位置定位结果；基于卡尔曼滤波算法计算目标在局部感知图像中的跟踪轨迹，并根据目标在局部感知图像中的跟踪轨迹得到目标在对应全局感知图像中的跟踪轨迹；将多张全局感知图像中的目标轨迹利用所述全局感知图像的相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中目标的具体轨迹。
34.本发明至少具有以下有益效果：
35.本发明实施例提出了一种面向大场景的跨尺度目标跟踪方法，利用多边异构的全景感知系统进行目标多尺度的高分辨全景成像，然后通过局部感知图像进行目标的大尺度跟踪，最终映射到全局感知图像中实现了跨尺度高精度的目标轨迹跟踪；本发明所利用的全景感知系统结构简单、部署方便，解决了目标感知分辨率低、边缘成像质量差的问题，满足了大场景全景高精度目标跟踪的数据采集和训练条件，为高精度的目标跟踪方法的训练提供了数据支持，然后实现超高分辨全景目标跟踪，因此本发明实施例所提供的目标跟踪方法精度高，适用性好。
附图说明
36.图1为本发明一个实施例提供的一种跨尺度目标跟踪方法的流程示意图；
37.图2为本发明一个实施例中跨尺度全景感知系统的结构示意图；
38.图3为本发明一个实施例中训练数据采集装置的结构示意图；
39.图4为本发明一个实施例提供的一种跨尺度目标跟踪装置的模块架构框图。
40.附图标记说明：
41.1、固定装置；
42.2、相机阵列固定支架；
43.3、相机阵列；31、第一局部感知成像相机；32、第二局部感知成像相机；33、全局感知成像相机。
具体实施方式
44.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
45.在一个实施例中，如图1所示，提供了一种跨尺度目标跟踪方法，主要流程包括大场景跨尺度目标跟踪模型训练、超高分辨率全景图像融合计算、超高分辨全景跨尺度目标跟踪结果融合，该方法采用tracking-by-detection策略来实现目标的跟踪，包括以下步骤：
46.s1，搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；
47.s2，搭建跨尺度全景感知系统，利用跨尺度全景感知系统进行图像的采集，得到多张全局感知图像和多张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360
°
全景拼接图像ig；
48.s3，对s2中采集到的多张局部感知图像，分别利用s1训练得到的跨尺度目标跟踪模型进行处理，得到目标在局部感知图像中的坐标位置定位结果；基于卡尔曼滤波算法计算目标在局部感知图像中的跟踪轨迹，并根据目标在局部感知图像中的跟踪轨迹得到目标在对应全局感知图像中的跟踪轨迹；将多张全局感知图像中的目标轨迹利用所述全局感知图像的相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中目标的具体轨迹。
49.其中，如图2所示，跨尺度全景感知系统采用多边异构设计实现360
°
全景感知成像，包括排布成正十二边形的十二组固定装置1，每组固定装置1上均固定有一个相机阵列固定支架2，每个相机阵列固定支架2上均固定有一组相机阵列3。也就是说，围绕12组固定装置1，在多边形阵列周围排布有12组相机阵列3，正十二边形周向的12个外围区域分别被12组相机阵列3对应覆盖。
50.图2(a)中3为一组相机阵列，具体来说，如图2(b)所示，每组相机阵列3均包括三台感知成像相机；该三台感知成像相机具体包括两台局部感知成像相机(第一局部感知成像相机31和第二局部感知成像相机32)和一台全局感知成像相机33，全局感知成像相机33固定在第一局部感知成像相机31和第二局部感知成像相机32的中间。
51.相邻两组相机阵列3的全局感知成像相机33的成像区域具有重叠部分；对于每组相机阵列3，全局感知成像相机33的视场角大于两台局部感知成像相机的视场角之和，全局感知成像相机33的垂直视场角大于局部感知成像相机的垂直视场角的2倍，两台局部感相机的视场光轴可以任意调整角度以实现异构部署。
52.本实施例所搭建的跨尺度全景感知系统包含12个全局感知成像相机33，24个局部感知成像相机，所有感知成像相机的视场光轴均与正十二边形共面，所有全局感知成像相
机33的视场光轴的反向延长线均经过正十二边形的中心；所有感知成像相机(包括全局感知成像相机和局部感知成像相机)的成像分辨率均不低于900万像素。
53.本系统的特点是：为了避免全景成像出现死角且兼顾后续算法的设计，需要保证各组相机阵列3之间的成像区域存在一定重叠。以上述系统为例，单个全局感知成像相机33的水平视场角理论上需要达到30
°
以上，实际上应达到45
°
以上来保证一定程度的成像重叠区域；对于一组相机阵列3，全局感知相机的垂直视场角应大于局部感知相机的垂直视场角的2倍；系统的局部感知设备可以实现任意角度调整以实现异构部署，只要保证全局感知成像相机33的垂直视场角大于相应局部感知成像相机的垂直视场角的2倍即可。
54.另外，训练数据采集装置的结构如图3所示，包括一个跨尺度全景感知系统中的相机阵列固定支架2和固定在该相机阵列固定支架2上的一组相机阵列3，相机阵列3具体包括两台局部感知成像相机(第一局部感知成像相机31和第二局部感知成像相机32)和一台全局感知成像相机33，其配置要求均与跨尺度全景感知系统中的一组相机阵列3配置相同。
55.在图3中，a为假定的场景跟踪目标，b为全局感知成像相机33捕获感知目标的成像示意图，c、d分别表示第一局部感知成像相机31、第二局部感知成像相机32捕获感知目标的成像示意图，e为c、d相机局部成像对应在b中的区域示意图。由图3可知，感知目标在全局感知成像相机与局部感知成像相机上成像的目标尺度具有较大的差异性，目标在全局感知下的尺寸偏小，导致对全局感知图像的目标跟踪精度较差，可以通过局部感知图像进行目标的大尺度跟踪，通过相机间的预标定关系映射到全局感知图像，实现跨尺度高精度的目标跟踪。
56.进一步地，s1中对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型具体包括：
57.(1)对图3所示的训练数据采集装置中的两台局部感知成像相机(第一局部感知成像相机31和第二局部感知成像相机32)和全局感知成像相机33进行位置标定，并利用特征点匹配方法得到两台局部感知成像相机分别相对于全局感知成像相机33的映射矩阵和
58.(2)利用搭建的训练数据采集装置开展多样性大场景数据采集，在特定地点进行图像数据的采集，得到局部感知图像数据集和全局感知图像数据集，并对局部感知图像数据集和全局感知图像数据集中采集到的目标进行定位框标注；将带有标注的局部感知图像数据集按照预设比例(8:1:1)划分成训练集、测试集和验证集；
59.(3)利用现有的目标跟踪算法及其对应的损失函数对训练集进行训练，并根据预先设定的训练策略(学习率、训练batch、训练epoch、优化器)迭代训练模型，直至损失函数收敛，得到大场景跨尺度目标跟踪模型，以此完成全局跨尺度目标跟踪模型训练。
60.其中，特征点匹配方法包括但不限于是surf特征点匹配算法，特定地点包括但不限于是步行街广场和十字路口等宽阔且目标密集的场所，目标跟踪算法可以但不限于为bytetrack算法。
61.进一步地，s2具体包括：
62.s21，搭建图2所示的跨尺度全景感知系统，并使用方波同步触发方法进行12组相机阵列的图像数据的同步采集，假定在某一时刻t，12组相机阵列感知到的全局感知图像为
以及感知到的局部感知图像为i表示一组相机阵列的索引，i∈{1,2,
…
,12}；
63.s22，对于t时刻下全局感知图像序列使用基于图像特征的匹配算法分别对序列中的相邻图像和进行特征提取和匹配，得到全局感知图像的相邻图像的变换矩阵i∈{1,2,
…
,11}，j＝i 1，使用该矩阵可以将相邻图像进行拼接；
64.s23，利用上述全局感知图像的相邻图像的变换矩阵，将12张全局感知图像进行拼接融合，得到360
°
全景拼接图像ig，以此完成超高分辨全景图像的融合计算。
65.进一步地，s3具体包括：
66.s31，对于t时刻下跨尺度全景感知系统的12组相机阵列感知到的24张局部感知图像，利用s1训练得到的跨尺度目标跟踪模型分别进行处理，得到目标在局部感知图像中的坐标位置定位结果；
67.s32，基于卡尔曼滤波算法预测t-1时刻保存的目标轨迹在t时刻的位置，并基于iou策略或外观表征向量进行相似度矩阵计算，然后利用匈牙利算法进行匹配；也就是将t-1时刻保存的目标轨迹与预测结果中的各个目标位置进行匹配，将t-1时刻保存的目标轨迹与相应的t时刻的预测位置进行匹配；
68.s33，对匹配到的轨迹，结合t时刻的目标定位结果和匹配结果，利用卡尔曼滤波算法进行t时刻轨迹更新，然后将更新后的轨迹作为t时刻的目标跟踪轨迹；对于未匹配到的轨迹，放到未丢失轨迹集中，在下一时刻再进行匹配；对于未匹配到的定位结果，作为新的轨迹加入到当前跟踪轨迹集，并根据卡尔曼滤波算法进行轨迹的更新；
69.s34，根据映射矩阵将目标在局部感知图像中的跟踪轨迹，映射回对应的全局感知图像中，得到目标在全局感知图像中的跟踪轨迹；
70.s35，针对全局感知图像的获取的目标轨迹，利用上述得到的全局感知图像的相邻图像的变换矩阵将12张全局感知图像的目标轨迹进行变换，得到360
°
全景拼接图像ig中目标的具体轨迹，实现亿像素级全景图像的跨尺度目标跟踪。
71.传统的目标跟踪方法是对单目相机感知的局部场景进行目标定位和轨迹跟踪，其在全景成像条件下难以应对目标在全景成像过程中的较大的尺度变化。基于大场景的全景目标跟踪要求，实现对大场景的全局感知和多尺度目标的高精度跟踪，这对全景成像硬件和目标跟踪方法都提出了更高的要求。
72.因此本发明实施例提出了一种面向大场景的跨尺度目标跟踪方法，利用多边异构的全景感知系统进行目标多尺度的高分辨全景成像，然后通过局部感知图像进行目标的大尺度跟踪，最终映射到全局感知图像中实现了跨尺度高精度的目标轨迹跟踪；本发明所利用的全景感知系统结构简单、部署方便，解决了目标感知分辨率低、边缘成像质量差的问题，满足了大场景全景高精度目标跟踪的数据采集和训练条件，为高精度的目标跟踪方法的训练提供了数据支持，然后基于设计的跨尺度目标跟踪方法实现超高分辨全景目标跟踪，因此本发明实施例所提供的目标跟踪方法精度高，适用性好。
73.应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的
执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
74.在一个实施例中，如图4所示，提供了一种跨尺度目标跟踪装置，包括：
75.跨尺度目标跟踪模型训练模块401，用于搭建训练数据采集装置，对搭建的训练数据采集装置进行感知成像相机位置的标定，并利用搭建的训练数据采集装置进行数据采集，然后训练得到跨尺度目标跟踪模型；
76.全景图像融合模块402，用于搭建跨尺度全景感知系统，利用跨尺度全景感知系统进行图像的采集，得到多张全局感知图像和多张局部感知图像，并计算得到全局感知图像的相邻图像的变换矩阵；利用所述全局感知图像的相邻图像的变换矩阵将多张全局感知图像进行拼接融合，得到360
°
全景拼接图像ig；
77.跨尺度目标跟踪模块403，用于对全景图像融合模块402中采集到的多张局部感知图像，分别利用跨尺度目标跟踪模型训练模块401训练得到的跨尺度目标跟踪模型进行处理，得到目标在局部感知图像中的坐标位置定位结果；基于卡尔曼滤波算法计算目标在局部感知图像中的跟踪轨迹，并根据目标在局部感知图像中的跟踪轨迹得到目标在对应全局感知图像中的跟踪轨迹；将多张全局感知图像中的目标轨迹利用所述全局感知图像的相邻图像的变换矩阵进行变换，得到360
°
全景拼接图像ig中目标的具体轨迹。
78.关于一种跨尺度目标跟踪装置的具体限定可以参见上文中对于一种跨尺度目标跟踪方法的限定，在此不再赘述。上述一种跨尺度目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
79.在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，涉及上述实施例方法中的全部或部分流程。
80.在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，涉及上述实施例方法中的全部或部分流程。
81.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-onlymemory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random accessmemory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(staticrandomaccessmemory，sram)或动态随机存取存储器(dynamicrandomaccessmemory，dram)等。
82.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
83.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。