一种多目标多摄像头的目标追踪方法及系统与流程

1.本文涉及图像识别领域，尤其涉及一种多目标多摄像头的目标追踪方法、系统、介质及设备。


背景技术：

2.智能交通系统(its)被认为是智能城市的关键组成部分，智能交通系统的主要研究领域之一是使用视频分析和视觉传感器捕获的数据进行视觉交通监控。这些数据可用于提供信息，如交通流估计，或检测交通模式或异常。多目标多摄像头车辆跟踪是视觉交通监控的一项重要任务。
3.一方面，与单摄像头交通监控相比，多摄像头设置需要更复杂的基础设施、同时处理更多数据的能力，以及更高的处理能力。多目标多摄像头跟踪算法是许多its技术的基础，提出合适的多目标多摄像头跟踪算法很有必要。另一方面，目前技术中提出了几种离线方法来解决这一任务；然而，由于离线方法有着高延迟和后处理的特点，往往与实际应用场景不相适应。


技术实现要素：

4.为克服相关技术中存在的问题，本文提供一种低延迟、在线的多目标多摄像头的目标追踪方法、系统、介质及设备。
5.根据本文的第一方面，提供一种多目标多摄像头的目标追踪方法，包括：
6.s1：至少一个摄像头检测目标车辆；
7.s2：提取所述摄像头检测所述目标车辆的特征数据；所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标；
8.s3：将所述目标车辆的二维平面坐标映射转换为地理位置坐标，得到所述目标车辆的位置信息；
9.s4：基于所述目标车辆的外观特征和所述目标车辆的位置信息，对所述摄像头聚类，得到聚类结果；
10.s5：将所述聚类结果与所述目标车辆产生轨迹的时间关联，计算所述目标车辆轨迹。
11.基于前述方案，所述步骤s1中包括：所述至少一个摄像头组成无线网络，能够提供网络同步的独立视频序列。
12.基于前述方案，所述步骤s1中所述至少一个摄像头检测目标车辆，包括：设定采集所述目标车辆的边界框为b＝[x,y,w,h]，其中，[x,y]为目标车辆边界框内的像素坐标，[w,h]为目标车辆边界框的宽度和高度。定义所有摄像头每一帧采集目标车辆的边界框集b＝{bd,d∈[1,d]}；d表示第d次目标车辆检测，d表示目标车辆检测总数。
[0013]
基于前述方案，所述步骤s2中提取所述摄像头检测所述目标车辆的特征数据，包括：利用第一特征提取网络模型提取所述目标车辆的外观特征和利用第二特征提取网络模
型提取所述目标车辆的二维平面坐标；定义fd为检测目标车辆的外观特征描述符，设f＝{fd,d∈[1,d]}是每一帧检测到目标车辆的外观特征描述符集；设是对集合b进行变换后获得的一组gps坐标集，其中为目标车辆的纬度和经度。
[0014]
基于前述方案，所述步骤s4中对所述摄像头聚类得到聚类结果，包括：在每一帧的目标车辆图像，计算所有目标车辆的外观特征向量之间的成对欧氏距离，如下所示：
[0015]
ω
d,d'
＝||f
d-f
d'
||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0016]
在每一帧的目标车辆图像，计算所有目标车辆的地理位置坐标向量之间的成对欧氏距离，如下所示：
[0017][0018]
连通矩阵θ的计算如下：
[0019][0020]
r为最大关联半径。
[0021]
基于前述方案，所述步骤s5中所述聚类结果与所述目标车辆产生轨迹的时间关联，包括：由目标车辆的运动状态定义所述目标车辆的轨迹，每个运动状态定义为其中是目标车辆的地理位置，是目标车辆的运动速度；设为第j条轨迹，摄像头的视频序列中的轨迹集定义为t＝{tj,j∈[1,j]}，其中j为所有目标车辆的运动轨迹数。
[0022]
根据本文的另一方面，提供一种多目标多摄像头的目标追踪系统，所述系统包括:
[0023]
检测单元，用于利用至少一个摄像头检测目标车辆；
[0024]
特征提取单元，用于提取所述摄像头检测所述目标车辆的特征数据；所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标；
[0025]
转换单元，用于将所述目标车辆的二维平面坐标映射转换为地理位置坐标，得到所述目标车辆的位置信息；
[0026]
聚类单元，用于基于所述目标车辆的外观特征和所述目标车辆的位置信息，对所述摄像头聚类，得到聚类结果；
[0027]
关联单元，用于将所述聚类结果与所述目标车辆产生轨迹的时间关联，计算所述目标车辆轨迹。
[0028]
基于前述方案，所述至少一个摄像头组成无线网络，能够提供网络同步的独立视频序列。
[0029]
根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被执行时实现多目标多摄像头的目标追踪方法的步骤。
[0030]
根据本文的另一方面，提供一种计算机设备，包括处理器、存储器和存储于所述存储器上的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现多目标多摄像头的目标追踪方法的步骤。
[0031]
本文提出了一种低延迟、在线的多目标多摄像头的目标追踪方法，首先利用至少
一个摄像头检测目标车辆；提取所述摄像头检测所述目标车辆的特征数据；所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标；将所述目标车辆的二维平面坐标映射转换为地理位置坐标，得到所述目标车辆的位置信息；基于所述目标车辆的外观特征和所述目标车辆的位置信息，对所述摄像头聚类，得到聚类结果；将所述聚类结果与所述目标车辆产生轨迹的时间关联，计算所述目标车辆轨迹。提出的方法遵循在线和逐帧处理的原则，消除了对离线检测依赖，通过在线检测的方式，提高了系统布置的灵活性。
[0032]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
[0033]
构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。在附图中：
[0034]
图1是根据一示例性实施例示出的多目标多摄像头的目标追踪方法的流程图。
[0035]
图2是根据一示例性实施例示出的多目标多摄像头的目标追踪系统的结构示意图。
[0036]
图3是根据一示例性实施例示出的一种设备的框图。
具体实施方式
[0037]
为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。
[0038]
本文提供一种多目标多摄像头的目标追踪方法及系统，应用的场景可以是城市的交通路口、或延伸的路段。
[0039]
图1是根据一示例性实施例示出的一种多目标多摄像头的目标追踪方法的流程图。参考图1，目标追踪方法至少包括步骤s1-s5,下面详细介绍：
[0040]
s1：至少一个摄像头检测目标车辆；
[0041]
在本技术中，摄像头是指城市交通路口的摄像头，可以是亿级像素阵列像感器光场摄像机，可以拍摄像素极高的图片；采用交流电供电或太阳能供电的方式提供能源；至少一个摄像头组成无线网络，以无线传输方式上传数据，选取能提供独立视频序列的网络同步摄像头。
[0042]
至少一个摄像头检测目标车辆是指每个摄像头都对至少一个目标车辆检测，车辆检测的模型可以基于本领域常用的检测模型。目前常用的检测模型包括也不限于包括：yolo v3、ssd512和mask r-cnn。为了简化计算复杂度，本技术一般考虑检测的车辆类型为汽车、卡车和公共汽车。
[0043]
不管采用哪个模型，都是基于采集图像的每一帧检测目标车辆。设定采集的目标车辆边界框为b＝[x,y,w,h]，其中，[x,y]为目标车辆边界框内的像素坐标，[w,h]为目标车辆边界框的宽度和高度。定义所有摄像头每一帧采集目标车辆的边界框集b＝{bd,d∈[1,
d]}；d表示第d次目标车辆检测，d表示目标车辆检测总数。
[0044]
s2：提取所述摄像头检测所述目标车辆的特征数据；所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标；
[0045]
在本技术中，目标车辆的外观特征包括车型、车身颜色、车标等属性特征。车型包括轿车、suv、大巴等；车身颜色包括但不限于白、黑、蓝等；车标包括奔驰、奥迪、大众、福特等。
[0046]
具体地，利用第一特征提取网络模型提取所述目标车辆的外观特征；利用第二特征提取网络模型提取所述目标车辆的二维平面坐标。
[0047]
由于车辆的外观在不同的摄像头视图中可能会发生很大的变化，导致很难确定它们是否是同一辆车。为了获得高精度的外观特征，我们训练第一特征提取网络模型来提高车辆分类能力。
[0048]
为了描述第d次检测目标车辆的边界框检测的外观，定义检测目标车辆的外观特征描述符fd。设f＝{fd,d∈[1,d]}是每一帧检测到目标车辆的外观特征描述符集。
[0049]
对于第一特征提取网络模型，优先选取深度残差网络resnet模型，使用车辆重识别veri-776数据集作为额外的训练数据来改进该特征提取模型。veri-776是多摄像头场景中用于车辆重新识别的最大、最常见的数据集之一。
[0050]
对于第二特征提取网络模型，可以是本领域用于定位目标图像的模型，例如深度学习网络模型、二维图像模式定位系统算法模型等。能够计算出目标车辆的二维平面坐标。
[0051]
在一实例性实施例中，为了便于后续处理，通过将包含目标车辆的边界框的每个输入图像的大小调整为224x224x3，使其适应网络，并通过veri-776数据集的平均值和标准偏差对像素值进行归一化。同时，为了减少模型过度拟合和提高泛化能力，可以采用随机数据增强技术，如水平翻转、衰减、高斯模糊和对比度扰动。
[0052]
s3：将所述目标车辆的二维平面坐标映射转换为地理位置坐标，得到所述目标车辆的位置信息；
[0053]
在本技术中，将检测到的目标车辆所在二维平面坐标转换为实际地理位置坐标，例如gps坐标。设hn为映射矩阵，可以将第n个摄像头的目标车辆的二维平面坐标转换为对应的gps坐标。具体地，根据给定的目标车辆边界框b，通过hn映射变换其边界框基准的中心点，可以获得实际地理位置坐标，即目标车辆的纬度和经度，可以记为是对集合b进行变换后获得的一组gps坐标集。
[0054]
s4：基于所述目标车辆的外观特征和所述目标车辆的位置信息，对所述摄像头聚类，得到聚类结果；
[0055]
在本技术中，根据给定的集合b、w和f，将同一目标车辆在每一帧的不同摄像头采集的图像聚类获得每一帧上的簇，定义簇集c＝{li,i∈[1,l]}，l是创建的簇的数量。簇集的内容范围可以从单个摄像头检测，例如只有一个摄像头可以看到车辆，到最多个摄像头的最大检测数采集的目标车辆。本技术中通过结合目标车辆的地理位置集合和外观特征的集合进行分层聚类，得到逐帧合并的目标车辆图像。
[0056]
分层聚类是将聚类的数据集合利用连通矩阵进行合并。连通矩阵θ计算每个区域的每一摄像头的每一帧的车辆图像的约束成对特征距离。
[0057]
在每一帧的目标车辆图像，计算所有目标车辆的外观特征向量之间的成对欧氏距
离，如下所示：
[0058]
ω
d,d'
＝||f
d-f
d'
||2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0059]
在每一帧的目标车辆图像，计算所有目标车辆的地理位置坐标向量之间的成对欧氏距离，如下所示：
[0060][0061]
连通矩阵θ的计算如下：
[0062][0063]
r为最大关联半径。
[0064]
如上所述，本技术中使用的分层聚类方法脱离连通矩阵θ来计算聚类树，这种分层聚类结构仅提供关于数据之间关系的信息。这些关系可以用树状图来表示。本技术以簇的形式提供场景中每一帧的目标车辆数量，并以簇的质心的形式提供目标车辆位置。总之，在每一帧，每个簇都指定一个或多个摄像头查看的目标车辆。
[0065]
s5：将所述聚类结果与所述目标车辆产生轨迹的时间关联，计算所述目标车辆轨迹。
[0066]
在本技术中，随着时间的推移连接聚类的目标车辆，用来估计所述目标车辆的轨迹。设为第j条轨迹，通过目标车辆运动状态定义目标车辆的轨迹。每个运动状态由描述，其中是目标车辆的地理位置，是目标车辆的运动速度。摄像头的视频序列中的轨迹集定义为t＝{tj,j∈[1,j]}，其中j为所有目标车辆的运动轨迹数。轨迹集t以增量方式构建，在第一帧目标车辆图像开始计算并随时间更新。车辆的运动轨迹描述了簇在时间上的位置。与整个系统一样，时间关联是在线执行的，即逐帧执行。本文通过关联检测目标车辆的摄像头来计算簇，然后在逐帧的基础上，关联簇来计算轨迹，无需对轨迹进行任何后处理。
[0067]
在本技术中，估计车辆的运动轨迹采用恒定速度卡尔曼滤波器。卡尔曼滤波器使用加权平均值，将目标的前一状态(在前一帧)和新测量值(在当前帧)结合起来，对目标的运动状态进行预测。它产生了一个介于先前目标状态和测量值之间的新状态估计。因此，在每一帧使用卡尔曼滤波器来获得前一帧轨迹的估计位置。
[0068]
为了将两者联系起来，我们使用匈牙利算法来解决分配问题，使用关联矩阵来枚举所有可能的分配。关联矩阵是使用两两l2范数计算的，即估计轨迹的位置和簇的质心位置之间的欧氏距离。
[0069]
图2是根据一示例性实施例，示出的一种多目标多摄像头的目标追踪系统20。所述系统20包括至少一个摄像头和至少一个车辆，包括:
[0070]
检测单元201，用于利用至少一个摄像头检测目标车辆；
[0071]
特征提取单元202，用于提取所述摄像头检测所述目标车辆的特征数据；所述特征数据包括所述目标车辆的外观特征和所述目标车辆的二维平面坐标；
[0072]
转换单元203，用于将所述目标车辆的二维平面坐标映射转换为地理位置坐标，得到所述目标车辆的位置信息；
[0073]
聚类单元204，用于基于所述目标车辆的外观特征和所述目标车辆的位置信息，对所述摄像头聚类，得到聚类结果；
[0074]
关联单元205，用于将所述聚类结果与所述目标车辆产生轨迹的时间关联，计算所述目标车辆轨迹。
[0075]
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
[0076]
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
[0077]
图3是根据一示例性实施例示出的一种用于计算机设备30的框图。参照图3，设备30包括处理器301，处理器的个数可以根据需要设置为一个或者多个。设备30还包括存储器302，用于存储可由处理器301的执行的指令，例如应用程序。存储器的个数可以根据需要设置一个或者多个。其存储的应用程序可以为一个或者多个。处理器301被配置为执行指令，以执行上述相机成像方法。
[0078]
本领域技术人员应明白，本文的实施例可提供为方法、装置(设备)、或计算机程序产品。因此，本文可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本文可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质,包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质等。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0079]
本文是参照根据本文实施例的方法、装置(设备)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0080]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能
[0081]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计
算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0082]
在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。
[0083]
尽管已描述了本文的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本文范围的所有变更和修改。
[0084]
显然，本领域的技术人员可以对本文进行各种改动和变型而不脱离本文的精神和范围。这样，倘若本文的这些修改和变型属于本文权利要求及其等同技术的范围之内，则本文的意图也包含这些改动和变型在内。