一种对象的跟踪方法、装置、存储介质及电子装置与流程

1.本发明实施例涉及通信领域，具体而言，涉及一种对象的跟踪方法、装置、存储介质及电子装置。


背景技术：

2.在相关技术中，通常使用单目相机进行对象跟踪，但由于在强光、暗光以及交通拥堵等情况下，纯粹基于图像的检测算法很容易出现漏检，同时会造成极度依赖2d检测框的跟踪算法极不稳定。
3.由此可知，相关技术中存在对象跟踪不准确的问题。
4.针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种对象的跟踪方法、装置、存储介质及电子装置，以至少解决相关技术中存在的对象跟踪不准确的问题。
6.根据本发明的一个实施例，提供了一种对象的跟踪方法，包括：融合第一设备获取的第一数据以及第二设备获取的第一点云，得到第一目标点云帧，其中，所述第一数据为所述第一设备在目标时刻对目标区域进行拍摄所得到的数据，所述第一点云为所述第二设备在所述目标时刻对所述目标区域进行拍摄所得到的点云，所述第一设备拍摄所述目标区域的角度与所述第二设备拍摄所述目标区域的角度相同；基于所述第一目标点云帧预测所述第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置信息，其中，所述第二目标点云帧为通过融合所述第一设备获取的第二数据以及所述第二设备获取的第二点云所得到的点云帧，所述第二数据为在所述第一数据之后获取的，且与所述第一数据相邻的数据，所述第二点云为在所述第一点云之后获取的，且与所述第一点云相邻的点云；确定所述第二目标点云帧中包括的每个第二对象的第一实际位置信息；基于每个所述第一预测位置信息以及每个所述第一实际位置信息确定所述第二目标点云帧中包括的与所述第一对象相同的对象。
7.根据本发明的另一个实施例，提供了一种对象的跟踪装置，包括：融合模块，用于融合第一设备获取的第一数据以及第二设备获取的第一点云，得到第一目标点云帧，其中，所述第一数据为所述第一设备在目标时刻对目标区域进行拍摄所得到的数据，所述第一点云为所述第二设备在所述目标时刻对所述目标区域进行拍摄所得到的点云，所述第一设备拍摄所述目标区域的角度与所述第二设备拍摄所述目标区域的角度相同；预测模块，用于基于所述第一目标点云帧预测所述第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置信息，其中，所述第二目标点云帧为通过融合所述第一设备获取的第二数据以及所述第二设备获取的第二点云所得到的点云帧，所述第二数据为在所述第一数据之后获取的，且与所述第一数据相邻的数据，所述第二点云为在所述第一点云之后获取的，且与所述第一点云相邻的点云；确定模块，用于确定所述第二目标点云帧中包括的每
个第二对象的第一实际位置信息；跟踪模块，用于基于每个所述第一预测位置信息以及每个所述第一实际位置信息确定所述第二目标点云帧中包括的与所述第一对象相同的对象。
8.根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
9.根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
10.通过本发明，融合第一设备获取的第一数据以及第二设备或的第一点云，得到第一目标点云帧，根据第一目标点云帧预测第一目标点云帧包括的每个第一对象在第二目标点云帧中的第一预测位置信息，其中，第二目标点云帧为通过融合第一设备获取的第一数据以及第二设备获取的第二点云所得到的点云帧，第一数据为在第一数据获取的，且与第一数据相邻，第二点云为在第一点云之后获取的，且与第一点云相邻的点云，确定第二目标点云帧中包括的每个第二对象的第一实际位置信息，根据每个第一预测位置信息以及第一实际位置信息确定第二目标点云帧中包括的与第一对象相同的对象。由于在确定第二目标点云帧时，融合了第一设备和第二设备采集的数据，根据融合后的数据确定与第一对象相同的对象，即在进行对象跟踪时，综合了不同设备采集的数据，且每个设备对目标区域进行拍摄的角度相同，提高了确定跟踪对象的精度。因此，可以解决相关技术中存在得到对象跟踪不准确的问题，达到提高对象跟踪准确率的效果。
附图说明
11.图1是本发明实施例的一种对象的跟踪方法的移动终端的硬件结构框图；图2是根据本发明实施例的对象的跟踪方法的流程图；图3是根据本发明实施例的目标网络模型运行示意图；图4是根据本发明具体实施例的对象的跟踪方法流程图；图5是根据本发明实施例的对象的跟踪装置的结构框图。
具体实施方式
12.下文中将参考附图并结合实施例来详细说明本发明的实施例。
13.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
14.本技术实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种对象的跟踪方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个（图1中仅示出一个）处理器102（处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置）和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
15.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的对象的跟踪方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
16.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器（network interface controller，简称为nic），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频（radio frequency，简称为rf）模块，其用于通过无线方式与互联网进行通讯。
17.在本实施例中提供了一种对象的跟踪方法，图2是根据本发明实施例的对象的跟踪方法的流程图，如图2所示，该流程包括如下步骤：步骤s202，融合第一设备获取的第一数据以及第二设备获取的第一点云，得到第一目标点云帧，其中，所述第一数据为所述第一设备在目标时刻对目标区域进行拍摄所得到的数据，所述第一点云为所述第二设备在所述目标时刻对所述目标区域进行拍摄所得到的点云，所述第一设备拍摄所述目标区域的角度与所述第二设备拍摄所述目标区域的角度相同；步骤s204，基于所述第一目标点云帧预测所述第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置信息，其中，所述第二目标点云帧为通过融合所述第一设备获取的第二数据以及所述第二设备获取的第二点云所得到的点云帧，所述第二数据为在所述第一数据之后获取的，且与所述第一数据相邻的数据，所述第二点云为在所述第一点云之后获取的，且与所述第一点云相邻的点云；步骤s206，确定所述第二目标点云帧中包括的每个第二对象的第一实际位置信息；步骤s208，基于每个所述第一预测位置信息以及每个所述第一实际位置信息确定所述第二目标点云帧中包括的与所述第一对象相同的对象。
18.在上述实施例中，第一设备可以是摄像设备，如相机（单目相机、多目相机）、录像机等。第一数据可以为摄像设备采集到的图像、视频等。第二设备可以是雷达，如激光雷达、微波雷达、毫米波雷达等。第一设备和第二设备可以安装在同一高度、同一朝向、相邻位置，以使第一设备和第二设备对目标区域进行拍摄时的角度相同。当然，还可以设置第一设备和第二设备的朝向相同，位置不同，通过调整第一设备和第二设备的拍摄角度，使第一设备和第二设备对目标区域进行拍摄时的拍摄角度相同。
19.在上述实施例中，第一对象和第二对象可以是人、车辆等。当第一对象和第二对象为人时，第一设备和第二设备可以是安装在商场、交通岗等处的摄像设备和雷达设备。当第一对象和第二对象为车辆时，第一设备和第二设备可以是安装在交通岗等处的摄像设备和雷达设备。其中，目标区域可以是第一设备和第二设备的拍摄区域的重叠区域。如第一设备的拍摄区域可以是目标区域，第二设备的拍摄区域可以包括目标区域，即第二设备的拍摄
区域大于第一设备的拍摄区域。
20.在上述实施例中，可以对安装在同一高度、同一朝向且位置相邻的激光雷达和单目相机做时间同步及联合标定，计算激光雷达坐标系映射至相机的内外参，使得激光雷达扫描得到的目标点云可以正确投影至相机图像画面上且完成正确映射投影。第一数据和第一点云可以是第一设备和第二设备在相同时刻对目标区域进行拍摄所得到的数据及点云。可以对相同时刻获取得到的第一数据和第一点云进行融合，得到第一目标点云帧。根据第一目标点云帧预测第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置。其中，第一对象可以是目标区域中包括的对象，第一设备对目标区域进行拍摄，当目标区域中包括第一对象时，第一数据中即包括第一对象，第一对象的数量可以为一个，也可以为多个。同理，第一点云中也包括第一对象，第一对象的数据可以为一个，也可以为多个。需要说明的是，第一设备和第二设备采集数据的时间间隔相同。
21.在上述实施例中，可以获取第一设备在采集第一数据之后采集的，且与第一数据相邻的第二数据，获取第二设备在采集第一点云之后采集的，且与第一点云相邻的第二点云。融合第二数据和第二点云，得到第二目标点云帧。在得到第一目标点云帧以及第二目标点云帧后，可以根据第一目标点云帧预测第一对象在第二目标点云帧中的第一预测位置。根据第一目标点云帧以及第二目标点云帧确定第二点云帧中包括的每个第二对象的第一实际位置，根据第一预测位置和第一实际位置确定第二目标点云帧中包括的与每个第一对象相同的对象。
22.在上述实施例中，可以将第一目标点云帧以及第二目标点云帧输入至预先训练好的网络模型中，通过网络模型确定第一预测位置以及第一实际位置。
23.可选地，上述步骤的执行主体可以是后台处理器，或者其他的具备类似处理能力的设备，还可以是至少集成有数据处理设备的机器，其中，数据处理设备可以包括计算机、手机等终端，但不限于此。
24.通过本发明，融合第一设备获取的第一数据以及第二设备或的第一点云，得到第一目标点云帧，根据第一目标点云帧预测第一目标点云帧包括的每个第一对象在第二目标点云帧中的第一预测位置信息，其中，第二目标点云帧为通过融合第一设备获取的第一数据以及第二设备获取的第二点云所得到的点云帧，第一数据为在第一数据获取的，且与第一数据相邻，第二点云为在第一点云之后获取的，且与第一点云相邻的点云，确定第二目标点云帧中包括的每个第二对象的第一实际位置信息，根据每个第一预测位置信息以及第一实际位置信息确定第二目标点云帧中包括的与第一对象相同的对象。由于在确定第二目标点云帧时，融合了第一设备和第二设备采集的数据，根据融合后的数据确定与第一对象相同的对象，即在进行对象跟踪时，综合了不同设备采集的数据，且每个设备对目标区域进行拍摄的角度相同，提高了确定跟踪对象的精度。因此，可以解决相关技术中存在得到对象跟踪不准确的问题，达到提高对象跟踪准确率的效果。
25.在一个示例性实施例中，融合第一设备获取的第一数据以及第二设备获取的第一点云，得到第一目标点云帧包括：将所述第一数据中包括的每个像素点映射到所述第一点云所在的坐标系，得到目标像素点；针对所述第一点云中包括的每个目标点均执行以下操作，以确定每个所述目标点的目标向量：确定所述目标点的坐标值以及响应强度值，确定与所述目标点对应的所述目标像素点的颜色参数值，将所述坐标值、所述响应强度值以及所
述颜色参数值确定为所述目标点的目标向量；将确定了所述目标向量的所述目标点所构成的点云确定为所述第一目标点云帧。在本实施例中，在融合第一数据以及第一点云时，可以将第一数据中包括的每个像素点向第一点云所在的坐标系进行投影，得到位于第一点云所在的坐标系中的目标像素点，确定第一点云中的每个目标点的坐标值以及响应强度值。当第二设备为激光雷达时，响应强度值可以是激光响应强度值，当第二设备为微波雷达时，响应强度值可以是反射强度值。在第一点云所在的坐标系中，每个目标点存在三维坐标（），再将响应强度值确定为每个目标点的参数，则每个目标点可以表示为。确定每个目标像素点在第一点云所在的坐标系中的坐标，确定与目标像素点在第一点云所在的坐标系中的坐标相同的点，将该点的坐标值、响应强度值以及目标像素点的颜色参数值确定为该点的目标向量。其中，颜色参数值可以包括r、g、b颜色值。则目标向量可以表示为。
26.在上述实施例中，还可以将点云中的每一个点云（其x,y,z为第i个点云在点云坐标系下的三维坐标，a为第i个点云的激光响应强度值）映射至相机的图像平面，可获得与图像像素一一对应的关系，即每一个点云对应一个像素。由此便可将每一个点云值进行扩展至7维向量，其中r，g，b为对应的图像像素的值。
27.在上述实施例中，在确定了每个目标点的目标向量后，可以在第一点云中标注每个目标点对应的目标向量，将标注了目标向量的所有目标点构成的点云确定为第一目标点云帧。
28.需要说明的是，第二目标点云帧的确定方式与第一目标点云帧的确定方式相同，在此不做赘述。
29.在一个示例性实施例中，基于所述第一目标点云帧预测所述第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置信息包括：基于所述第一目标点云帧中包括的每个目标点的目标向量确定所述第一对象的尺寸信息；基于所述尺寸信息确定所述第一对象的位置信息；基于所述第一目标点云帧确定所述第一对象的目标运动速度；基于所述位置信息以及所述目标运动速度确定所述第一预测位置信息。在本实施例中，可以根据第一目标点云帧中包括的每个目标点的目标向量确定为第一对象的尺寸信息，根据尺寸信息确定第一对象的位置信息，并确定第一对象的目标运动速度，根据位置信息以及目标运动速度确定第一预测位置信息。其中，第一对象的位置信息可以包括第一对象的3d框所在的位置以及3d框的旋转角度。3d框所在的位置可以包括3d框的中心点坐标以及3d框的尺寸。
30.在上述实施例中，可以根据每个目标点的目标向量确定第一对象的尺寸信息、中心点位置信息、旋转角度等。其中，尺寸信息可以是第一对象的3d框的尺寸信息，尺寸信息可以包括长、宽、高、旋转角度等，旋转角度为3d框相对于激光雷达坐标系z轴的旋转角度。
31.在一个示例性实施例中，基于所述第一目标点云帧确定所述第一对象的目标运动
速度包括：获取所述第二目标点云帧；将所述第一目标点云帧以及所述第二目标点云帧输入至目标网络模型，确定所述第一目标点云帧中包括的每个所述第一对象的第一预测目标框，以及所述第一对象在所述第二目标点云帧中的第二预测目标框，其中，所述目标网络模型为利用多组训练数据通过机器学习所得到的模型，多组所述训练数据中的每组所述训练数据均包括相邻的点云帧对，以及每个点云帧中包括的对象的标定框参数；基于所述第一预测目标框以及所述第二预测目标框确定所述第一对象的所述目标运动速度。在本实施例中，可以根据目标网络模型确定目标运动速度，将第一目标点云帧和第二目标点云帧输入至目标网络模型中确定目标运动速度。
32.在上述实施例中，还可以利用预先训练好的目标网络模型确定每个第一对象的位置信息以及目标运动速度，进而确定第一预测位置信息。其中，在训练目标网络模型时，可以首先获取第一设备采集的数据集以及第二设备采集的点云集。其中，数据集中包括的数据与点云集中包括的点云的数量相同。数据集中与点云集中相同编号的数据以及点云的采集时间相同。并点云中的每一个点云（其中，x、y、z为第i个点云在点云坐标系下的三维坐标，a为第i个点云的激光响应强度值）映射至与其编号相同的数据平面，如图像平面，可获得与图像像素一一对应的关系，即每一个点云对应一个像素。由此便可将每一个点云值进行扩展至7维向量，其中r，g，b为对应的图像像素的值。
33.在对每一帧点云赋予了r、g、b颜色信息后，便可以对相机和激光雷达同步采集的街道点云视频进行人工标注，对点云帧里的每一辆车人为赋予3d框及唯一id，即，其中，代表第k个3d框的中心点位置（x轴对应水平方向，y轴对应垂直方向，z轴对应于距离方向)，代表第k个3d框的宽高长，代表第k个3d框的相对于激光雷达坐标系z轴的旋转角度。
34.从标定好的点云视频中抽取相邻的两帧点云构成该检测跟踪任务的训练集，用来学习并检测每一帧点云中车辆目标的3d框及运动轨迹。假设一个点云视频共由n帧点云构成，则该视频可抽取出n-1对点云帧用于训练使用，即。
35.对构建好的点云对训练集，可以通过深度学习3d backbone网络结构，同时提取上帝视角下（y轴）前后帧点云体素化后的3d特征，即。其中f是一个w*l*d维的矩阵，w和l分别为点云体素化后以及网络结构设定的步长下采样后的宽和长，而d则为每一个3d特征的维度。
36.对前后帧点云的3d点云特征设定若干个头部子网络结构，分别用于训练预测出每辆车的中心位置（）、宽高长）、旋转角度以及运动速度（对预测速度为，对预测速度为，因为是相对的关系）。其中，目标
网络模型运行示意图可参见附图3。
37.待整体深度学习网络模型训练结束后，便可利用训练好的网络权重去推理检测点云视频下每相邻帧点云对里的所有车辆3d框以及运行速度。
38.在上帝视角下（y轴），每辆车均可以以一个中心点的形式呈现出来，于是，对于帧点云，即第一目标点云帧，可以通过深度学习网络模型检测出来的每辆车的中心位置和速度，并简单的将当前帧的每个车辆中心位置值和速度值进行求解，来预测下一帧帧，即第二目标点云帧里的车辆的中心位置，（），即第一预测位置信息。
39.同理，对于帧，也可以通过深度学习网络模型检测出帧中每辆车的中心位置（），即第一实际位置信息。
40.在一个示例性实施例中，基于所述第一预测目标框以及所述第二预测目标框确定所述第一对象的所述目标运动速度包括：确定所述第一预测目标框的第一标记点的第一坐标；确定所述第二预测目标框的第二标记点的第二坐标；基于所述第一坐标以及所述第二坐标确定所述第一对象的移动距离；确定所述第一设备或所述第二设备的采样时间间隔；将所述移动距离与所述采样时间间隔的比值确定为所述目标运动速度。在本实施例中，可以确定第一对象的第一预测目标框以及第一对象在第二目标点云帧中的第二预测目标框，确定第一预测目标框的中心点与第二预测目标框的中心点之间的距离，或者，确定第一预测目标框的目标顶点与第二预测目标框的目标顶点之间的距离，如确定第一预测目标框的左上顶点与第二预测目标框的左上顶点之间的距离。确定第一设备或第二设备采样时间间隔，将距离与采样时间间隔的比值确定为目标运动速度。其中，第一预测目标框和第二预测目标框均可以为3d框，第一标记点和第二标记点可以是相同类型的点。例如，当第一标记点是第一预测目标框的中心点时，第二标记点也是第二预测目标框的中心点。当第一标记点是第一预测目标框的某个顶点时，第二标记点也是第二预测目标框的某个顶点。
41.在一个示例性实施例中，基于每个所述第一预测位置信息以及每个所述第一实际位置信息确定所述第二目标点云帧中包括的与所述第一对象相同的对象包括：确定每个所述第一预测位置信息与每个所述第一实际位置信息之间的目标距离；确定所述目标距离中包括的小于预定阈值的第一子目标距离；确定所述第一子目标距离中包括的最小子距离对应的第一子实际位置信息；将所述第一子实际位置信息对应的所述第二对象确定为与所述第一对象相同的对象。在本实施例中，在得到第一预测位置信息和第一实际位置信息之后，可以计算每个第一预测位置信息与每个第一实际位置信息之间的目标距离。其中，目标距离可以是欧式距离、余弦距离等。即计算帧的所有预测中心点同帧的所有实际中心点之间的欧式距离，对于小于预定域值α的中心点对（如果有多个小于α的候选点，取距离最小的进行匹配），可以认为在前后帧中属于同一id的车辆。
42.在一个示例性实施例中，在确定每个所述第一预测位置信息与每个所述第一实际位置信息之间的目标距离之后，所述方法还包括：在所述目标距离均大于所述预定阈值的情况下，确定预定数量的第三目标点云帧中是否包括与所述第一对象相同的对象，其中，所述第三目标点云帧为在所述第二目标点云帧之后生成的点云帧，所述预定数量的所述第三目标点云帧中包括的第一个所述第三目标点云帧与所述第二目标点云帧相邻；在所述预定数量的所述第三目标点云帧中存在与所述第一对象相同的对象的情况下，为所述第一对象分配标识信息；在所述预定数量的所述第三目标点云帧中不存在与所述第一对象相同的对象的情况下，删除所述第一对象。在本实施例中，对于帧中计算出来的距离值均大于预定域值α的中心点，可以认为是新出现或者丢失掉的车辆，并对这些id保留三帧，如果后面三帧里能匹配上，则认为是新id，否则认为丢失，直接丢弃掉即可。
43.下面结合具体实施方式对对象的跟踪方法进行说明：图4是根据本发明具体实施例的对象的跟踪方法流程图，如图4所示，该流程包括：步骤s402，获取相邻的两帧点云帧：前一帧点云（对应于上述第一目标点云帧）、后一帧点云（对应于上述第二目标点云帧）。
44.步骤s404，将前一帧点云、后一帧点云输入至深度学习网络（对应于上述目标网络模型）。
45.步骤s406，确定前一帧中心点（对应于上述位置信息）、速度（对应于上述目标速度信息）、后一帧中心点（对应于上述第一实际位置信息）。
46.步骤s408，后一帧中心点预测，得到预测中心点（对应于上述第一预测位置信息）。
47.步骤s410，后一帧中心点与预测中心点进行欧式距离计算。
48.步骤s412，阈值判断，在小于阈值的情况下，执行步骤s414，在大于阈值的情况下，执行步骤s416。
49.步骤s414，同一个id。
50.步骤s416，新id或丢失id。
51.在前述实施例中，随着激光雷达设备，尤其是混合固态激光雷达制造成本的逐年下降，其在智能交通领域的应用也倍受关注。相比传统的单目相机，激光雷达可获得高精度的点云探测数据且不易受到光照强度的影响，对于遮挡情况也不会出现单目相机那种因透视投影而造成的目标拥挤。鉴于单目摄像头成本低廉、稳定可靠等多方面的原因，同时也伴随深度学习技术的飞速发展，将两者的优点相结合便成为了当下智能交通的主流软硬件体系。车辆检测跟踪可以说是智慧交通管理系统的重中之重，它的精度好坏对管理系统的准确性起着决定性作用。目前市场上大多采用单目相机采集的视频图像做车辆检测跟踪，但由于在强光、暗光以及交通拥堵等情况下，纯粹基于图像的检测算法很容易出现漏检，同时会造成极度依赖2d检测框的跟踪算法极不稳定。为此通过增加激光雷达设备采集的3d点云数据，可以很好的弥补这个问题，对激光雷达设备和单目相机联合采集的街道点云视频进行标注处理，对视频数据里的每一辆车人为赋予3d框及唯一id；然后对标注好的点云视频进行深度学习训练，提取上帝视角下（y轴）的每个点云体素的3d特征，并通过若干个头部子网络去检测出车辆的3d框（中心位置、宽高长、旋转角度）及运动速度值；最后利用检测出来的当前帧点云里所有车辆的中心位置和速度值，对下一帧点云中的目标进行中心点跟踪预
测，并同已有的车辆轨迹库里的所有轨迹进行距离匹配，最终分配每一个3d检测框以正确的轨迹，完成跟踪事宜。尤其是有了激光点云设备的加持，使用3d点云数据并采用深度学习技术来对车辆进行检测，可以说对于传统的单目相机的短板做了很有力的补充，同时将跟踪算法简化为点跟踪的形式，从而极大地提高了街道车辆检测跟踪的精度。
52.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如rom/ram、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
53.在本实施例中还提供了一种对象的跟踪装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
54.图5是根据本发明实施例的对象的跟踪装置的结构框图，如图5所示，该装置包括：融合模块52，用于融合第一设备获取的第一数据以及第二设备获取的第一点云，得到第一目标点云帧，其中，所述第一数据为所述第一设备在目标时刻对目标区域进行拍摄所得到的数据，所述第一点云为所述第二设备在所述目标时刻对所述目标区域进行拍摄所得到的点云，所述第一设备拍摄所述目标区域的角度与所述第二设备拍摄所述目标区域的角度相同；预测模块54，用于基于所述第一目标点云帧预测所述第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置信息，其中，所述第二目标点云帧为通过融合所述第一设备获取的第二数据以及所述第二设备获取的第二点云所得到的点云帧，所述第二数据为在所述第一数据之后获取的，且与所述第一数据相邻的数据，所述第二点云为在所述第一点云之后获取的，且与所述第一点云相邻的点云；确定模块56，用于确定所述第二目标点云帧中包括的每个第二对象的第一实际位置信息；跟踪模块58，用于基于每个所述第一预测位置信息以及每个所述第一实际位置信息确定所述第二目标点云帧中包括的与所述第一对象相同的对象。
55.在一个示例性实施例中，融合模块52可以通过如下方式实现融合第一设备获取的第一数据以及第二设备获取的第一点云，得到第一目标点云帧：将所述第一数据中包括的每个像素点映射到所述第一点云所在的坐标系，得到目标像素点；针对所述第一点云中包括的每个目标点均执行以下操作，以确定每个所述目标点的目标向量：确定所述目标点的坐标值以及响应强度值，确定与所述目标点对应的所述目标像素点的颜色参数值，将所述坐标值、所述响应强度值以及所述颜色参数值确定为所述目标点的目标向量；将确定了所述目标向量的所述目标点所构成的点云确定为所述第一目标点云帧。
56.在一个示例性实施例中，预测模块54可以通过如下方式实现基于所述第一目标点云帧预测所述第一目标点云帧中包括的每个第一对象在第二目标点云帧中的第一预测位置信息：基于所述第一目标点云帧中包括的每个目标点的目标向量确定所述第一对象的尺
寸信息；基于所述尺寸信息确定所述第一对象的位置信息；基于所述第一目标点云帧确定所述第一对象的目标运动速度；基于所述位置信息以及所述目标运动速度确定所述第一预测位置信息。
57.在一个示例性实施例中，预测模块54可以通过如下方式实现基于所述第一目标点云帧确定所述第一对象的目标运动速度：获取所述第二目标点云帧；将所述第一目标点云帧以及所述第二目标点云帧输入至目标网络模型，确定所述第一目标点云帧中包括的每个所述第一对象的第一预测目标框，以及所述第一对象在所述第二目标点云帧中的第二预测目标框，其中，所述目标网络模型为利用多组训练数据通过机器学习所得到的模型，多组所述训练数据中的每组所述训练数据均包括相邻的点云帧对，以及每个点云帧中包括的对象的标定框参数；基于所述第一预测目标框以及所述第二预测目标框确定所述第一对象的所述目标运动速度。
58.在一个示例性实施例中，预测模块54可以通过如下方式实现基于所述第一预测目标框以及所述第二预测目标框确定所述第一对象的所述目标运动速度：确定所述第一预测目标框的第一标记点的第一坐标；确定所述第二预测目标框的第二标记点的第二坐标；基于所述第一坐标以及所述第二坐标确定所述第一对象的移动距离；确定所述第一设备或所述第二设备的采样时间间隔；将所述移动距离与所述采样时间间隔的比值确定为所述目标运动速度。
59.在一个示例性实施例中，跟踪模块58可以通过如下方式实现基于每个所述第一预测位置信息以及每个所述第一实际位置信息确定所述第二目标点云帧中包括的与所述第一对象相同的对象：确定每个所述第一预测位置信息与每个所述第一实际位置信息之间的目标距离；确定所述目标距离中包括的小于预定阈值的第一子目标距离；确定所述第一子目标距离中包括的最小子距离对应的第一子实际位置信息；将所述第一子实际位置信息对应的所述第二对象确定为与所述第一对象相同的对象。
60.在一个示例性实施例中，所述装置还可以用于在确定每个所述第一预测位置信息与每个所述第一实际位置信息之间的目标距离之后，包括：在所述目标距离均大于所述预定阈值的情况下，确定预定数量的第三目标点云帧中是否包括与所述第一对象相同的对象，其中，所述第三目标点云帧为在所述第二目标点云帧之后生成的点云帧，所述预定数量的所述第三目标点云帧中包括的第一个所述第三目标点云帧与所述第二目标点云帧相邻；在所述预定数量的所述第三目标点云帧中存在与所述第一对象相同的对象的情况下，为所述第一对象分配标识信息；在所述预定数量的所述第三目标点云帧中不存在与所述第一对象相同的对象的情况下，删除所述第一对象。
61.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
62.本发明的实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
63.在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：u盘、只读存储器（read-only memory，简称为rom）、随机存取存储器（random access memory，简称为
ram）、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
64.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
65.在一个示例性实施例中，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
66.本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。
67.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
68.以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。