目标跟踪方法、装置、计算机设备和存储介质与流程

1.本技术涉及跟踪技术领域，特别是涉及一种目标跟踪方法、装置、计算机设备和存储介 质。


背景技术：

2.随着传感器技术、计算机技术的发展，基于各类传感器的同时定位与地图构建解决方案 已被广泛应用于机器人自主导航、无人驾驶、移动测量和战场环境构建等领域。
3.例如，在进行目标跟踪时，可以通过传感器检测目标的数据信息，并对检测的数据信息 进行分析后实现对目标的跟踪。通常，不同的传感器获得的数据信息维度不同，架构不同， 特征(轮廓、尺寸、轨迹，类别、颜色、纹理等)侧重点不同，对于同一个目标，提取到的 特征有所不同。但传统技术中，往往采用单一传感器跟踪目标，容易造成检测目标时特征维 度的不足，导致目标的跟踪结果精度较低。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够提高目标跟踪结果精度的目标跟踪方 法、装置、计算机设备和存储介质。
5.第一方面，本技术实施例提供一种目标跟踪方法，该方法包括：
6.获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二传感器采集的目标 场景的第二当前帧数据；第一传感器和第二传感器为不同类型的传感器；
7.根据第一当前帧数据和第二当前帧数据，获取各候选检测对象在当前帧中的实测特征信 息；候选检测对象为第一当前帧数据中各检测对象和第二当前帧数据中各检测对象关联匹配 成功的检测对象；实测特征信息表示各候选检测对象的固有特性信息；
8.根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前帧中预测检测框；
9.根据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标在当前帧中预测检 测框，对各候选检测对象进行跟踪。
10.在其中一个实施例中，上述实测特征信息包括实测三维检测框和实测轨迹特征；上述根 据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标在当前帧中预测检测框， 对各候选检测对象进行跟踪，包括:
11.获取各候选检测对象在当前帧中的实测三维检测框与各待跟踪目标在当前帧中预测的三 维检测框之间的交并比；
12.获取剩余检测对象的实测轨迹特征与各待跟踪目标在上一帧中历史轨迹特征之间的相似 度；剩余检测对象为交并比小于预设交并比阈值的候选检测对象；
13.对交并比大于交并比阈值的各候选检测对象，和相似度大于预设相似度阈值的各剩余检 测对象进行跟踪。
14.在其中一个实施例中，上述获取第一传感器采集的目标场景的第一当前帧数据，
和至少 一个第二传感器采集的目标场景的第二当前帧数据，包括：
15.对于任一帧传感器采集的数据，获取第一当前帧数据时间戳t1和第二当前帧数据的时间 戳t2；
16.若t1和t2之间间隔小于预设的间隔阈值，则确定第一当前帧数据和第二当前帧数据为 当前帧采集的数据；
17.若t1和t2之间间隔大于预设阈值，则丢弃第一当前帧数据和第二当前帧数据，重新获 取下一帧的第一当前帧数据时间戳t1和第二当前帧数据的时间戳t2。
18.在其中一个实施例中，上述获取第一当前帧数据时间戳t1和第二当前帧数据的时间戳t 2，包括：
19.若第一当前帧数据和第二当前帧数据中未携带时间戳，则将第一当前帧数据的采集时间 和第二当前帧数据的采集时间转换成同一时间轴下，获取t1和t2。
20.在其中一个实施例中，上述获取第一传感器采集的目标场景的第一当前帧数据，和至少 一个第二传感器采集的目标场景的第二当前帧数据之前，该方法还包括：
21.调整第一传感器的采样频率和第二传感器的采样频率相同，以及对第一传感器和第二传 感器之间的外参信息进行标定。
22.在其中一个实施例中，上述第一传感器为摄像设备；第二传感器为激光雷达；
23.则上述对第一传感器和第二传感器之间的外参信息进行标定，包括：
24.将摄像设备和激光雷达之间的相对位姿信息调整为目标位姿信息，并根据预设的标定算 法获取摄像设备标定后的外参信息；
25.根据标定后的外参信息对摄像设备的外参信息进行标定。
26.在其中一个实施例中，上述第一当前帧数据为摄像设备采集的像素数据，第二当前帧数 据为激光雷达采集的点云数据；上述实测特征信息包括实测三维检测框和实测轨迹特征；
27.则上述根据第一当前帧数据和第二当前帧数据，确定各候选检测对象在当前帧中的实测 特征信息，包括：
28.获取像素数据中各检测对象的二维检测框，和点云数据中各检测对象的实测三维检测框；
29.将像素数据中各检测对象的二维检测框和点云数据中各检测对象的实测三维检测框进行 匹配，确定候选检测对象；
30.根据各候选检测对象在像素数据中的二维检测框和特征信息，以及各检测对象在点云数 据中的实测三维检测框和特征信息，确定各候选检测对象的实测轨迹特征。
31.在其中一个实施例中，上述将像素数据中各检测对象的二维检测框和点云数据中各检测 对象的实测三维检测框进行匹配，确定候选检测对象，包括：
32.将各实测三维检测框映射为对应的二维映射检测框；
33.获取各二维检测框和各二维映射检测框之间的交并比，并将交并比大于交并比阈值的检 测对象确定为候选检测对象。
34.在其中一个实施例中，上述根据各候选检测对象在像素数据中的二维检测框和特征信息， 以及各检测对象在点云数据中的实测三维检测框和特征信息，确定各候选检测对象的实测轨 迹特征，包括：
35.将各候选检测对象在像素数据中的二维检测框和特征信息综合确定为各候选检测对象的 二维轨迹特征；将各候选检测对象在点云数据中的实测三维检测框和特征信息综合确定为各 候选检测对象的三维轨迹特征；
36.将各候选检测对象的三维轨迹特征转换为对应的二维映射轨迹特征；
37.根据各二维映射轨迹特征和各二维轨迹特征的融合数据，提取各候选检测对象的实测轨 迹特征。
38.在其中一个实施例中，上述将各候选检测对象的三维轨迹特征转换为对应的二维映射轨 迹特征，包括：
39.将各三维轨迹特征对应的实测三维检测框中的点云点的三维坐标转换为二维坐标；
40.根据各点云点的二维坐标和各点云点在三维坐标中的z轴坐标，获取各实测三维检测框 对应的鸟瞰图；
41.根据各点云点的二维坐标和各点云点的强度，获取各实测三维检测框对应的强度图；
42.根据鸟瞰图中各点云点在z轴方向的密度，获取各实测三维检测框对应的密度图；
43.将鸟瞰图、强度图和密度图进行合并处理，得到各三维轨迹特征对应的二维映射轨迹特 征。
44.在其中一个实施例中，上述根据各点云点的二维坐标和各点云点在三维坐标中的z轴坐 标，获取各实测三维检测框对应的鸟瞰图，包括：
45.对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐标确定 为各点云点的像素值；
46.以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到各实测三维检测框对 应的鸟瞰图。
47.在其中一个实施例中，上述根据各点云点的二维坐标和各点云点的强度，获取各实测三 维检测框对应的强度图，包括：
48.对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素值；
49.以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到各实测三维检测框对 应的强度图。
50.在其中一个实施例中，上述根据鸟瞰图中各点云点在z轴方向的密度，获取各实测三维 检测框对应的密度图，包括：
51.根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置中点云 点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点在z轴 方向的密度；
52.将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值，得到各 实测三维检测框对应的密度图。
53.在其中一个实施例中，上述根据各二维映射轨迹特征和各二维轨迹特征的融合数据，提 取各候选检测对象的实测轨迹特征，包括：
54.将各二维轨迹特征和各二维映射轨迹特征压缩为相同比例大小后，拼接得到融合
数据矩 阵；
55.将从融合数据矩阵中提取的特征信息确定为各候选检测对象的实测轨迹特征。
56.在其中一个实施例中，上述根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目 标在当前帧中预测检测框，包括：
57.通过预设的跟踪算法模型，根据各待跟踪目标在上一帧的历史三维检测框，预测各待跟 踪目标在当前帧中预测三维检测框；其中，跟踪算法模型是基于匀变速运动状态的空间方程 构建的。
58.第二方面，本技术实施例提供一种目标跟踪装置，该装置包括：
59.获取模块，用于获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二传 感器采集的目标场景的第二当前帧数据；第一传感器和第二传感器为不同类型的传感器；
60.特征获取模块，用于根据第一当前帧数据和第二当前帧数据，获取各候选检测对象在当 前帧中的实测特征信息；候选检测对象为第一当前帧数据中各检测对象和第二当前帧数据中 各检测对象关联匹配成功的检测对象；所述实测特征信息表示所述各候选检测对象的固有特 性信息；
61.预测模块，用于根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前帧 中预测检测框；
62.跟踪模块，用于根据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标在 当前帧中预测检测框，对各候选检测对象进行跟踪。
63.第三方面，本技术实施例提供一种计算机设备，包括存储器和处理器，存储器存储有计 算机程序，处理器执行计算机程序时实现上述第一方面实施例提供的任一项方法的步骤。
64.第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算 机程序被处理器执行时实现上述第一方面实施例提供的任一项方法的步骤。
65.本技术实施例提供的一种目标跟踪方法、装置、计算机设备和存储介质，目标跟踪方法、 装置、计算机设备和存储介质，通过获取第一传感器采集的目标场景的第一当前帧数据和至 少一个与第一传感器类型不同的第二传感器采集的目标场景的第二当前帧数据，获取根据第 一当前帧数据中各检测对象和第二当前帧数据中各检测对象关联匹配成功确定的各候选检测 对象在当前帧中的实测特征信息，然后根据各候选检测对象在当前帧中的实测特征信息及预 测的各待跟踪目标在当前帧中预测检测框，对各候选检测对象进行跟踪。该方法中，对当前 帧中各检测对象进行跟踪时，各检测对象的实测特征信息是根据两种以上不同类型的传感器 采集的数据确定出来的，即综合了多种类型的传感器采集的数据来确定各帧中检测对象的实 测特征信息，可以精准地、完整地反映各帧中检测对象的特征，这样，在将各候选检测对象 的实测特征信息征与各待跟踪目标准确的数据进行匹配时，可以准确地确定出每一个检测对 象的所属待跟踪目标，有效地完成各帧的目标跟踪。另外，根据第一当前帧数据中各检测对 象和第二当前帧数据中各检测对象关联匹配成功来筛选出候选检测对象，确保了各类型传感 器采集的数据中的检测对象的一致性。
附图说明
66.图1为一个实施例提供的一种目标跟踪的应用环境图；
67.图1a为一个实施例中激光雷达和摄像设备的位置关系；
68.图1b为一个实施例中计算机设备的内部结构图；
69.图2为一个实施例提供的一种目标跟踪方法的流程示意图；
70.图3为另一个实施例提供的一种目标跟踪方法的流程示意图；
71.图4为另一个实施例提供的一种目标跟踪方法的流程示意图；
72.图5为另一个实施例提供的一种目标跟踪方法的流程示意图；
73.图6为另一个实施例提供的一种目标跟踪方法的流程示意图；
74.图7为另一个实施例提供的一种目标跟踪方法的流程示意图；
75.图8为另一个实施例提供的一种目标跟踪方法的流程示意图；
76.图9为另一个实施例提供的一种目标跟踪方法的流程示意图；
77.图10为另一个实施例提供的一种目标跟踪方法的流程示意图；
78.图11为另一个实施例提供的一种目标跟踪方法的流程示意图；
79.图12为另一个实施例提供的一种目标跟踪方法的流程图；图13为一个实施例提供的一种目标跟踪装置的结构框图。
具体实施方式
80.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申 请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于 限定本技术。
81.本技术提供的一种目标跟踪方法，可以应用于图1所示的应用环境中，该应用环境包括 激光雷达01、摄像设备02及计算机设备03。其中，激光雷达01、摄像设备02和计算机设 备三者之间可以通信；激光雷达01包括但不限于是脉冲雷达、连续波雷达、米波雷达、分米 波雷达、厘米波雷达等，包括8线、16线、24线、32线、64线、128线激光雷达；摄像设 备02包括但不限于是专业摄像机、ccd摄像机、网络摄像机、便携式摄像机、黑白摄像机、 彩色摄像机、红外线摄像机、x光摄像机、暗访摄像机等；计算机设备03包括但不限于是服 务器、各种终端：个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备等， 相机包括枪型相机、半球型相机、球型相机。
82.其中，激光雷达01和摄像设备02之间的位置相对固定，其安装方式可以是雷达与相机 安装在固定到路侧杆上，不限位置，立杆横杆皆可，例如如图1a所示的种激光雷达01和摄 像设备02的安装示意图。图1b提供了一种计算机设备03的内部结构图，该计算机设备包括 通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计 算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储 介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统 和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标跟踪的相关数据。该计 算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以 实现一种目标跟踪方法。
83.本技术实施例提供一种目标跟踪方法、装置、计算机设备和存储介质，能够提高目
标跟 踪结果的精度。下面将通过实施例并结合附图具体地对本技术的技术方案以及本技术的技术 方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相 同或相似的概念或过程可能在某些实施例中不再赘述。需要说明的是，本技术提供的一种目 标跟踪方法，图2-图12的执行主体为计算机设备，其中，其执行主体还可以是目标跟踪装 置，其中该装置可以通过软件、硬件或者软硬件结合的方式实现成为计算机设备的部分或者 全部。
84.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附 图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术 一部分实施例，而不是全部的实施例。
85.在一个实施例中，图2提供了一种目标跟踪方法，该实施例涉及的是计算机设备根据两 种以上不同类型传感器采集的同一场景的数据，根据不同类型传感器采集的数据进行检测对 象的关联匹配之后，将关联匹配成功的检测对象的预测数据和实测数据进行匹配分析，然后 将匹配分析结果中匹配成功的检测对象对应待跟踪目标之后，对待跟踪目标进行跟踪的具体 过程，如图2所示，所述方法包括：
86.s101，获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二传感器采集 的目标场景的第二当前帧数据；第一传感器和第二传感器为不同类型的传感器。
87.其中，目标场景指的是需要跟踪的目标所在的场景，例如，目标为车辆，车辆行驶在某 一道路上，那么该道路一定范围就为该目标场景。
88.第一传感器包括但不限于是摄像设备或者激光雷达，同样，第二传感器也包括但不限于 是摄像设备或者激光雷达；但第一传感器和第二传感器为不同类型的传感器，例如，若第一 传感器是激光雷达，那么第二传感器是摄像设备，可参见图1a所示的激光雷达和摄像设备的 安装方式。
89.第一传感器采集的目标场景的当前帧数据是第一当前帧数据，以第一传感器是激光雷达 为例，第一当前帧数据就是采集的目标场景当前的数据为三维点云数据，例如，目标为车辆， 车辆行驶在某一道路上，路侧设置的激光雷达对该道路一定范围进行扫描，得到该空间场景 中的三维点云数据。同样，第二传感器若是摄像设备，那么第二当前帧数据就是摄像设备采 集的目标场景当前帧的二维像素数据，例如目标场景的视频数据。
90.s102，根据第一当前帧数据和第二当前帧数据，获取各候选检测对象在当前帧中的实测 特征信息；候选检测对象为第一当前帧数据中各检测对象和第二当前帧数据中各检测对象关 联匹配成功的检测对象；实测特征信息表示各候选检测对象的固有特性信息。
91.其中，候选检测对象为第一当前帧数据和第二当前帧数据中关联匹配成功的检测对象， 例如，第一当前帧数据中有5个检测对象，第二当前帧数据中也有5个检测对象，但是关联 匹配上的只有4个，那么这4个检测对象就是候选检测对象。
92.实际应用中，在获取了第一当前帧数据和第二当前帧数据之后，先对第一当前帧数据和 第二当前帧数据中的检测对象进行关联匹配，得到候选检测对象，然后接着从第一当前帧数 据和第二当前帧数据中获取各候选检测对象的当前帧的实测特征信息。
93.另外，计算机设备在确定候选检测对象的当前帧的实测三维检测框和实测轨迹特征时， 第一当前帧数据和第二当前帧数据必须是有效帧。可选地，有效帧指的是第一当前帧数据和 第二当前帧数据的采集时间同步，例如，两者采集时间间隔小于预设阈值。
94.实测特征信息表示各候选检测对象的固有特性信息，可选地，实测特征信息包括实测三 维检测框和实测轨迹特征，其中，实测三维检测框和实测轨迹特征指的是根据第一当前帧数 据和第二当前帧数据中实际信息计算的各目标的三维检测框和各目标的轨迹特征。其中，三 维检测框就是各候选检测对象在点云中的检测框，轨迹特征可以是方向梯度直方图特征等可 以反映检测对象各种信息的特征；例如，计算机设备根据第一当前帧数据和第二当前帧数据 中各候选检测对象的检测框的位置信息、检测框中的颜色、纹理信息等综合确定各候选检测 对象的轨迹特征，作为各候选检测对象当前帧的实测轨迹特征。当然，实际应用时，实测特 征信息也可包括候选检测对象的二维检测框和二维轨迹特征，本技术实施例对此不加以限定。
95.s103，根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前帧中预测检 测框。
96.对于每一个待跟踪目标来说，其运动轨迹在连续帧中的位置变化是相关的，可以通过一 些预测方法基于目标已发生的轨迹预测该目标未来的轨迹。现在需要预测的是当前帧的各待 跟踪目标的预测检测框，而上一帧中各待跟踪目标的特征信息(包括检测框和轨迹特征)已 经是已知的，所以可根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前帧 中预测检测框。实际应用中，检测框可包括二维检测框或者三维检测框，本技术实施例对此 不限定，例如，根据各待跟踪目标在上一帧的历史三维检测框，预测各待跟踪目标在当前帧 中预测三维检测框，这里的历史三维检测框指的就是待跟踪目标在上一帧中已发生的已知三 维检测框。例如，计算机设备可以采用预设的卡尔曼滤波器根据各待跟踪目标在上一帧的历 史三维检测框，预测各待跟踪目标在当前帧中预测三维检测框。
97.s104，根据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标在当前帧中 预测检测框，对各候选检测对象进行跟踪。
98.由于上一帧中各待跟踪目标的历史检测框已经是已知的，所以以上一帧各待跟踪目标的 历史检测框为标准，预测出各待跟踪目标在当前帧中预测检测框可以作为各待跟踪目标在当 前帧中的识别依据；例如，以三维检测框为例，通过判断各候选检测对象在当前帧中的实测 三维检测框与各待跟踪目标在当前帧中预测三维检测框之间是否匹配，可确定出每个候选检 测对象分别属于哪一个待跟踪的目标，从而就可以对每个候选检测对象进行跟踪。这里需要 说明的是，目标跟踪时每帧数据中都存在多个目标需要跟踪，就需要确定出当前帧数据中每 个检测对象分别属于哪一个待跟踪的目标，确定了当前帧数据中各检测对象的所属待跟踪目 标后，反过来就可以确定出各待跟踪标在当前帧数据中的轨迹。所以在本技术所有实施例中， 跟踪过程(还未跟踪成功)的称为检测对象，跟踪成功的称为待跟踪目标(或目标)，后续 不再赘述。
99.本实施例提供的目标跟踪方法，通过获取第一传感器采集的目标场景的第一当前帧数据 和至少一个与第一传感器类型不同的第二传感器采集的目标场景的第二当前帧数据，获取根 据第一当前帧数据中各检测对象和第二当前帧数据中各检测对象关联匹配成功成功确定的各 候选检测对象在当前帧中的实测特征信息，然后根据各候选检测对象在当前帧中的实测特征 信息及预测的各待跟踪目标在当前帧中预测检测框，对各候选检测对象进行跟踪。该方法中， 对当前帧中各检测对象进行跟踪时，各检测对象的实测特征信
息是根据两种以上不同类型的 传感器采集的数据确定出来的，即综合了多种类型的传感器采集的数据来确定各帧中检测对 象的实测特征信息，可以精准地、完整地反映各帧中检测对象的特征，这样，在将各候选检 测对象的实测特征信息与各待跟踪目标准确的数据进行匹配时，可以准确地确定出每一个检 测对象的所属待跟踪目标，有效地完成各帧的目标跟踪。另外，根据第一当前帧数据中各检 测对象和第二当前帧数据中各检测对象关联匹配成功来筛选出候选检测对象，确保了各类型 传感器采集的数据中的检测对象的一致性。
100.提供一个实施例，对上述s103步骤中根据各待跟踪目标在上一帧的特征信息，预测各待 跟踪目标在当前帧中预测检测框的过程进行说明，该实施例以三维检测框为例进行说明，则 该实施例包括：通过预设的跟踪算法模型，根据各待跟踪目标在上一帧的历史三维检测框， 预测各待跟踪目标在当前帧中预测三维检测框；其中，该跟踪算法模型是基于匀变速运动状 态的空间方程构建的。
101.其中，状态空间方程是根据目标在空间中的不同运动状态建立的，可以反映目标的轨迹 在不同时刻的变化情况、运动信息等表达式；基于该状态空间方程构建的跟踪算法模型，例 如，卡尔曼滤波器，就可以更加贴近目标在空间中运动时真实信息。在构建好跟踪算法模型 后，通过该跟踪算法模型根据各目标历史三维检测框预测当前帧中每一个待跟踪目标的预测 三维检测框，可以使每一个待跟踪目标的预测三维检测框更加准确。
102.由于匀变速运动状态的空间方程将目标在空间的运动与时间进行了耦合，考虑了加速度 的影响，可以使得轨迹预测误差更小，提升了速度变化大的跟踪效果。所以，基于匀变速运 动状态的空间方程构建的跟踪算法模型，在根据各待跟踪目标在上一帧的历史三维检测框预 测的各待跟踪目标在当前帧中预测三维检测框非常精确。
103.示例地，以每一时刻的各目标检测框为一个矩形框为例，每帧数据的检测结果为目标框 (例如，点云为三维目标框，图像为二维目标框)；将目标在图像里的运动看作匀变速运动， 则构建如下状态空间方程(1)反映目标在图像里匀变速运动时的信息变化。
[0104][0105]
其中，上式中，x
′
、y
′
代表当前帧图像中目标的检测框中心点在图像x轴、y轴的坐标， x、y代表时间t之前目标的检测框中心点在图像x轴、y轴的坐标，代表时间t之前同 一目标在图像x轴、y轴方向的速度，代表时间t之前同一目标在图像x轴、y轴方向 的加速度；α
′
、h
′
代表当前帧图像中目标的轨迹的长宽比和高度，α、h代表时间t之前目 标的轨迹的长宽比和高度，代表同一目标在时间t之前长宽比变化率、高度变化率。
[0106]
其中，上述t代表跟踪失败的时刻，那么t之前检测框中心点坐标是以采集数据中已完成 跟踪的最后一个图像为准，速度和加速度则是指t时刻之前某个时间段的平均速度和平均加 速度。那么基于上述状态空间方程(1)，可以对每个时刻的图像(各传感器采集的各帧数据) 中的目标的检测框进行预测，进行各目标实时的位置跟踪。由于状态空间方程
(1)与时间进 行了耦合，考虑到加速度，这样在轨迹预测阶段就考虑加速度的影响，可以使得轨迹预测误 差更小，提升了速度变化大的跟踪效果。
[0107]
在以上实施例的基础上，本技术实施例还提供了一种目标跟踪方法，其涉及的是计算机 设备根据各候选检测对象在当前帧中的实测特征信息和各待跟踪目标在当前帧中预测检测 框，对各候选检测对象进行跟踪的具体过程，该实施例以实测特征信息包括实测三维检测框 和实测轨迹特征，根据各待跟踪目标在上一帧的历史三维检测框，预测各待跟踪目标在当前 帧中预测三维检测框为例进行说明，如图3所示，上述s104步骤包括:
[0108]
s201，获取各候选检测对象在当前帧中的实测三维检测框与各待跟踪目标在当前帧中预 测的三维检测框之间的交并比。
[0109]
本实施例是对各候选检测对象在当前帧中的实测三维检测框和各待跟踪目标在当前帧中 预测三维检测框的匹配过程进行说明，计算两者之间的交并比实质上可看作是通过交并比匹 配各候选检测对象在当前帧中实测三维检测框和各待跟踪目标在当前帧中预测三维检测框之 间的相似度。
[0110]
例如，各候选检测对象在当前帧中实测三维检测框为a1，各待跟踪目标在当前帧中预测 三维检测框为b1，那么通过计算a1和b1的交并比来确定a1和b1的相似度。其中，交并比 即为a1和b1的交集区域和并集区域的比值。
[0111]
确定了交并比后，交并比高于预设的交并比阈值的表示两者之间非常相似，可确定两者 匹配成功，而交并比低于预设的交并比阈值的表示两者之间相差较大，两者匹配失败。
[0112]
s202，获取剩余检测对象的实测轨迹特征与各待跟踪目标在上一帧中历史轨迹特征之间 的相似度；剩余检测对象为交并比小于预设交并比阈值的候选检测对象。
[0113]
在上述计算了各候选检测对象实测三维检测框和各待跟踪目标的预测三维检测框之间交 并比之后，将交并比小于预设的交并比阈值的交并比对应的候选检测对象称为剩余检测对象。
[0114]
每一个待跟踪目标在视频的连续帧中是一帧一帧跟踪的，在跟踪当前帧中各目标时，上 一帧中已跟踪过的各目标的轨迹特征是已知的，那么将上一帧中各目标的轨迹特征称为历史 轨迹特征，则对于剩余检测对象，通过计算剩余检测对象在当前帧中的实测轨迹特征和各待 跟踪目标在上一帧中的历史轨迹特征之间的相似度来确定两者是否匹配。例如，获取两者之 间的余弦相似度，也可以通过距离度量，例如计算欧式距离等方式，本实施例对此不作限定。 例如，轨迹特征可以是方向梯度直方图(histogram of oriented gradient，hog)特征，或 者其他特征，本实施例对此也不作限定。
[0115]
确定了相似度后，相似度高于预设的相似度阈值的表示两者之间非常相似，可确定两者 匹配成功，而相似度低于预设的相似度阈值的表示两者之间相差较大，两者匹配失败。
[0116]
s203，对交并比大于交并比阈值的各候选检测对象，和相似度大于预设相似度阈值的各 剩余检测对象进行跟踪。
[0117]
上述交并比大于预设的交并比阈值以及相似度大于预设相似度阈值均表示匹配成功的， 对于所有交并比匹配成功的各候选检测对象，可确定出该候选检测对象对应待跟踪目标的标 识就是与其匹配成功的预测三维检测框对应的已知待跟踪目标的标识；而对
于相似度大于预 设相似度阈值，可确定出该候选检测对象对应待跟踪目标的标识就是与其匹配成功的历史轨 迹特征对应的已知待跟踪目标的标识。在确定了匹配成功的各候选检测对象的标识之后，将 各候选检测对象与对应标识进行关联，关联以后，就可以根据关联的标识确定每个候选检测 对象是哪一个待跟踪目标，这样就完成对匹配成功的候选检测对象的标记并跟踪。
[0118]
当然，实际应用中，也可只采用交并比的方式确定匹配成功的候选检测对象，或者只采 用相似度的方式确定匹配成功的候选检测对象，本技术实施例对此不加以限制。
[0119]
可选地，在对匹配成功的候选检测对象进行了标记跟踪后，可根据各候选检测对象的实 测三维检测框和实测轨迹特征，更新各候选检测对象所属的待跟踪目标在当前帧数据中的检 测框和轨迹信息。可以理解的是，更新后的当前帧数据中待跟踪目标的实测三维检测框和实 测轨迹特征就可以作为下一帧数据的上一帧数据中已知的历史三维检测框和历史轨迹特征。
[0120]
本实施例提供的目标跟踪方法，先基于交并比对当前帧中各候选检测对象的实测三维检 测框与待跟踪目标在当前帧的预测三维检测框进行匹配，然后将没有匹配成功的候选检测对 象的实测轨迹特征与待跟踪目标在上一帧中的历史轨迹特征进行相似度匹配，整个过程采用 不同的匹配方式混合匹配，即从不同的维度进行匹配，可以有效地将当前帧中各候选检测对 象都匹配得到的对应的待跟踪目标，避免目标作为检测对象时因被遮挡时导致的该目标未匹 配成功而丢失跟踪，使得跟踪过程每个待跟踪的目标都可以稳定地被跟踪。且由于三维检测 框可以更加贴切、精准地反映目标的物理形态，这样本实施例中以检测对象的三维检测框进 行交并比匹配，提高了目标匹配的精确性，进一步增加了目标跟踪的稳定性。
[0121]
前文有提及第一传感器和第二传感器获取的任意帧(任意时刻)数据需要是有效帧，而 有效帧指的是第一当前帧数据和第二当前帧数据之间的时间同步，所以需要判断每一帧中第 一当前帧数据和第二当前帧数据之前的时间是否同步。基于此，提供一个实施例进行说明， 如图4所示，该实施例包括：
[0122]
s301，对于任一帧传感器采集的数据，获取第一当前帧数据时间戳t1和第二当前帧数据 的时间戳t2。
[0123]
具体地，可通过获取第一当前帧数据的时间戳t1和第二当前帧数据的时间戳t2来判断。 实际应用中，由于第一传感器和第二传感器采集数据时，其采集的数据上可能存在时间戳， 也可能不存在时间戳，所以对于第一当前帧数据和第二当前帧数据中携带了时间戳的情况， 例如，第一当前帧数据和第二当前帧数据均携带了传感器的gps模块采集数据的时间，这种 情况下，计算机设备可以直接获取第一当前帧数据的时间戳t1和第二当前帧数据的时间戳t 2。
[0124]
可选地，对于第一当前帧数据和第二当前帧数据中未携带时间戳的情况，则将第一当前 帧数据的采集时间和第二当前帧数据的采集时间转换成同一时间轴下后，分别获取第一当前 帧数据的时间戳t1和第二当前帧数据的时间戳t2。
[0125]
具体地，如果传感器中没有gps模块，得不到gps模块给的精确时间，那么就将各传感 器本身的系统时间转换为计算机设备(即处理平台)的系统时间，统一在处理平台的系统时 间下，可以精确地对第一当前帧数据和第二当前帧数据的时间戳进行判断。例如，在
同一时 刻下，处理平台系统时间为4:00，第一传感器系统时间为4:03，第二传感器系统时间为4:0 2，在转换后，把当前时刻的第一传感器采集的第一当前帧数据的时间转换为4:00(时间戳t 1)，把第二传感器采集的第二当前帧数据的时间转化为4:00(时间戳t2)，从而得到了第 一当前帧数据时间戳t1和第二当前帧数据的时间戳t2。
[0126]
s302，若t1和t2之间间隔小于预设的间隔阈值，则确定第一当前帧数据和第二当前帧 数据为当前帧采集的数据；若t1和t2之间间隔大于预设阈值，则丢弃第一当前帧数据和第 二当前帧数据，重新获取下一帧第一当前帧数据时间戳t1和第二当前帧数据的时间戳t2。
[0127]
在获取到t1和t2之后，判断t1和t2之间间隔(时间间隔为绝对值|t1-t2|)与预设的 间隔阈值(例如10ms)的大小关系，若t1和t2之间间隔小于预设的间隔阈值，那么可确定 第一当前帧数据和第二当前帧数据时间同步，为有效帧，就可以将第一当前帧数据和第二当 前帧数据直接确定为当前时刻(当前帧)的数据。但若t1和t2之间间隔大于预设阈值，就 表示第一当前帧数据和第二当前帧数据时间不同步，为无效帧，则丢弃第一当前帧数据和第 二当前帧数据，重新获取下一帧第一当前帧数据时间戳t1和第二当前帧数据的时间戳t2， 进行判断过程。例如，按照一定的帧率(比如10hz)寻找下一帧数据。
[0128]
可选地，若t1和t2之间间隔小于预设的间隔阈值，则丢弃t1和t2中较小的值，保留 较大的值，然后获取较小值的传感器采集的下一帧数据中的时间戳t，将新t与保留的较大 的值进行比较，确定两者之间的间隔是否小于预设的间隔阈值，若是，保留新t值与较大的 值，否则，继续比较下一次的新t与保留的较大的值，直到，最新的t与保留的较大的值之 间间隔小于预设间隔阈值。例如，激光雷达采集的数据的时间戳是t1，摄像设备采集的数据 的时间戳是t2，预设间隔阈值是10hz；一开始的t1》t2，那么舍弃t2，然后将摄像设备采集 的新t2与t1进行比较，若新t2与t1的间隔《10hz，那么保留新t2与t1；但若新t2与t1 之间的间隔》10hz，则继续往下摄像设备最新获取的t2与t1的间隔。
[0129]
本实施例中，通过各个传感器采集的数据的时间戳，来判断各个传感器采集的数据是否 同步，不同步的丢弃，只保留同步的数据，使得在进行目标跟踪时的数据更加精准。
[0130]
另外，在上述获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二传感 器采集的目标场景的第二当前帧数据之前，还可以进行一些预处理工作，进一步保证各传感 器采集数据的同步。则可选地，在一个实施例，该方法还包括：调整第一传感器的采样频率 和第二传感器的采样频率相同，以及对第一传感器和第二传感器之间的外参信息进行标定。
[0131]
预处理准备工作包括调整各传感器的采样频率，和对各传感器的外参信息进行标定。
[0132]
其中，调整各传感器的采样频率可以是在安装各传感器时，将各传感器的采用频率调整 一致；还可以是预先在计算机设备中植入调整程序，定时地将调整程序(可携带指定采样频 率)发送给各传感器，指示各传感器调整自身的采样频率。
[0133]
可选地，以第一传感器为摄像设备；第二传感器为激光雷达；对第一传感器和第二传感 器之间的外参信息进行标定，包括：将摄像设备和激光雷达之间的相对位姿信息调整为目标 位姿信息，并根据预设的标定算法获取摄像设备标定后的外参信息；根据标定后的外参信息 对摄像设备的外参信息进行标定。
[0134]
外参信息包括：位姿信息(相对位置和相对角度)和摄像设备的外参信息
[0135]
实际应用中，为了使激光雷达与摄像设备全面有效地获取周边环境信息，在安装激光雷 达与摄像设备时，两者之间的要有合适的相对位置和相对角度。例如，可参见图1a所示的激 光雷达与摄像设备安装角度，所以要保证的激光雷达与摄像设备之间的相对位置和相对角度， 以保证激光雷达与摄像设备之间的相对位置和相对角度可以全面有效地获取周边环境信息。
[0136]
例如，获取目标位姿信息，该目标位姿信息中包括预先设定的目标相对位置和相对角度， 那么计算机设备根据该目标相对位置和目标相对角度指示摄像设备与激光雷达调整自身的位 姿。
[0137]
基于调整了位姿信息后的激光雷达和摄像设备，计算机设备对摄像设备的外参信息进行 标定，例如，可根据点云与图像之间的映射关系对摄像设备的外参信息进行标定。其中，点 云与图像之间的映射关系表示的是世界坐标系(激光雷达所使用坐标系)与像素坐标系(摄 像设备的图像中像素所使用坐标系)之间的关系：其中，该映射关系中，为摄像设备的内参矩阵，为摄像设备的 外参矩阵，为世界坐标系中各点的坐标矩阵，为像素坐标系中点的坐标矩阵。
[0138]
那么求取出根据实际激光雷达采集的点云数据和摄像设备采集像素数据可确定出世界坐 标系中各点的坐标矩阵和像素坐标系中点的坐标矩阵。而摄像设备的内参信息可以直接获取， 然后从该映射关系中求取摄像设备的外参矩阵，然后根据求取的外参矩阵作为摄像设备的新 的外参信息，即完成了对摄像设备的标定。
[0139]
本实施例中通过预处理准备工作对摄像设备和激光雷达的外参信息进行标定，这样摄像 设备和激光雷达可以全面有效地获取周边环境信息，从而使得采集的目标场景的数据更加精 确。另外除了上述对摄像设备的外参信息进行标定，对摄像设备和激光雷达之间的外参信息 (相对位置和相对角度)也可进行标定，这样通过对摄像设备和激光雷达之间的外参信息进 行标定可保证摄像设备和激光雷达采集的数据进行空间转换时，保持空间统一性，提高数据 转换的精确度。
[0140]
通过下面的实施例对上述s102步骤中“根据第一当前帧数据和第二当前帧数据，确定各 候选检测对象在当前帧中的实测特征信息”的过程进行说明，本实施例仍以实测特征信息包 括实测三维检测框和实测轨迹特征为例进行说明，如图5所示，在一个实施例中，s102步骤 包括：
[0141]
s401，获取像素数据中各检测对象的二维检测框，和点云数据中各检测对象的实测三维 检测框。
[0142]
本实施例以第一当前帧数据为摄像设备采集的像素数据，第二当前帧数据为激光雷达采 集的点云数据为例进行说明。
[0143]
从摄像设备采集的像素数据获取各检测对象的二维检测框，例如，通过预设的深度学习 算法模型，例如yolov3模型等，输出各检测对象所在的像素矩形框定位，目标置信度，目标 分类等信息；其中，矩形框定位可以反映各检测对对象的二维检测框，目标置信度可以反映 各检测对象相对于待跟踪目标的准确度；目标分类信息反映的是各检测对象的类别，例如， 目标是车、人或者动物等。
[0144]
从点云数据中获取各检测对象的三维检测框(实测三维检测框)，例如，通过预设的深 度学习算法模型，例如second模型等，输出各检测对象所在点云坐标系中的定位、尺寸、航 向角等信息；其中，各检测对象在点云坐标系中的定位、尺寸、航向角等可以反映的是各检 测对象的实测三维检测框。需要说明的是，本技术所有实施例中的实测三维检测框和二维检 测框均指的是检测对象的实际测量的三维或二维检测框，但三维检测框称为实测三维检测框 是为了保持与前文描述的统一性，而前文称为实测三维检测框是为了和预测三维检测框进行 区分。
[0145]
s402，将像素数据中各检测对象的二维检测框和点云数据中各检测对象的实测三维检测 框进行匹配，确定候选检测对象。
[0146]
在获取到像素数据中每一个检测对象的二维检测框和点云数据中每一个检测对象的实测 三维检测框之后，先对像素数据中的检测对象和点云数据中的检测对象进行关联匹配，将关 联匹配成功的检测对象确定为候选检测对象。
[0147]
可选地，如图6所示，确定候选检测对象的一种实施例包括：
[0148]
s501，将各实测三维检测框映射为对应的二维映射检测框。
[0149]
将每一个检测对象的实测三维检测框映射为对应的二维映射检测框，例如，可以是将点 云数据中各实测三维检测框作为输入数据输入至预先训练好的转换网络模型中，输出结果即 为得到该点云数据中各实测三维检测框对应的二维图像。又例如，先基于预设的三维坐标系 和二维坐标系之间的映射关系，将各实测三维检测框中的每一个点云点的三维坐标转换为二 维坐标后，得到该各实测三维检测框中每个点云点的二维坐标，然后确定每个二维坐标对应 的点云点上对应的像素值，确定的每个二维坐标位置的像素值后，得到各实测三维检测框对 应的二维图像。这样，得到的二维检测框中每个点的二维坐标位置处该点的像素值也不相同， 也保留了三维点云点的特征。
[0150]
s502，获取各二维检测框和各二维映射检测框之间的交并比，并将交并比大于交并比阈 值的检测对象确定为候选检测对象。
[0151]
得到各检测对象的实测三维检测框对应的二维映射检测框之后，获取各二维映射检测框 和像素数据中各检测对象的二维检测框之间的交并比，然后将交并比大于预设交并比阈值的 检测对象确定为候选检测对象。可以理解的是，该候选检测对象实质上是一对检测框。需要 说明的是，这里的预设交并比阈值与前文实施例中的进行匹配的预设交并比阈值可以相同， 也可以不同，本实施例对此不做限定。
[0152]
通过将像素数据中的各检测对象的二维检测框和点云数据中的各检测对象的实
测三维检 测框进行关联匹配，筛选出候选检测对象，确保了各类型传感器采集的数据中的检测对象的 一致性。
[0153]
s403，根据各候选检测对象在像素数据中的二维检测框和特征信息，以及各检测对象在 点云数据中的实测三维检测框和特征信息，确定各候选检测对象的实测轨迹特征。
[0154]
在确定了各候选检测对象后，进一步确定各候选检测对象的实测轨迹特征。例如，根据 各候选检测对象的二维检测框，提取该二维检测框中的特征信息；例如，提取二维检测框的 方向梯度直方图(histogram of oriented gradient，hog)特征作为对应的二维检测框的特 征；根据各候选检测对象的实测三维检测框，提取该实测三维检测框中的特征信息；然后根 据二维检测框中的特征信息和实测三维检测框中的特征信息综合确定各候选检测对象的实测 轨迹特征。其中，各候选检测对象的实测三维检测框就是各检测对象在点云数据中的三维检 测框。
[0155]
本实施例中，先基于像素数据中各检测对象的二维检测框，和点云数据中各检测对象的 实测三维检测框确定候选检测对象，然后根据各候选检测对象的二维检测框中的特征信息和 实测三维检测框中的特征信息确定各候选检测对象的实测轨迹特征。在确定各检测对象的实 测轨迹特征时是根据两种以上不同类型的传感器采集的数据确定的，综合了多种类型的传感 器采集的数据来确定各帧中检测对象的实测轨迹特征，可以精准地，完整地反映各帧中检测 对象的特征，这样，在将各候选检测对象的实测轨迹特征与各待跟踪目标的历史轨迹特征进 行匹配时，可以准确地确定出每一个检测对象的所属待跟踪目标，有效地完成各帧的目标跟 踪。
[0156]
提供一种上述s403步骤中确定各候选检测对象的实测轨迹特征的可实现方式，如图7所 示，该实施例包括：
[0157]
s601，将各候选检测对象在像素数据中的二维检测框和特征信息综合确定为各候选检测 对象的二维轨迹特征；将各候选检测对象在点云数据中的实测三维检测框和特征信息综合确 定为各候选检测对象的三维轨迹特征。
[0158]
将各候选检测对象在像素数据中的二维检测框提取的特征信息和二维检测框综合确定为 各候选检测对象的二维轨迹特征，即，二维轨迹特征可以看作是各候选检测对象的二维检测 框且携带着二维检测框中的像素点的特征信息。
[0159]
将各候选检测对象在点云数据中的实测三维检测框和从实测三维检测框中提取的特征信 息综合确定为各候选检测对象的三维轨迹特征，同样，三维轨迹特征可以看作是各候选检测 对象的实测三维检测框且携带着实测三维检测框中的点云点的特征信息。
[0160]
s602，将各候选检测对象的三维轨迹特征转换为对应的二维映射轨迹特征。
[0161]
由于三维轨迹特征从展示形式上就是实测三维检测框，所以将各候选检测对象的三维轨 迹特征转为对应的二维映射轨迹特征时，可以根据点云和图像中点的映射关系进行转换，其 中，基于映射关系将实测三维检测框的每一个点云点的三维坐标转换为二维坐标后，得到该 实测三维检测框中每个点云点的二维坐标，然后确定每个二维坐标对应的点云点上对应的像 素值，确定的每个二维坐标位置的像素值后，得到该实测三维检测框对应的二维检测框。这 样，得到的二维检测框中每个点的二维坐标位置处该点的像素值也不相同，也保留了实测三 维检测框中点云点的特征，这样，转换得到的二维映射轨迹特征包括三维轨迹特征中的检测 框及检测框中点的特征信息。
[0162]
s603，根据各二维映射轨迹特征和各二维轨迹特征的融合数据，提取各候选检测对象的 实测轨迹特征。可选地，将各二维轨迹特征和各二维映射轨迹特征压缩为相同比例大小后， 拼接得到融合数据矩阵；将从融合数据矩阵中提取的特征信息确定为各候选检测对象的实测 轨迹特征。
[0163]
各二维映射轨迹特征是从点云数据中确定了各候选检测对象的特征信息，各二维轨迹特 征是从像素数据中确定的各候选检测对象的特征信息，根据这两个融合数据提炼的特征信息 为各候选检测对象的实测轨迹特征。
[0164]
仍以上述举例进行说明，将各候选检测对象的二维轨迹特征信息和各二维映射轨迹特征 调整为相同比例，例如，各候选检测对象的二维轨迹特征信息压缩到n*n*3大小，二维映射 轨迹特征放缩到同样大小比例。比例调整之后，将两者进行拼接，得到融合数据矩阵。然后 将融合数据矩阵输入至卷积神经网络中进行特征的提取，提取的特征即为各候选检测对象的 实测轨迹特征。
[0165]
本实施例中，通过将各候选检测对象在点云数据中的三维轨迹特征转换为二维映射轨迹 特征，然后将二维映射轨迹特征和各候选检测对象在像素数据中的二维轨迹特征拼接后形成 融合数据矩阵，从融合数据矩阵提取的特征信息确定为各候选检测对象的实测轨迹特征。从 多维度类型的数据来确定各帧中检测对象的实测轨迹特征，可以精准地，完整地反映各帧中 检测对象的特征，这样，在将各候选检测对象的实测轨迹特征与各待跟踪目标准确的数据进 行匹配时，可以准确地确定出每一个检测对象的所属待跟踪目标，有效地完成各帧的目标跟 踪。
[0166]
下面以具体的实施例，对上述s602中将各候选检测对象的三维轨迹特征转换为对应的二 维映射轨迹特征的过程进行说明，如图8所示，s602包括：
[0167]
s701，将各三维轨迹特征对应的实测三维检测框中的点云点的三维坐标转换为二维坐标。
[0168]
其中，转换三维坐标到二维坐标可以基于三维坐标系和二维坐标系之间的映射关系进行， 例如，三维坐标系和二维坐标系之间的映射关系可以如下公式(1)所示：
[0169][0170]
上述公式(1)中a、b表示点云点在三维坐标系中的坐标，a
t
、b
t
表示点云点映射后在 二维坐标系中的坐标，h表示点云边界到y轴的距离，w表示点云边界到x轴的距离，其中， x轴和y轴是以激光雷达为原点的坐标轴。
[0171]
基于公式(1)的映射关系，转换三维检测框中各点云点的三维坐标为二维坐标。
[0172]
s702，根据各点云点的二维坐标和各点云点在三维坐标中的z轴坐标，获取各实测三维 检测框对应的鸟瞰图；根据各点云点的二维坐标和各点云点的强度，获取各实测三维检测框 对应的强度图；根据鸟瞰图中各点云点在z轴方向的密度，获取各实测三维检测框对应的密 度图。
[0173]
本步骤中分别获取了各实测三维检测框对应的鸟瞰图、强度图和密度图，这三个图都是 二维的。
[0174]
其中，获取实测三维检测框对应的鸟瞰图是根据各点云点的二维坐标和各点云点
在三维 坐标中的z轴坐标确定的。其中，点云点的二维坐标是上述步骤中转换得到的，每个点云点 在二维坐标决定了该点云点在二维平面上的位置。其中，点云点在三维坐标中的z轴坐标是 点云点在点云数据所在的三维坐标中的z坐标，z坐标也可以看做是该点云点在二维坐标中 的高度。基于实测三维检测框中，每个点云点在二维平面上的位置和该点云点在二维坐标中 的高度，可以得到各实测三维检测框对应的鸟瞰图。
[0175]
可选地，如图9所示，获取各实测三维检测框对应的鸟瞰图的过程包括：
[0176]
s801，对各点云点在三维坐标中的z轴坐标进行归一化处理，将归一化处理后的z轴坐 标确定为各点云点的像素值。
[0177]
先根据点云点在三维坐标中的z轴坐标确定出每个点云点在鸟瞰图中像素值，因为像素 值的范围是0-255，所以要先对点云点在三维坐标中的z轴坐标，做归一化处理，归一化到0 ～255之间，归一化后的值即为各点云点在鸟瞰图中像素值。
[0178]
s802，以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到各实测三维检 测框对应的鸟瞰图。
[0179]
得到各点云点在鸟瞰图中像素值后，结合各点云点在二维坐标可确定到每个点云点的坐 标位置，然后将对应点云点的像素值填充到二维坐标位置处，得到最终的鸟瞰图。
[0180]
其中，获取强度图是根据各点云点的二维坐标和各点云点的强度确定的，其中，点云点 的强度是激光雷达采集点云数据时每个点云的强度得到的。基于实测三维检测框中每个点云 点在二维平面上的位置和该点云点的强度，可以得到各实测三维检测框对应的强度图。
[0181]
可选地，如图10所示，获取各实测三维检测框对应的强度图的过程包括：
[0182]
s901，对各点云点的强度进行归一化处理，将归一化处理后强度确定为各点云点的像素 值。
[0183]
先根据点云点的强度确定出每个点云点在鸟瞰图中像素值，同样，像素值的范围是0-25 5，所以要先对点云点的强度做归一化处理，归一化到0～255之间，归一化后的值即为各点云 点在强度图中像素值。
[0184]
s902，以各点云点对应的像素值作为对应的二维坐标位置的像素值，得到各实测三维检 测框对应的强度图。
[0185]
得到各点云点在强度图中像素值后，结合各点云点在二维坐标可确定到每个点云点的坐 标位置，然后将对应点云点的像素值填充到二维坐标位置处，得到最终的强度图。
[0186]
其中，获取密度图是根据鸟瞰图中各点云点在z轴方向的密度确定的，其中，点云点在 z轴方向的密度指的是在点云三维坐标时，每个x轴和y轴决定的位置处在z轴方向上点云点 的数量的密度。
[0187]
可选地，如图11所示，获取各实测三维检测框对应的密度图的过程包括：
[0188]
s1001，根据每个点云点的二维坐标位置中在z轴方向上的点云点的数量、所有坐标位置 中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，确定每个位置的点云点 在z轴方向的密度。
[0189]
以x坐标和y坐标决定一个像素点的二维坐标位置，那么三维检测框中每个点云点都对 应一个二维坐标位置，获取每个二维坐标位置在z轴方向上的点云点的数量，那么对于其中 一个点云点来说，根据该点云点的二维坐标位置中在z轴方向上的点云点的数量、
所有坐标 位置中点云点的数量的最大值、所有坐标位置中点云点的数量的最小值，就可以确定该点云 点在z轴方向的密度。
[0190]
例如，点云点在z轴方向的密度可通过下述公式(2)确定。
[0191][0192]
其中，ρi为第i个像素点(即二维坐标位置)的密度，ci为第i个像素点的点云数量，c
min
为各像素点中点云数量的最小值，c
max
表示各像素点中点云数量的最大值。
[0193]
s1002，将每个坐标位置的点云点在z轴方向的密度作为对应的二维坐标位置的像素值， 得到各实测三维检测框对应的密度图。
[0194]
得到各点云点的密度后，将该密度作为该点云点的像素点，结合各点云点在二维坐标可 确定到每个点云点的坐标位置，然后将对应点云点的像素值填充到二维坐标位置处，得到最 终的密度图。
[0195]
获取鸟瞰图、强度图和密度图的过程如上，下面是对鸟瞰图、强度图和密度图进行合并 处理的过程。
[0196]
s705，将鸟瞰图、强度图和密度图进行合并处理，得到各三维轨迹特征对应的二维映射 轨迹特征。
[0197]
得到点云数据中各实测三维检测框对应的鸟瞰图、强度图和密度图后，将这三个二维的 图像进行合并，可选地，将鸟瞰图、强度图和密度图分别作为r、g、b三个通道的图像进行 合并处理，即可得到各实测三维检测框对应的二维映射检测框，而实测三维检测框中每个点 云点的特征信息都反映在二维映射检测框中的各像素点上，各实测三维检测框对应的各三维 轨迹特征，各二维映射检测框对应的二维映射轨迹特征，即得到了各三维轨迹特征对应的二 维映射轨迹特征。
[0198]
本实施例中，由于是先获取了各实测三维检测框对应的鸟瞰图、强度图和密度图，该三 个图中每个点的像素值都是基于点云数据的实际数据转换的，即将点云点在点云中的该有的 信息均做了保留，当将这三个图合并后得到二维映射轨迹特征中各点的像素值也可以准确反 映出点云点在三维点云中的信息，从而使得二维映射轨迹特征可以更加精确的反映各三维轨 迹特征。
[0199]
在一个实施例中，如图12所示，提供了一种目标跟踪方法的实施例，该实施例包括：
[0200]
s1101，调整第一传感器的采样频率和第二传感器的采样频率相同，以及对第一传感器和 第二传感器之间的外参信息进行标定；
[0201]
s1102，对于任一帧传感器采集的数据，获取第一当前帧数据时间戳t1和第二当前帧数 据的时间戳t2；
[0202]
s1103，若t1和t2之间间隔小于预设的间隔阈值，确定第一当前帧数据和第二当前帧数 据为当前帧采集的数据；若t1和t2之间间隔大于预设阈值，则丢弃第一当前帧数据和第二 当前帧数据，重新获取下一帧的第一当前帧数据时间戳t1和第二当前帧数据的时间戳t2；
[0203]
s1104，获取像素数据中各检测对象的二维检测框，和点云数据中各检测对象的实测三维 检测框；
[0204]
s1105，根据像素数据中各检测对象的二维检测框和点云数据中各检测对象的实测三维检 测框，确定候选检测对象；
[0205]
s1106，将各候选检测对象在像素数据中的二维检测框和特征信息综合确定为各候选检测 对象的二维轨迹特征；将各候选检测对象在点云数据中的实测三维检测框和特征信息综合确 定为各候选检测对象的三维轨迹特征；
[0206]
s1107，将各三维轨迹特征对应的实测三维检测框中的点云点的三维坐标转换为二维坐 标；
[0207]
s1108，获取各实测三维检测框对应的鸟瞰图；获取各实测三维检测框对应的密度图；获 取各实测三维检测框对应的强度图；将鸟瞰图、强度图和密度图进行合并处理，得到各三维 轨迹特征对应的二维映射轨迹特征；
[0208]
s1109，根据各二维映射轨迹特征和各二维轨迹特征的融合数据，提取各候选检测对象的 实测轨迹特征；
[0209]
s1110，通过预设的跟踪算法模型，根据各待跟踪目标在上一帧的历史三维检测框，预测 各待跟踪目标在当前帧中预测三维检测框；
[0210]
s1111，获取各候选检测对象在当前帧中的实测三维检测框与各待跟踪目标在当前帧中预 测三维检测框之间的交并比；
[0211]
s1112，获取剩余检测对象的实测轨迹特征与各待跟踪目标在上一帧中历史轨迹特征之间 的相似度；剩余检测对象为交并比小于预设交并比阈值的候选检测对象；
[0212]
s1113，对交并比大于交并比阈值的各候选检测对象，和相似度大于预设相似度阈值的各 剩余检测对象进行跟踪。
[0213]
本实施例提供的目标跟踪方法中各步骤，其实现原理和技术效果与前面各目标跟踪方法 实施例中类似，在此不再赘述。图12实施例中各步骤的实现方式只是一种举例，对各实现方 式不作限定，各步骤的顺序在实际应用中可进行调整，只要可以实现各步骤的目的即可。
[0214]
应该理解的是，虽然图2-12的流程图中的各个步骤按照箭头的指示依次显示，但是这些 步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行 并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-12中的至少一部分步 骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成， 而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可 以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0215]
在一个实施例中，如图8所示，提供了一种目标跟踪装置，包括：获取模块10、确定模 块11、预测模块12和跟踪模块13，其中，
[0216]
获取模块10，用于获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二 传感器采集的目标场景的第二当前帧数据；第一传感器和第二传感器为不同类型的传感器；
[0217]
特征获取模块11，用于根据第一当前帧数据和第二当前帧数据，获取各候选检测对象在 当前帧中的实测特征信息；候选检测对象为第一当前帧数据中各检测对象和第二当前帧数据 中各检测对象关联匹配成功的检测对象；实测特征信息表示各候选检测对象
的固有特性信息；
[0218]
预测模块12，用于根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前 帧中预测检测框；
[0219]
跟踪模块13，用于根据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标 在当前帧中预测检测框，对各候选检测对象进行跟踪。
[0220]
在一个实施例中，上述跟踪模块13包括：
[0221]
第一获取单元，用于获取各候选检测对象在当前帧中的实测三维检测框与各待跟踪目标 在当前帧中预测的三维检测框之间的交并比；
[0222]
第二获取单元，用于获取剩余检测对象的实测轨迹特征与各待跟踪目标在上一帧中历史 轨迹特征之间的相似度；剩余检测对象为交并比小于预设交并比阈值的候选检测对象；
[0223]
第一确定单元，用于对交并比大于交并比阈值的各候选检测对象，和相似度大于预设相 似度阈值的各剩余检测对象进行跟踪。
[0224]
在一个实施例中，上述获取模块10包括：
[0225]
第三获取单元，用于对于任一帧传感器采集的数据，获取第一当前帧数据时间戳t1和第 二当前帧数据的时间戳t2；
[0226]
第二确定单元，用于若t1和t2之间间隔小于预设的间隔阈值，则确定第一当前帧数据 和第二当前帧数据为当前帧采集的数据；若t1和t2之间间隔大于预设阈值，则丢弃第一当 前帧数据和第二当前帧数据，重新获取下一帧的第一当前帧数据时间戳t1和第二当前帧数据 的时间戳t2。
[0227]
在一个实施例中，上述第三获取单元具体用于若第一当前帧数据和第二当前帧数据中未 携带时间戳，则将第一当前帧数据的采集时间和第二当前帧数据的采集时间转换成同一时间 轴下，获取t1和t2。
[0228]
在一个实施例中，该装置还包括：调整模块，用于调整第一传感器的采样频率和第二传 感器的采样频率相同，以及对第一传感器和第二传感器之间的外参信息进行标定。
[0229]
在一个实施例中，第一传感器为摄像设备；第二传感器为激光雷达；
[0230]
则上述调整模块，具体用于将摄像设备和激光雷达之间的相对位姿信息调整为目标位姿 信息，并根据预设的标定算法获取摄像设备标定后的外参信息；根据标定后的外参信息对摄 像设备的外参信息进行标定。
[0231]
在一个实施例中，上述第一当前帧数据为摄像设备采集的像素数据，第二当前帧数据为 激光雷达采集的点云数据；则上述特征获取模块11包括：
[0232]
检测框获取单元，用于获取像素数据中各检测对象的二维检测框，和点云数据中各检测 对象的实测三维检测框；
[0233]
候选检测对象确定单元，用于将像素数据中各检测对象的二维检测框和点云数据中各检 测对象的实测三维检测框进行匹配，确定候选检测对象；
[0234]
实测特征确定单元，用于根据各候选检测对象在像素数据中的二维检测框和特征信息， 以及各检测对象在点云数据中的实测三维检测框和特征信息，确定各候选检测对象的实测轨 迹特征。
[0235]
在一个实施例中，上述候选检测对象确定单元，具体用于将各三维检测框映射为
对应的 二维映射检测框；获取各二维检测框和各二维映射检测框之间的交并比，并将交并比大于交 并比阈值的检测对象确定为候选检测对象。
[0236]
在一个实施例中，上述实测特征确定单元包括：
[0237]
轨迹特征确定子单元，用于将各候选检测对象在像素数据中的二维检测框和特征信息综 合确定为各候选检测对象的二维轨迹特征；将各候选检测对象在点云数据中的实测三维检测 框和特征信息综合确定为各候选检测对象的三维轨迹特征；
[0238]
转换子单元，用于将各候选检测对象的三维轨迹特征转换为对应的二维映射轨迹特征；
[0239]
特征提取子单元，用于根据各二维映射轨迹特征和各二维轨迹特征的融合数据，提取各 候选检测对象的实测轨迹特征。
[0240]
在一个实施例中，上述转换子单元包括：
[0241]
坐标转换子单元，用于将各三维轨迹特征对应的实测三维检测框中的点云点的三维坐标 转换为二维坐标；
[0242]
鸟瞰图子单元，用于根据各点云点的二维坐标和各点云点在三维坐标中的z轴坐标，获 取各实测三维检测框对应的鸟瞰图；
[0243]
强度图子单元，用于根据各点云点的二维坐标和各点云点的强度，获取各实测三维检测 框对应的强度图；
[0244]
密度图子单元，用于根据鸟瞰图中各点云点在z轴方向的密度，获取各实测三维检测框 对应的密度图；
[0245]
射轨迹特征确定子单元，用于将鸟瞰图、强度图和密度图进行合并处理，得到各三维轨 迹特征对应的二维映射轨迹特征。
[0246]
在一个实施例中，上述鸟瞰图子单元，具体用于对各点云点在三维坐标中的z轴坐标进 行归一化处理，将归一化处理后的z轴坐标确定为各点云点的像素值；以各点云点对应的像 素值作为对应的二维坐标位置的像素值，得到各实测三维检测框对应的鸟瞰图。
[0247]
在一个实施例中，上述强度图子单元，具体用于对各点云点的强度进行归一化处理，将 归一化处理后强度确定为各点云点的像素值；以各点云点对应的像素值作为对应的二维坐标 位置的像素值，得到各实测三维检测框对应的强度图。
[0248]
在一个实施例中，上述密度图子单元，具体用于根据每个点云点的二维坐标位置中在z 轴方向上的点云点的数量、所有坐标位置中点云点的数量的最大值、所有坐标位置中点云点 的数量的最小值，确定每个位置的点云点在z轴方向的密度；将每个坐标位置的点云点在z 轴方向的密度作为对应的二维坐标位置的像素值，得到各实测三维检测框对应的密度图。
[0249]
在一个实施例中，上述特征提取子单元，具体用于将各二维轨迹特征和各二维映射轨迹 特征压缩为相同比例大小后，拼接得到融合数据矩阵；将从融合数据矩阵中提取的特征信息 确定为各候选检测对象的实测轨迹特征。
[0250]
在一个实施例中，上述预测模块12，具体用于通过预设的跟踪算法模型，根据各待跟踪 目标在上一帧的历史三维检测框，预测各待跟踪目标在当前帧中预测三维检测框；其中，跟 踪算法模型是基于匀变速运动状态的空间方程构建的。
[0251]
关于目标跟踪装置的具体限定可以参见上文中对于目标跟踪方法的限定，在此不
再赘述。 上述目标跟踪装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块 可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设 备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0252]
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可 以如图1b所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏 和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储 器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。 该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备 的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种 目标跟踪方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设 备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹 球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0253]
本领域技术人员可以理解，图1b中示出的结构，仅仅是与本技术方案相关的部分结构的 框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包 括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0254]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算 机程序，该处理器执行计算机程序时实现以下步骤：
[0255]
获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二传感器采集的目标 场景的第二当前帧数据；第一传感器和第二传感器为不同类型的传感器；
[0256]
根据第一当前帧数据和第二当前帧数据，获取各候选检测对象在当前帧中的实测特征信 息；候选检测对象为第一当前帧数据中各检测对象和第二当前帧数据中各检测对象关联匹配 成功的检测对象；实测特征信息表示各候选检测对象的固有特性信息；
[0257]
根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前帧中预测检测框；
[0258]
根据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标在当前帧中预测检 测框，对各候选检测对象进行跟踪。
[0259]
上述实施例提供的一种计算机设备，其实现原理和技术效果与上述方法实施例类似，在 此不再赘述。
[0260]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程 序被处理器执行时实现以下步骤：
[0261]
获取第一传感器采集的目标场景的第一当前帧数据，和至少一个第二传感器采集的目标 场景的第二当前帧数据；第一传感器和第二传感器为不同类型的传感器；
[0262]
根据第一当前帧数据和第二当前帧数据，获取各候选检测对象在当前帧中的实测特征信 息；候选检测对象为第一当前帧数据中各检测对象和第二当前帧数据中各检测对象关联匹配 成功的检测对象；实测特征信息表示各候选检测对象的固有特性信息；
[0263]
根据各待跟踪目标在上一帧的历史检测框，预测各待跟踪目标在当前帧中预测检测框；
[0264]
根据各候选检测对象在当前帧中的实测特征信息，以及各待跟踪目标在当前帧中
预测检 测框，对各候选检测对象进行跟踪。
[0265]
上述实施例提供的一种计算机可读存储介质，其实现原理和技术效果与上述方法实施例 类似，在此不再赘述。
[0266]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计 算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存 储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所 提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易 失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、 电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机 存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸 如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、 增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus) 直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram) 等。
[0267]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各 个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应 当认为是本说明书记载的范围。
[0268]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因 此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不 脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因 此，本技术专利的保护范围应以所附权利要求为准。