目标检测跟踪方法、装置、计算机设备和存储介质与流程

本申请涉及信息处理，具体地，涉及一种目标检测跟踪方法、装置、计算机设备和存储介质。

背景技术：

1、目标检测和目标跟踪是自动驾驶感知算法中极为重要的部分，需要检测出每一帧中的目标，还要追踪这些目标的运动轨迹。目前业界较为常见的方法是先检测后跟踪，即使用深度学习算法实现目标检测，然后再对每个目标使用卡尔曼滤波进行预测和跟踪。但这种方法非常依赖于检测器输出目标的精度，特别是单帧检测中无法利用历史帧的目标特征，常出现由于遮挡导致的漏检、误检等问题。近年来，连续帧检测的方法也被提出，但大多数都是在bev上做特征融合，计算量大且很难保证特征对齐。

技术实现思路

1、本申请实施例中提供了一种目标检测跟踪方法、装置、计算机设备和存储介质。

2、本申请实施例的第一个方面，提供了一种目标检测跟踪方法，包括：

3、获取待检测的图像数据和点云数据，并对所述图像数据和点云数据分别进行特征提取获得图像特征和点云bev特征；

4、聚合图像特征和点云bev特征获得目标嵌入，并对所述目标嵌入进行筛选获得当前帧候选目标；

5、将当前帧候选目标与跟踪目标进行特征交互，并输出交互结果；

6、将所述交互结果与图像特征和点云bev特征进行交互输出目标查询；

7、通过线性层对所述目标查询进行处理获得目标类别置信度和目标框，并根据所述目标查询、目标类别置信度和目标框对跟踪目标集合进行更新。

8、在本申请一个可选的实施例中，获取图像数据和获得图像特征的过程包括：

9、通过多台相机采集车辆周身360°环视图像；

10、使用同一个特征提取网络分别对多台相机采集的图像进行特征提取获得每张图像下多个不同尺度的图像特征。

11、在本申请一个可选的实施例中，获取点云数据和获得点云bev特征的过程包括：

12、通过多台激光雷达采集车辆周身各方位的点云数据；

13、将所述点云数据进行预处理和体素化后输入点云特征提取网络；

14、点云特征提取网络对点云数据进行稀疏卷积处理后对点云数据进行下采样并融合，获得点云数据在bev下多个不同尺度的点云bev特征。

15、在本申请一个可选的实施例中，所述聚合图像特征和点云bev特征获得目标嵌入，并对所述目标嵌入进行筛选获得当前帧候选目标的过程包括：

16、获取用于定位目标的目标框和目标查询；

17、根据用于定位目标的目标框获得检测目标图像采样点和检测目标点云采样点，根据检测目标的目标查询获得检测目标图像采样点权重和检测目标点云采样点权重；

18、将检测目标图像采样点、检测目标图像采样点权重和图像高维特征进行线性插值采样计算获得第一图像采样特征；

19、将检测目标点云采样点、检测目标点云采样点权重和点云bev高维特征进行线性插值采样计算获得第一点云采样特征；

20、将第一图像采样特征和第一点云采样特征进行线性融合获得目标嵌入；

21、在目标嵌入中筛选出符合预设要求的目标嵌入作为当前帧候选目标。

22、在本申请一个可选的实施例中，所述将当前帧候选目标与跟踪目标进行特征交互，并输出交互结果的过程包括：

23、将跟踪目标的目标嵌入和当前帧候选目标的目标嵌入拼接后输入至自注意力模块，目标嵌入包括查询query、键key和值value；

24、对每个查询query、键key和值value分别进行线性变换后映射到不同的子空间，在子空间中分别为每个查询query、键key和值value分配权重矩阵，获得多个注意力头的查询query、键key和值value；

25、分别计算每个注意力头的单头注意力；

26、将每个注意力头的单头注意力拼接后，通过线性层映射到目标维度，获得多头注意力。

27、在本申请一个可选的实施例中，所述将所述交互结果与图像特征和点云bev特征进行交互输出目标查询的过程包括：

28、获取用于定位目标的目标框和目标查询；

29、根据跟踪目标的目标框获得跟踪目标图像采样点和跟踪目标点云采样点，根据跟踪目标的目标查询获得跟踪目标图像采样点权重和跟踪目标点云采样点权重；

30、将跟踪目标图像采样点、跟踪目标图像采样点权重和图像特征进行线性插值采样计算获得第二图像采样特征；

31、将跟踪目标点云采样点、跟踪目标点云采样点权重和点云bev特征进行线性插值采样计算获得第二点云采样特征；

32、将第二图像采样特征、第二点云采样特征和交互结果进行线性融合获得目标查询。

33、在本申请一个可选的实施例中，在所述将所述交互结果与图像特征和点云bev特征进行交互输出目标查询之后，所述方法还包括：

34、若目标查询中不存在跟踪目标，将输出的目标查询的id添加为新目标id；

35、若目标查询中存在跟踪目标，将输出的目标查询的id保留为跟踪目标的原始id。

36、本申请实施例的第二个方面，提供了一种目标检测跟踪装置，包括：

37、特征提取模块，用于获取检待检测的图像数据和点云数据，并对所述图像数据和点云数据分别进行特征提取获得图像特征和点云bev特征；

38、第一交叉注意力模块，用于聚合图像特征和点云bev特征获得目标嵌入，并对所述目标嵌入进行筛选获得当前帧候选目标；

39、自注意力模块，用于将当前帧候选目标与跟踪目标进行特征交互，并输出交互结果；

40、第二交叉注意力模块，用于将所述交互结果与图像特征和点云bev特征进行交互输出目标查询；

41、目标输出更新模块，用于通过线性层对所述目标查询进行处理获得目标类别置信度和目标框，并根据所述目标查询、目标类别置信度和目标框对跟踪目标集合进行更新。

42、本申请实施例的第三个方面，提供了一种计算机设备，包括：包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现如上任一项方法的步骤。

43、本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上任一项的方法的步骤。

44、本申请融合了图像数据和点云数据，以跟踪查询的方式融合了连续帧中目标的特征，完成了多模态信息和时序信息的融合，实现端到端的目标检测跟踪模型，避免了nms、检测框关联、reid等后处理过程，提升检测跟踪效果的同时减少了计算复杂度。同时，本申请基于目标层面融合图像特征和点云bev特征，相比于目前bevfusion等方法在整个bev平面上对特征进行融合，大大减少了所需计算量。

1.一种目标检测跟踪方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，获取图像数据和获得图像特征的过程包括：

3.根据权利要求1所述的方法，其特征在于，获取点云数据和获得点云bev特征的过程包括：

4.根据权利要求1所述的方法，其特征在于，所述聚合图像特征和点云bev特征获得目标嵌入，并对所述目标嵌入进行筛选获得当前帧候选目标的过程包括：

5.根据权利要求1所述的方法，其特征在于，所述将当前帧候选目标与跟踪目标进行特征交互，并输出交互结果的过程包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述交互结果与图像特征和点云bev特征进行交互输出目标查询的过程包括：

7.根据权利要求1所述的方法，其特征在于，在所述将所述交互结果与图像特征和点云bev特征进行交互输出目标查询之后，所述方法还包括：

8.一种目标检测跟踪装置，其特征在于，包括：

9.一种计算机设备，包括：包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。