用于在三维空间中对目标进行检测的方法和装置与流程

本申请涉及计算机视觉，更具体地，涉及用于在三维空间中对目标进行检测的方法、装置、系统、计算机可读存储介质和计算机程序产品。

背景技术：

1、随着计算机视觉技术的不断发展，目标检测方法逐步从二维(2d)空间发展到三维(3d)空间。相比于2d目标检测，3d目标检测可以提供更加精确的目标信息，因此在诸多领域中获得了广泛应用，例如自动驾驶、机器人导航、增强现实等。通常，3d目标检测可以是基于从单视角或多视角采集的2d图像来进行的。因此，如何将3d空间位置链接到2d图像特征，对于目标检测的精确性具有重要影响。

2、在现有技术中，可以基于对2d图像的深度估计来将2d图像特征转换为3d图像特征。在当前的目标检测方法中，深度估计通常针对所有图像适用固定的距离范围，例如0至50米。但是在实际应用中，针对不同的目标检测场景，深度距离范围可能跨度较大。进一步地，后续的目标预测一般是基于在3d空间中均匀采样的位置点来进行的。随着深度距离范围增大，如果保持原有的采样密度，则需要增加采样点数量，这会占用额外的计算资源和存储空间；或者，如果为了节省计算资源而保持原有的采样点数量，则需要增大采样间隔，这可能导致错误的目标检测。

3、因此，期待一种在三维空间中对目标进行检测的高效且准确的方法。

技术实现思路

1、提供下面的简介是为了以简单的形式介绍选择的一些概念，在后面的详细说明中会进一步描述这些概念。该简介不是想要突出所要求保护主题的关键特征或必要特征，也不是想要限制所要求保护主题的范围。

2、3d目标检测是指在三维空间中检测和识别物体的技术。与2d目标检测相比，3d目标检测可以提供更加精确的目标位置和姿态信息，因此适用于许多现实场景，诸如自动驾驶、机器人导航、增强现实等。举例来说，可以首先通过图像传感器采集单视角或多视角的图像，基于图像获得2d图像特征，基于2d图像特征来获得对图像的深度估计，随后基于该深度估计来进行3d目标检测。

3、在一些3d目标检测方法中，对图像的深度估计通常是基于单个深度预测网络来完成的，该深度预测网络可以是被训练用于某个固定距离范围的，例如距离50米以内。然而，在实际应用中，图像中待检测目标的深度距离范围可能跨度较大。以自动驾驶场景为例，当车辆在市内普通道路上行驶时，可能更关注距离范围较近的目标，诸如50米以内；而当车辆在高速公路上行驶时，还需要关注距离范围较远的目标，诸如50米至150米。如果应用单个深度预测网络，则可能存在问题。传统地，特征提取和后续的目标预测可以基于在3d空间中均匀采样的位置点来进行，随着距离范围增大，如果保持原有的采样密度，则需要增加采样点数量，这会占用额外的计算资源和存储空间；或者，如果为了节省计算资源而保持原有的采样点数量，则需要增大采样间隔，这可能导致错误的目标检测。

4、基于此，期望提供一种在三维空间中对目标进行检测的方法，所述方法可以提供包括多个深度预测网络的深度预测网络集合，在进行目标检测时，可以基于2d图像的特征来从深度预测网络集合中动态地确定适用的深度预测网络以获得对图像的深度估计，依据该深度估计来进行后续目标检测。基于本公开的方法选择深度预测网络，可以灵活适配各种目标检测场景，尤其当深度距离范围发生变化时，无需过度增加计算开销，获得的深度信息能够保证后续目标检测的准确性。

5、一方面，本公开内容的实施例提供了一种用于在三维空间中对目标进行检测的方法。所述方法包括：基于图像来获得二维特征表示；基于所述二维特征表示来从深度预测网络集合中选择要用于所述图像的深度预测网络，其中，所述深度预测网络集合中包括多个深度预测网络；通过所选择的深度预测网络来确定所述图像的深度分布；至少基于所述深度分布来在所述三维空间中检测所述图像中包含的目标。

6、另一方面，本公开内容的实施例提供了一种用于在三维空间中对目标进行检测的系统，包括：特征提取模块，其被配置为基于图像来获得二维特征表示；网络选择模块，其被配置为基于所述二维特征表示来从深度预测网络集合中选择要用于所述图像的深度预测网络，其中，所述深度预测网络集合中包括多个深度预测网络；深度预测模块，其被配置为通过所选择的深度预测网络来确定所述图像的深度分布；以及目标检测模块，其被配置为至少基于所述深度分布来在所述三维空间中检测所述图像中包含的目标。

7、另一方面，本公开内容的实施例提供了一种系统，包括：至少一个处理器；与所述至少一个处理器耦合的存储器，其上存储有可执行指令，所述可执行指令在被所述至少一个处理器执行时使得所述至少一个处理器实现根据本公开内容的任一实施例所述的方法。

8、另一方面，本公开内容的实施例提供了一种计算机可读介质，其存储包括指令的计算机程序，所述指令在由处理器执行时使得一个或多个单元执行根据本公开内容的任一实施例所述的方法。

9、另一方面，本公开内容的实施例提供了一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现根据本公开内容的任一实施例所述的方法。

1.一种用于在三维空间中对目标进行检测的方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中，所述与所述图像中包含的一个或多个待检测目标相关联的图像区域是利用卷积神经网络(cnn)模型来识别的。

4.根据权利要求1所述的方法，其中，所述二维特征表示是基于以下各项中的一项或多项来获得的：卷积神经网络(cnn)模型、变形器(transformer)模型；

5.根据权利要求1所述的方法，其中，所述多个深度预测网络中的每个深度预测网络适用于不同的距离范围或不同的应用场景。

6.根据权利要求1所述的方法，其中，所述基于所述二维特征表示来从深度预测网络集合中选择要用于所述图像的深度预测网络，包括：

7.根据权利要求6所述的方法，所述至少基于所述深度分布来在三维空间中检测所述图像中包含的目标，包括：

8.根据权利要求7所述的方法，其中，所述基于所述深度分布和所述二维特征表示来获得与所述图像对应的三维空间中的位置相关联的三维特征表示，包括：

9.根据权利要求1所述的方法，其中，所述三维空间是通过鸟瞰视图(bev)来描述的。

10.根据权利要求1所述的方法，其中，所述在所述三维空间中检测所述图像中包含的目标包括：检测所述图像中包含的目标的类型、位置和/或朝向，并且其中，所述目标是基于变换器(transformer)模型或mamba模型来检测的。

11.根据权利要求1所述的方法，其中，所述基于图像来获得二维特征表示，包括：

12.一种用于在三维空间中对目标进行检测的系统，包括：

13.一种系统，包括：

14.一种计算机可读介质，其存储包括指令的计算机程序，所述指令在由处理器执行时使得一个或多个单元执行根据权利要求1至11中的任一项所述的方法。

15.一种计算机程序产品，其包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1至11中任一项所述的方法。