用于自动驾驶的目标检测方法、装置及设备与流程

1.本技术涉及导航技术领域，尤其涉及一种用于自动驾驶的目标检测方法、装置及设备。


背景技术：

2.目标检测是计算机视觉领域的传统任务，与图像识别不同，目标检测不仅需要识别出图像上存在的物体，给出对应的类别，还需要将该物体的位置通过最小包围框（bounding box）的方式给出。根据目标检测需要输出结果的不同，一般将使用rgb图像进行目标检测，输出物体类别和在图像上的最小包围框的方式称为2d目标检测，而将使用rgb图像、rgb
‑
d深度图像和激光点云，输出物体类别及在三维空间中的长宽高、旋转角等信息的检测称为3d目标检测。
3.3d目标检测正处于高速发展时期，目前主要是综合利用单目相机、双目相机、多线激光雷达来进行3d目标检测。利用单目相机进行3d目标检测的任务可以通过单目3d目标检测模型完成。由于单目相机的成本低，经济效应更佳，尤其在自动驾驶导航领域中，单目3d目标检测模型得到了广泛的运用，其可以为汽车的自动驾驶决策提供支持。将单张rgb图像输入单目3d目标检测模型中，该模型可以预测图像中的目标类型及其3d位置信息。3d位置信息包括目标的高h、宽w、长l，目标中心点的位置坐标（x,y,z）以及偏航角theta。其中，3d位置信息中多个变量的预测都依赖于目标中心点位置坐标中的深度值z，因此，深度值z的预测正确性十分关键。
4.然而，目前的单目3d目标检测模型，对于深度值z的预测，使用了从训练集的标签信息中统计的均值和方差。上述均值和方差可以理解为适用于对应的单目相机的单目3d目标检测模型中的权重参数，当对应的单目相机更换后，或者输入模型的图像为其他不同的单目相机所采集时，将影响该模型输出的预测深度值z，导致对深度值z的预测正确性下降。也就是说，目前的单目3d目标检测模型，其模型泛化性差，进而影响最终检测结果的可靠性。


技术实现要素：

5.为解决或部分解决相关技术中存在的问题，本技术提供一种用于自动驾驶的目标检测方法、装置及设备，能够在预测深度值z的过程中解除模型与单目相机的耦合，从而提升模型的泛化性，提升目标检测结果的可靠性。
6.本技术第一方面提供一种用于自动驾驶的目标检测方法，包括：获取单目拍摄设备采集的图像；将所述图像输入预设单目3d目标检测模型中，得到所述图像中的目标物的预测高度；根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度
先验值；根据所述深度先验值，得到所述目标物的中心点的深度值。
7.在一种实施方式中，所述根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值，包括：根据所述预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，利用相似三角形原理，计算所述目标物的中心点的深度先验值。
8.在一种实施方式中，所述目标物的中心点在所述图像中的位置包括：所述目标物的中心点在所述图像中相对像素坐标系v轴的距离；所述单目拍摄设备在世界坐标中的安装高度包括：所述单目拍摄设备在世界坐标中的光心相对地面的距离；所述单目拍摄设备的内参包括：所述单目拍摄设备的光心在图像坐标系y轴方向上的焦距，以及所述单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量。
9.在一种实施方式中，所述根据所述深度先验值，得到所述目标物的中心点的深度值，包括：根据所述深度先验值，及所述预设单目3d目标检测模型根据所述图像所输出的预测参数值，得到所述目标物的中心点的深度值。
10.在一种实施方式中，所述根据所述深度先验值，及所述预设单目3d目标检测模型根据所述图像所输出的预测参数值，得到所述目标物的中心点的深度值，包括：将所述深度先验值，及所述预设单目3d目标检测模型根据所述图像所输出的预测参数值，代入预设激活函数公式中，得到所述目标物的中心点的深度值。
11.在一种实施方式中，所述预设单目3d目标检测模型包括：smoke单目3d目标检测模型。
12.本技术第二方面提供一种用于自动驾驶的目标检测装置，包括：获取模块，用于获取单目拍摄设备采集的图像；第一预测模块，用于将所述获取模块获取的图像输入预设单目3d目标检测模型中，得到所述图像中的目标物的预测高度；计算模块，用于根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值；第二预测模块，用于根据所述计算模块得到的深度先验值，得到所述目标物的中心点的深度值。
13.在一种实施方式中，所述计算模块根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，计算所述目标物的中心点的深度先验值，包括：根据所述第一预测模块得到的预测高度、所述目标物的中心点在所述图像中的位置、所述单目拍摄设备在世界坐标中的安装高度及所述单目拍摄设备的内参，利用相似三角形原理，计算所述目标物的中心点的深度先验值。
14.本技术第三方面提供一种电子设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
15.本技术第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
16.本技术提供的技术方案可以包括以下有益效果：本技术提供的方法，通过获取单目拍摄设备采集的图像，并将该图像输入预设单目3d目标检测模型中，可以得到图像中的目标物的预测高度。根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，可以计算目标物的中心点的深度先验值，进而可以得到目标物的中心点的深度值。上述方法中对深度先验值的计算并不涉及预设单目3d目标检测模型中关联单目拍摄设备的权重参数，从而在后续对目标物中心点的深度值的预测过程中，在一定程度上解除预设单目3d目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性，从而利于提升模型运用的泛化性，利于提升目标检测结果的可靠性。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
18.通过结合附图对本技术示例性实施方式进行更详细的描述，本技术的上述以及其它目的、特征和优势将变得更加明显，其中，在本技术示例性实施方式中，相同的参考标号通常代表相同部件。
19.图1是本技术实施例示出的用于自动驾驶的目标检测方法的流程示意图；图2是本技术实施例示出的目标物投影成像的原理示意图；图3是本技术实施例示出的用于自动驾驶的目标检测装置的结构示意图；图4是本技术实施例示出的电子设备的结构示意图。
具体实施方式
20.下面将参照附图更详细地描述本技术的实施方式。虽然附图中显示了本技术的实施方式，然而应该理解，可以以各种形式实现本技术而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本技术更加透彻和完整，并且能够将本技术的范围完整地传达给本领域的技术人员。
21.在本技术使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术。在本技术和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
22.应当理解，尽管在本技术可能采用术语“第一”、“第二”、“第三”等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本技术范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以
被称为第一信息。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
23.相关技术中，对于目前的单目3d目标检测模型（例如，smoke模型），为了预测目标物体的3d位置信息，即预测目标物体的高h、宽w、长l、目标物体中心点位置坐标（x,y,z）及偏航角theta，首先需要预测上述多个变量中的中心点位置坐标的深度值z，其余变量的预测值均依赖于深度值z。
24.目前的单目3d目标检测模型，根据以下公式预测中心点位置坐标的深度值z。
25.z= 在得到深度值z后，可以利用单目3d目标检测模型对应的单目相机的内参以及图像坐标系下的目标物体中心点投影，根据以下公式可以恢复得到目标物体中心点位置坐标中的x和y。
26.对于目标物体的高h、宽w、长l的计算，可以利用平均高、宽、长，根据以下公式回归预测目标物体的高、宽、长。
27.对于偏航角theta的计算，可以在该单目3d目标检测模型预测出关于alpha角度（角度）的两个三角函数值后，根据以下公式求得偏航角theta（即）综上可知，目前的单目3d目标检测模型的多个输出变量：目标物体的高h、宽w、长l、目标物体中心点位置坐标（x,y,z）及偏航角theta，其中多个变量的预测都需要根据深度值z进行计算，获得准确的深度值z，是单目3d目标检测模型预测图像中目标物体3d位置信息的关键。
28.根据深度值z的计算公式：z= ，可知，为了求得z，需要求得、。其中，是单目3d目标检测模型输出的一个预测参数值。其中，与分别是训练集的标签信息中统计的均值和方差。也就是说，目前的单目3d目标检测模型对于深度值z的预测，使用了从训练集的标签信息中统计的均值和方差。上述均值和方差可以理解为适用于对应的单目相机的单目3d目标检测模型中的权重参数，当对应的单目相机更换后，或者输入模型的图像为其他不同的单目相机所采集时，将影响该模型输出的预测深度值z，导致对深度值z的预测正确性下降，使得单目3d目标检测模型的模型泛化性差。
29.针对上述问题，本技术实施例提供一种用于自动驾驶的目标检测方法，能够在预测深度值z的过程中解除模型与单目相机的耦合，从而提升模型的泛化性，提升目标检测结果的可靠性。
30.以下结合附图详细描述本技术实施例的技术方案。
31.图1是本技术实施例示出的用于自动驾驶的目标检测方法的流程示意图。
32.参见图1，该方法包括：步骤s101、获取单目拍摄设备采集的图像。
33.本技术实施例中，可以通过单目拍摄设备来采集行车过程中的视频数据，并按照预置的规则对视频数据进行抽帧处理，从而得到多张图像。其中，单目拍摄设备可以包括但不限于安装于车辆上的行车记录仪、摄像头或车内监控摄像装置。
34.步骤s102、将图像输入预设单目3d目标检测模型中，得到图像中的目标物的预测高度。
35.其中，预设单目3d目标检测模型包括但不限于smoke单目3d目标检测模型（即smoke模型）。需要说明的是，smoke模型是一种单目3d目标检测模型，适用于单目拍摄设备，该模型结构简单，推理时间短，具有实时性，已在自动驾驶领域中得到广泛运用。
36.其中，目标物可以是图像中的小汽车、货车、客车、自行车、行人当中的一种或多种的组合，每一种目标物可以是一个或多个。
37.在该步骤中，预设单目3d目标检测模型根据接收到的图像，可以输出图像中的目标物的预测高度h。
38.可以理解，目标物的预测高度h的计算，可以利用平均高、宽、长，根据以下公式回归预测目标物体的高、宽、长。
39.也就是说，目标物的高度h的预测过程与深度值z不关联，因此，可以认为在该步骤中利用预设单目3d目标检测模型所得到的图像中的目标物的预测高度h是准确可靠的，跟拍摄该图像的单目拍摄设备是否与该预设单目3d目标检测模型耦合无关。
40.步骤s103、根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值。
41.在一可选的实施方式中，根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值，包括：根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，利用相似三角形原理，计算目标物的中心点的深度先验值。
42.其中，预测高度可以是步骤s102中所得到的图像中的目标物的预测高度h。
43.其中，目标物的中心点在图像中的位置可以包括：目标物的中心点在图像中相对像素坐标系v轴的距离v。需要说明的是，预设单目3d目标检测模型的其中一个分支（branch）可以生成关键点图（keypoint map），能够预测目标物的中心点及其类别，也就是说，在前向计算时可以先获取该分支预测得到的图像中的目标物的中心点及其类别。这样，根据目标物中心点在图像中的位置，即可得到目标物的中心点在图像中相对像素坐标系v轴的距离v。
44.其中，单目拍摄设备在世界坐标中的安装高度包括：单目拍摄设备在世界坐标中的光心相对地面的距离el。单目拍摄设备在世界坐标中的光心相对地面的距离el，可以理
解为单目拍摄设备的光心相对地面的高度。
45.其中，单目拍摄设备的内参包括：单目拍摄设备的光心在图像坐标系y轴方向上的焦距，以及单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量。
46.请一并参见图2，如图2所示，图中点o即单目拍摄设备（camera）的光心位置，点a即在现实世界中目标物的中心点的位置，点即在图像（image）中目标物的中心点的位置。el为点o相对地面（ground）的距离，目标物坐落于地面（ground）上。可以理解，目标物高度h中点的位置可以近似等于目标物中心点的位置。这样，根据如图2所示的几何图形关系，可以利用相似三角形原理，得出以下等式：即可以得出：其中，即是该步骤计算所得到的目标物的中心点的深度先验值。
47.需要说明的是，上述利用相似三角形原理得出的等式，在目标物中心点相对地面的高度低于单目拍摄设备的光心相对地面的高度的情况下成立。可以理解，当目标物中心点相对地面的高度高于单目拍摄设备的光心相对地面的高度时，同样可以利用相似三角形原理，计算目标物的中心点的深度先验值。
48.在目标物中心点相对地面的高度高于单目拍摄设备的光心相对地面的高度的情况下，在现实世界中目标物中心点的对地高度（即h/2）大于el，单目拍摄设备的光轴在图像坐标系y轴方向上的偏移量大于目标物的中心点在图像中相对像素坐标系v轴的距离v，即，可以推出以下关系等式：可以理解，深度先验值的计算并不涉及预设单目3d目标检测模型中关联单目拍摄设备的权重参数，可以在一定程度上解除预设单目3d目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性。这样，使得可以采用不同参数的单目拍摄设备所采集的图像，作为单目3d目标检测模型的输入图像，从而利于提升模型运用的泛化性。
49.步骤s104、根据深度先验值，得到目标物的中心点的深度值。
50.在一种实施方式中，根据深度先验值，得到目标物的中心点的深度值，包括：将深度先验值，作为目标物的中心点的深度值。也就是说，直接将步骤s103中得到的深度先验值认为就是目标物的中心点的深度值。
51.在另一种实施方式中，根据深度先验值，得到目标物的中心点的深度值，包括：根据深度先验值，及预设单目3d目标检测模型根据图像所输出的预测参数值，得到目标物的中心点的深度值。
52.其中，预设单目3d目标检测模型根据图像所输出的预测参数值为。
53.进一步的，在该步骤中，可以将深度先验值，及预设单目3d目标检测模型根据图像所输出的预测参数值，代入预设激活函数公式中，得到目标物的中心点的深度值。
54.其中，预设激活函数公式为：也就是说，目标物的中心点的深度值z，等于深度先验值乘以两倍的sigmoid()。由于sigmoid()函数的取值区间是（0,1），于是sigmoid()的取值区间为（0,2），因此，深度值z的取值区间为（0，）。
55.可以理解，深度先验值是预测值，在该步骤中，利用了深度先验值来回归目标物的中心点的深度值z，以使得最终得到的深度值z更能够表征实际值，从而提升预测准确性。上述预设激活函数公式为本技术实施例根据单目3d目标检测模型架构设计所得，利用到了单目3d目标检测模型输出的预测参数值为，对深度先验值进行回归，以得到更能够表征实际值的深度值z。
56.从该实施例可以看出，本技术实施例提供的方法，通过获取单目拍摄设备采集的图像，并将该图像输入预设单目3d目标检测模型中，可以得到图像中的目标物的预测高度。根据预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，可以计算目标物的中心点的深度先验值，进而可以得到目标物的中心点的深度值。上述方法中对深度先验值的计算并不涉及预设单目3d目标检测模型中关联单目拍摄设备的权重参数，从而在后续对目标物中心点的深度值的预测过程中，在一定程度上解除预设单目3d目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性，从而利于提升模型运用的泛化性，利于提升目标检测结果的可靠性。
57.可以理解，上述方法还可以用于改进预设单目3d目标检测模型，实现对预设单目3d目标检测模型的输出数据的优化，使得上述方法得到的深度值成为改进后的预设单目3d目标检测模型的输出数据。这样，能够使得改进后的单目3d目标检测模型与单目拍摄设备解除耦合关系，从而提升了改进后的单目3d目标检测模型的泛化性。
58.与前述应用功能实现方法实施例相对应，本技术还提供了一种用于自动驾驶的目标检测装置、电子设备及相应的实施例。
59.图3是本技术实施例示出的用于自动驾驶的目标检测装置的结构示意图。
60.参见图3，本技术实施例提供一种用于自动驾驶的目标检测装置，包括：获取模块301，用于获取单目拍摄设备采集的图像；第一预测模块302，用于将获取模块301获取的图像输入预设单目3d目标检测模型中，得到图像中的目标物的预测高度；计算模块303，用于根据第一预测模块302得到的预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值；第二预测模块304，用于根据计算模块303得到的深度先验值，得到目标物的中心点的深度值。
61.从该实施例可以看出，该装置对深度先验值的计算并不涉及预设单目3d目标检测模型中关联单目拍摄设备的权重参数，从而在后续对目标物中心点的深度值的预测过程
中，在一定程度上解除预设单目3d目标检测模型中与单目拍摄设备有耦合关系的权重参数的影响，即解除了预测得到的深度值与单目拍摄设备的关联性，从而利于提升模型运用的泛化性。
62.可选的，计算模块303根据第一预测模块302得到的预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，计算目标物的中心点的深度先验值，包括：根据第一预测模块302得到的预测高度、目标物的中心点在图像中的位置、单目拍摄设备在世界坐标中的安装高度及单目拍摄设备的内参，利用相似三角形原理，计算目标物的中心点的深度先验值。
63.可选的，第二预测模块304根据计算模块303得到的深度先验值，得到目标物的中心点的深度值，包括：根据深度先验值，及预设单目3d目标检测模型根据图像所输出的预测参数值，得到目标物的中心点的深度值。
64.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不再做详细阐述说明。
65.图4是本技术实施例示出的电子设备的结构示意图。
66.参见图4，电子设备400包括存储器410和处理器420。
67.处理器420可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器 (digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
68.存储器410可以包括各种类型的存储单元，例如系统内存、只读存储器（rom），和永久存储装置。其中，rom可以存储处理器420或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置（例如磁或光盘、闪存）作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备（例如软盘、光驱）。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器410可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片（dram，sram，sdram，闪存，可编程只读存储器），磁盘和/或光盘也可以采用。在一些实施方式中，存储器410可以包括可读和/或写的可移除的存储设备，例如激光唱片（cd）、只读数字多功能光盘（例如dvd
‑
rom，双层dvd
‑
rom）、只读蓝光光盘、超密度光盘、闪存卡（例如sd卡、min sd卡、micro
‑
sd卡等等）、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
69.存储器410上存储有可执行代码，当可执行代码被处理器420处理时，可以使处理器420执行上文述及的方法中的部分或全部。
70.此外，根据本技术的方法还可以实现为一种计算机程序或计算机程序产品，该计
算机程序或计算机程序产品包括用于执行本技术的上述方法中部分或全部步骤的计算机程序代码指令。
71.或者，本技术还可以实施为一种非暂时性机器可读存储介质（或计算机可读存储介质、或机器可读存储介质），其上存储有可执行代码（或计算机程序、或计算机指令代码），当可执行代码（或计算机程序、或计算机指令代码）被电子设备（或电子设备、服务器等）的处理器执行时，使处理器执行根据本技术的上述方法的各个步骤的部分或全部。
72.以上已经描述了本技术的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。