自动驾驶目标检测方法、装置、电子设备及存储介质与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶目标检测方法、装置、电子设备及存储介质。


背景技术：

2.目标检测包括定位和分类两个任务，分别使用离散和连续的损失函数，其中分类任务常用离散损失函数有ce(cross entropy，交叉熵),bce(binary cross entropy，二分类交叉熵)和focal loss(焦点损失)等。在一阶段目标检测中，为解决正负样本不均衡，目前主流做法是使用focal loss类的损失函数做软采样，可以解决困难负样本采样问题。一般在使用大容量主干网络进行检测时，由于大容量主干网络的特征足够强，且一个gt(ground truth，标注)框对应多个损失函数正anchor(锚)框或点时，focal loss正常使用。由于传统focal loss是利用预测置信度区别难易样本，并进行加权以削弱海量正样本累计损失对负样本损失优化的干扰。但当主干网络的容量压缩到极低，如计算量15m flops,参数量0.036m,其中主干的计算量只有4.36mflops时，预测的置信度普遍很低，在惩罚焦点损失函数下学到特征在前景、背景鉴别方面弱,很难通过置信度阈值过滤正类的负样本，导致根据传统焦点损失函数训练出的目标检测模型难以准确区分背景点，造成检测结果不准确，对自动驾驶产生干扰。


技术实现要素：

3.本发明提供一种自动驾驶目标检测方法、装置、电子设备及存储介质，用以解决传统焦点损失函数训练出的目标检测模型的检测结果不准确，对自动驾驶产生干扰的缺陷。
4.本发明提供一种自动驾驶目标检测方法，包括：
5.获取自动驾驶车辆前端图像数据；
6.将所述自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中所述自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss(焦点损失)函数训练得到。
7.根据本发明提供的一种自动驾驶目标检测方法，所述可提升目标和背景之间鉴别性的focal loss函数包括：
8.正样本损失函数和负样本损失函数；
9.所述负样本损失函数包括用于削弱目标中心附近位置点作为负样本损失的第一因子和用于削弱容易负样本损失的第二因子。
10.focal loss函数根据本发明提供的一种自动驾驶目标检测方法，所述目标检测模型包括低容量主干网络、连接层和多个任务头，所述多个任务头包括目标中心点定位热图预测分支，所述目标中心点定位热图预测分支用于预测目标中心点。
11.根据本发明提供的一种自动驾驶目标检测方法，所述目标中心点定位热图预测分支输出的预测目标中心点的高斯热图为：
[0012][0013]
其中，w、h、c、r分别为输出特征图的宽，高，目标类别和步幅。
[0014]
根据本发明提供的一种自动驾驶目标检测方法，所述多个任务头还包括：目标中心点量化偏差预测分支、目标宽高预测分支和目标中心点到其接地点的偏移预测分支；
[0015]
所述目标中心点量化偏差预测分支用于预测由于步幅带来的目标中心点离散化偏差；
[0016]
所述目标宽高预测分支用于预测目标宽度和高度；
[0017]
所述目标中心点到其接地点的偏移预测分支用于预测目标中心点到其各个接地点的2d偏移；
[0018]
所述目标检测模型用于根据所述目标中心点定位热图预测分支、目标中心点量化偏差预测分支、目标宽高预测分支输出检测目标的目标框，还用于根据所述目标中心点定位热图预测分支、目标中心点量化偏差预测分支、目标中心点到其接地点的偏移预测分支输出检测目标的接地点。
[0019]
根据本发明提供的一种自动驾驶目标检测方法，所述自动驾驶目标检测模型用于检测车辆前端障碍物，将所述自动驾驶车辆前端图像数据输入用于检测车辆前端障碍物的自动驾驶目标检测模型以得到检测目标，包括：
[0020]
对所述自动驾驶车辆前端图像数据进行预处理，以使所述自动驾驶车辆前端图像数据转换为满足所述低容量主干网络输入要求的预设尺寸图像；
[0021]
将所述预设尺寸图像输入具有低容量主干网络的目标检测模型，以获取预设尺寸图像上的障碍物目标框和障碍物接地点；
[0022]
将所述障碍物目标框和障碍物接地点进行尺寸仿射变换，得到所述自动驾驶车辆前端图像数据上的障碍物目标框和障碍物接地点；
[0023]
对所述自动驾驶车辆前端图像数据上的障碍物目标框进行非极大抑制处理，去掉重复的障碍物目标框，以得到最终检测障碍物目标框及障碍物接地点。
[0024]
根据本发明提供的一种自动驾驶目标检测方法，所述将所述预设尺寸图像输入具有低容量主干网络的目标检测模型，以获取预设尺寸图像上的障碍物目标框和障碍物接地点，包括：
[0025]
根据目标中心定位热图预测分支，使用置信度阈值过滤背景点和目标中心附近位置点，输出预设数量局部置信度最大值点作为障碍物中心点；
[0026]
根据目标中心点量化偏差预测分支，输出障碍物中心点的量化偏差；
[0027]
根据目标宽高预测分支输出障碍物的宽度和高度；
[0028]
根据目标中心点量化偏差预测分支输出障碍物中心点到接地点的2d偏移预测值；
[0029]
根据所述检测障碍物中心点的位置索引以及所述障碍物中心点的量化偏差、障碍物的宽度和高度和障碍物中心点到接地点的2d偏移预测值获取障碍物目标框和障碍物接地点。
[0030]
根据本发明提供的一种自动驾驶目标检测方法，所述自动驾驶目标检测模型用于检测车辆前端障碍物，对所述自动驾驶目标检测模型进行训练包括：
[0031]
获取训练数据，所述训练数据包括根据实际驾驶场景采样的多场景分布图像数据
及其对应的标注数据，所述标注数据包括高速场景障碍物目标框和接地点，非高速场景障碍物目标框和接地点以及行人目标框和接地点；
[0032]
通过所述训练数据以及所述可提升目标和背景之间鉴别性的focal loss函数对所述训练自动驾驶目标检测模型进行训练。
[0033]
本发明还提供一种自动驾驶目标检测装置，包括：
[0034]
获取模块，用于获取自动驾驶车辆前端图像数据；
[0035]
检测模块，用于将所述自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中所述自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss函数训练得到。
[0036]
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述的自动驾驶目标检测方法。
[0037]
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的自动驾驶目标检测方法。
[0038]
本发明提供的自动驾驶目标检测方法、装置、电子设备及存储介质，通过获取自动驾驶车辆前端图像数据；将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss函数训练得到，可以拉开目标和背景之间的置信度差距，减少背景对检测目标的影响，提升目标检测的准确性。
附图说明
[0039]
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0040]
图1是本发明提供的自动驾驶目标检测方法的流程示意图之一；
[0041]
图2是本发明提供的自动驾驶目标检测模型的结构示意图；
[0042]
图3是本发明提供的自动驾驶目标检测方法的流程示意图之二；
[0043]
图4是本发明提供的自动驾驶目标检测方法的检测结果示意图；
[0044]
图5是本发明提供的自动驾驶目标检测装置的结构示意图；
[0045]
图6是本发明提供的电子设备的结构示意图。
具体实施方式
[0046]
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0047]
图1为本发明实施例提供的自动驾驶目标检测方法的流程图，如图1所示，本发明实施例提供的自动驾驶目标检测方法包括：
[0048]
步骤101、获取自动驾驶车辆前端图像数据；
[0049]
在本发明实施例中，自动驾驶车辆前端图像数据可以通过车辆上安装的前视相机获取。
[0050]
步骤102、将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss(焦点损失)函数训练得到。
[0051]
在本发明实施例中，可提升目标和背景之间鉴别性的focal loss函数包括：
[0052]
正样本损失函数和负样本损失函数；
[0053]
负样本损失函数包括用于削弱目标中心附近位置点作为负样本损失的第一因子和用于削弱容易负样本损失的第二因子。
[0054]
容易负样本是指负样本中预测概率较低的易分样本，因为这些框很容易被正确分类因此成为容易负样本。
[0055]
通过第一因子可以削弱目标中心附近位置点作为负样本损失，通过第二因子可以削弱容易负样本损失，本发明实施例的可提升目标和背景之间鉴别性的focal loss函数与传统的惩罚focal loss相比，更适合应用于具有极低容量主干网络的目标检测网络中，能明显拉开目标和背景之间的置信度差距，解决了目标检测网络在容量过低特征过弱时产生的前景和背景的置信度接近导致的误检问题。
[0056]
传统focal loss是利用预测置信度区别难易样本，并进行加权以削弱海量正样本累计损失对负样本损失优化的干扰。但当主干网络的容量压缩到极低，如计算量15m flops,参数量0.036m,其中主干的计算量只有4.36mflops时，预测的置信度普遍很低，在惩罚焦点损失函数下学到特征在前景(目标)、背景鉴别方面弱，很难通过置信度阈值过滤正类的负样本，导致根据传统焦点损失函数训练出的目标检测模型难以准确区分背景点，造成检测结果不准确，对自动驾驶产生干扰。
[0057]
本发明实施例提供的自动驾驶目标检测方法通过获取自动驾驶车辆前端图像数据；将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss函数训练得到，可以拉开目标和背景之间的置信度差距，减少背景对检测目标的影响，提升目标检测的准确性。
[0058]
基于上述任一实施例，本发明实施例提供的可提升目标和背景之间鉴别性的focal loss函数为：
[0059][0060]
其中，y
xyc
＝1时为正样本点，n是正样本点的数量，正样本点对应损失函数为bce损失函数，c类对应c个bce。(1-y
xyc
)4为削弱目标中心附近位置点作为负样本损失的第一因子，为削弱容易负样本损失的第二因子。y
xyc
为实际目标置信度，为预测目标置信度。
[0061]
由于焦点损失函数的权重因子会严重限制正前景点的置信度，使用bce后，常见的前景点的预测置信度能接近1.0；
[0062]
负anchor点对应loss的第一个4次方加权因子是gt热图的惩罚性加权，削弱目标
中心附近位置作为负样本的loss，从而增加召回，第二个因子是削弱的focal loss权重，削弱后，背景点作为正样本的置信度在0.2附近，前景点的置信度接近1.0，从而使用置信度阈值过滤时能较好的去除背景点。
[0063]
传统的惩罚焦点损失在极低容量centernet框架检测网络中使用时存在的两个问题，具体如下：
[0064]
anchor机制是一个gt(ground truth，基准真相)对应一个正anchor点，即目标中心点，正样本中不存在所谓的难易样本不平衡。所以针对主干网络中的正anchor点，选择使用常用的bce，而非focal loss。即正anchor点产生的loss并不加权削弱，而是使用bce充分学习，将前景的置信度朝着1优化。
[0065]
具有极低容量主干网络的目标检测模型预测的置信度普遍很低，且正类的正样本和正类的负样本没有明显界限，正类的负样本的作为正样本的预测置信度过高，即正类的负样本作为负样本的预测置信度(等于1-作为正样本的预测置信度)过低，集中在0.6附近，而惩罚焦点损失函数很难进一步优化。
[0066]
本发明实施例中，对负anchor点仍然使用惩罚焦点损失函数，但将其焦点损失函数的超参从2减至1，即放松对负anchor点的削弱，使得焦点损失函数可以产生足够的损失将正类的负样本作为负样本的预测置信度优化到0.8左右，则正类的负样本作为正样本的置信度会降低至0.2，从而与正类的正样本的置信度的差距明显拉大，减少通过置信度阈值来带的误检。需要说明的是，超参并不是越低越好，超参小于1会使容易负样本过量，难易不均衡会导致难负样本优化效果降低。
[0067]
基于上述任一实施例，如图2所示，本发明实施例提供的目标检测模型包括低容量主干网络、连接层和多个任务头，多个任务头包括目标中心点定位热图预测分支(obstacle_hm)，目标中心点定位热图预测分支用于预测目标中心点。
[0068]
在本发明实施例中，目标中心点定位热图预测分支输出的预测目标中心点的高斯热图为：
[0069][0070]
其中，反映不同位置是中心点的可能性，越靠近中心，可能性越大；w、h、c、r分别为输出特征图的宽，高，目标类别和步幅。多个任务头还包括：目标中心点量化偏差预测分支(obstacle_offset)、目标宽高预测分支(obstacle_wh)和目标中心点到其接地点的偏移预测分支(obstacle_kpt_offset)；
[0071]
目标中心点量化偏差预测分支用于预测由于步幅带来的目标中心点离散化偏差；
[0072]
目标宽高预测分支用于预测目标宽度和高度；
[0073]
目标中心点到其接地点的偏移预测分支用于预测目标中心点到其各个接地点的2d偏移；
[0074]
目标检测模型用于根据所述目标中心点定位热图预测分支、目标中心点量化偏差预测分支、目标宽高预测分支输出检测目标的目标框，还用于根据目标中心点定位热图预测分支、目标中心点量化偏差预测分支、目标中心点到其接地点的偏移预测分支输出检测目标的接地点。
[0075]
本发明实施例中的目标检测模型包括低容量主干网络、连接层和多个分支预测任务头，其中目标中心点定位热图预测分支最重要，因为如果目标中心点预测不准，那宽高预测的精度无论多高，得到的框都不可能贴合目标边缘。同时，也是主要的正类负样本来源。
[0076]
基于上述任一实施例，如图3所示，本发明实施例提供的自动驾驶目标检测模型用于检测车辆前端障碍物，将自动驾驶车辆前端图像数据输入用于检测车辆前端障碍物的自动驾驶目标检测模型以得到检测目标，包括：
[0077]
步骤301、对自动驾驶车辆前端图像数据进行预处理，以使所述自动驾驶车辆前端图像数据转换为满足低容量主干网络输入要求的预设尺寸图像；
[0078]
由于前视相机获取的原始自动驾驶车辆前端图像数据较大，会降低图像处理速度，因此，需要将数据转换为满足低容量主干网络输入要求的预设尺寸图像，预设尺寸图像高*宽例如为144*256。
[0079]
步骤302、将预设尺寸图像输入具有低容量主干网络的目标检测模型，以获取预设尺寸图像上的障碍物目标框和障碍物接地点；
[0080]
在本发明实施例中，将预设尺寸图像输入具有低容量主干网络的目标检测模型，以获取预设尺寸图像上的障碍物目标框和障碍物接地点，包括：
[0081]
根据目标中心定位热图预测分支，使用置信度阈值过滤背景点和目标中心附近位置点，输出预设数量局部置信度最大值点作为障碍物中心点；
[0082]
根据目标中心点量化偏差预测分支，输出障碍物中心点的量化偏差；
[0083]
根据目标宽高预测分支输出障碍物的宽度和高度；
[0084]
根据目标中心点量化偏差预测分支输出障碍物中心点到接地点的2d偏移预测值；
[0085]
根据所述检测障碍物中心点的位置索引以及所述障碍物中心点的量化偏差、障碍物的宽度和高度和障碍物中心点到接地点的2d偏移预测值获取障碍物目标框和障碍物接地点。
[0086]
步骤303、将障碍物目标框和障碍物接地点进行尺寸仿射变换，得到自动驾驶车辆前端图像数据上的障碍物目标框和障碍物接地点；
[0087]
此时障碍物目标框和障碍物接地点是在监督信号作用的尺寸*(144/4*256/4)上。
[0088]
步骤304、对自动驾驶车辆前端图像数据上的障碍物目标框进行非极大抑制处理，去掉重复的障碍物目标框，以得到最终检测障碍物目标框及障碍物接地点。
[0089]
在本发明实施例中，障碍物目标框的对角线两端坐标点分别为：
[0090]
和
[0091]
障碍物接地点为i∈{1,2,3,4}；
[0092]
其中，为预测障碍物中心点，为对应预测量化偏差，为障碍物对应预测宽高，i∈{1,2,3,4}为障碍物中心点到4个对应接地点的2d偏移值。
[0093]
在本发明一些实施例中，自动驾驶目标检测模型用于检测车辆前端障碍物，对自动驾驶目标检测模型进行训练包括：
[0094]
获取训练数据，训练数据包括根据实际驾驶场景采样的多场景分布图像数据及其对应的标注数据，所述标注数据包括高速场景障碍物目标框和接地点，非高速场景障碍物目标框和接地点以及行人目标框和接地点；
[0095]
通过训练数据以及所述可提升目标和背景之间鉴别性的focal loss函数进行反向传播梯度进行迭代，优化器使用adam，以完成对训练自动驾驶目标检测模型训练。
[0096]
多场景包括道路，交通流，天气(晴雨雾雪等)，白天黑夜等场景。
[0097]
检测效果图如图4所示，左边是传统惩罚焦点损失函数训练后模型输出的检测结果,右边是focal loss函数训练后模型输出的检测结果,可以看到左边图像误将道路旁绿植检测为障碍物，且障碍物(前方货车)的置信度较低约86.1％,左边图像只检测出前方货车为障碍物，置信度上升到接近1.0，检测准确度较高。
[0098]
在本发明实施例中，可提升目标和背景之间鉴别性的focal loss函数相较与原始焦点损失函数更适合应用于极低容量的主干网络，能明显拉开前景和背景之间的置信度差距(使得背景点的置信度在0.2附近，前景点的置信度接近1.0)，从而使用置信度阈值过滤时能较好的去除背景点，减少误检。此外，整体检测效果也能提升1个ap(average precision，平均精准度)。可提升目标和背景之间鉴别性的focal loss函数较好地解决了目标检测网络在网络容量过低、特征过弱时产生的前景和背景的置信度接近导致的误检问题。
[0099]
下面对本发明提供的自动驾驶目标检测装置进行描述，下文描述的自动驾驶目标检测装置与上文描述的自动驾驶目标检测方法可相互对应参照。
[0100]
图5为本发明实施例提供的自动驾驶目标检测装置的示意图，如图5所示，本发明实施例提供的自动驾驶目标检测装置包括：
[0101]
获取模块501，用于获取自动驾驶车辆前端图像数据；
[0102]
检测模块502，用于将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss函数训练得到。
[0103]
本发明实施例提供的自动驾驶目标检测装置通过获取自动驾驶车辆前端图像数据；将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss函数训练得到，可以拉开目标和背景之间的置信度差距，减少背景对检测目标的影响，提升目标检测的准确性。
[0104]
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communications interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行自动驾驶目标检测方法，该方法包括：获取自动驾驶车辆前端图像数据；将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据可提升目标和背景之间鉴别性的focal loss函数训练得到。
[0105]
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以
软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0106]
另一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的自动驾驶目标检测方法，该方法包括：获取自动驾驶车辆前端图像数据；将自动驾驶车辆前端图像数据输入自动驾驶目标检测模型以得到检测目标，其中自动驾驶目标检测模型根据focal loss函数可提升目标和背景之间鉴别性的focal loss函数训练得到。
[0107]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0108]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0109]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。