一种面向自动驾驶系统的三维实时目标检测方法

技术特征：
1.一种面向自动驾驶系统的三维实时目标检测方法，其特征在于，包括：利用数据增强策略对点云数据进行预处理，将点云数据体素化；利用三维稀疏卷积网络获取多倍下采样特征，将八倍下采样的体素特征转换成二维鸟瞰图特征，并通过基于锚点的方法生成提案框；利用三层渐进下采样方案采样出少量前景点作为关键点；对所述特征和关键点进行体素集合抽象操作以获取最终关键点特征；调整所述关键点权重，赋予前景点更高权重；将所述提案框和带特征的关键点作为输入以完善提案框并获取置信度预测。2.如权利要求1所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述数据增强策略，包括：场景级增强策略和对象级增强策略，包含将场景绕z轴旋转，随机值为随机值为对场景进行随机缩放，随机因子为[0.95,1.05]。3.如权利要求1或2所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述将点云数据体素化，包括：将超过设定边框的点移除，并且将点进行初步的体素化操作，每个体素的长宽高分别是[0.05,0.05,0.1]；每个点云的特征维度是4；每个体素中最大的采样点数为5；训练和推理时分别最大选取16000，40000个非空体素。4.如权利要求3所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述利用三维稀疏卷积网络获取多倍下采样特征，包括：所使用的主干网络为子流形稀疏卷积和空间稀疏卷积组成的稀疏卷积网络，将经体素化处理后获得的体素进行1
×2×4×8×
下采样，并保存采样结果。5.如权利要求4所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述三层渐进下采样方案，包括：前两层使用d-fps采样策略即：距离最远采样策略，最后一层使用实例感知采样策略；同时在编码层增加两个多层感知机mlp层用于进一步估计每个点的语义类别，进而使用实例感知采样策略进行采样。6.如权利要求5所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：还包括：提出一种中心感知下采样策略，计算提案框中点的权值mask，并基于权值mask和普通的交叉熵损失设置损失函数；权值mask的计算公式为：其中，f*，b*，l*，r*，u*，d*表示一个点到包围盒的六个面的距离，mask
i
为点i的权值；损失函数表示为：其中，c为类别数量，s
i
为点i的一位有效编码，表示对点i的预测的概率，mask
i
表示点i的权值。7.如权利要求6所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：
所述进行体素集合抽象操作以获取最终关键点特征，包括：在三维体素下采样三维体素下采样模块中得到1x，2x，4x，8x的体素特征，体素集合抽象在这4个尺度上进行集合抽象操作，获取4个尺度的体素编码特征；体素集合抽象操作具体的公式表述为：其中，表示关键点p
i
第k层对应的体素特征集；为经过三维卷积的第k层的体素特征的集合；为体素在第k层中的三维坐标，n
k
为第k层中非空体素数量；为每个体素特征在对应半径内关键点的相对位置信息；f
i(pv)
＝f
i(pv1)
f
i(pv2)
f
i(pv3)
f
i(pv4)
其中，f
i(pv)
指的是体素下采样综合出的特征，f
i(pv1)
指的是体素下采样1x的特征，f
i(pv2)
指的是体素下采样2x的特征，f
i(pv3)
指的是体素下采样4x的特征，f
i(pv4)
指的是体素下采样8x的特征；在体素下采样综合出的特征中加入原始点的集合抽象特征和来自八倍下采样堆叠得到的鸟瞰图双线插值特征，来获取最终关键点特征；f
i(p)
＝[f
i(pv)
f
i(raw)
f
i(bev)
],for i＝1,...,n.其中，f
i(p)
表示最终获得的关键点i特征，f
i(pv)
表示关键点i通过体素下采样综合出的特征，f
i(raw)
表示关键点i的原始点特征，f
i(bev)
表示关键点i的鸟瞰图特征。8.如权利要求7所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述调整关键点权重，包括：对前景点和背景点赋予不同的权值，权重调整公式为：其中，a(
·
)是一个三层的多层感知机，f
i(p)
表示最终获得的关键点i特征。9.如权利要求8所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述置信度预测，表示为：y
k
＝min(1，max(0,2iou
k-0.5))其中，iou
k
表示为第k个提案框预测区域与训练集标注区域两个区域的重叠部分占两者总面积的比例。10.如权利要求8或9所述的一种面向自动驾驶系统的三维实时目标检测方法，其特征在于：所述提案框优化，包括：使用交叉熵损失函数来进行提案框优化，表示为：其中，表示预测出来的分数，y
k
为计算出的置信度。

技术总结
本发明公开了一种面向自动驾驶系统的三维实时目标检测方法包括：利用数据增强策略对点云数据进行预处理，将点云数据体素化；利用三维稀疏卷积网络获取多倍下采样特征，将八倍下采样的体素特征转换成二维鸟瞰图特征，通过基于锚点的方法生成提案框；利用三层渐进下采样方案采样出少量前景点作为关键点；对特征和关键点进行体素集合抽象操作以获取最终关键点特征；调整关键点权重，赋予前景点更高权重；将提案框和带特征的关键点作为输入以完善提议框并获取置信度预测。本发明使用融合点和体素检测方法，实现高检测精度和相对高的检测速度；利用三层渐进下采样采集更少关键点的同时保证前景点数量；调整权重以提升前景点作用，提高小物体检测精度。提高小物体检测精度。提高小物体检测精度。


技术研发人员：徐小龙 徐国庆
受保护的技术使用者：南京邮电大学
技术研发日：2022.08.22
技术公布日：2022/12/1