一种基于点云跨视图特征转换的实时三维目标检测方法

技术特征：
1.一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，包括以下步骤：1)通过激光雷达采集场景的三维点云，对三维点云进行环视投影获得对应的二维环视图；2)建立神经网络结构，利用已知数据集及对应的二维环视图对神经网络结构进行训练，设置总损失函数对神经网络结构进行监督，获得训练好的神经网络结构；3)将待测场景的三维点云和对应的二维环视图输入到训练好的神经网络结构，输出神经网络结构的回归残差和当前待测场景的分类图，基于当前待测场景的分类图和回归残差进行预测三维框的计算，获得最后的预测三维框。2.根据权利要求1所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述步骤1)中，建立以俯仰角和朝向角为坐标轴的二维环视图，计算三维点云中各个点与激光雷达坐标系原点的俯仰角和朝向角投影至以俯仰角和朝向角为坐标轴的二维环视图中，获得对应的二维环视图。3.根据权利要求2所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述步骤2)中，神经网络结构包括点-环视特征提取模块、分层体素柱模块和稀疏检测头模块；神经网络结构的输入输入到点-环视特征提取模块中，点-环视特征提取模块经分层体素柱模块后与稀疏检测头模块相连，稀疏检测头模块的输出作为神经网络结构的输出。4.根据权利要求3所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述点-环视特征提取模块包括环视图分支、点分支和三个点-环视特征融合块，环视图分支通过三个点-环视特征融合块与点分支相连；环视图分支包括六个编码模块和四个解码模块，点分支包括3个1d卷积层；三维点云输入到第一1d卷积层，二维环视图输入到第一编码模块，第一1d卷积层输出的第一点云特征p1和第一编码模块输出的第一环视图特征e1均输入到第一点-环视特征融合块中，第一点-环视特征融合块分别输出更新后的第一点云特征和第一环视图特征，更新后的第一点云特征输入到第二1d卷积层中，更新后的第一环视图特征输入到第二编码模块，第二编码模块依次经第三编码模块、第四编码模块和第五编码模块后与第六编码模块相连，第二1d卷积层输出的第二点云特征p2和第六编码模块输出的第六环视图特征e6均输入到第二点-环视特征融合块中，第二点-环视特征融合块分别输出更新后的第二点云特征和第六环视图特征，更新后的第二点云特征输入到第三1d卷积层中，更新后的第六环视图特征输入到第一解码模块，第一解码模块依次经第二解码模块和第三解码模块后与第四解码模块相连，第三1d卷积层输出的第三点云特征p3和第四解码模块输出的第十环视图特征d4均输入到第三点-环视特征融合块中，第三点-环视特征融合块分别输出更新后的第三点云特征和第十环视图特征，将更新后的第三点云特征记为3d特征点云并作为点-环视特征提取模块的输出；所述点-环视特征融合块中首先根据点云特征对应的二维环视图，利用双线性插值方法对点云特征各个点进行采样，获得点的2d特征，将输入的环视图特征作为点的3d特征，将点的2d特征和点的3d特征进行级联后输入到依次相连的3个1d卷积层中，最后一个1d卷积层的输出作为更新后的点云特征，将最后一个1d卷积层的输出进行环形反投影后获得更新
后的环视图特征。5.根据权利要求4所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，每个编码模块由一个致密残差块和若干个卷积层依次相连构成，每个编码模块的输入输入到当前致密残差块中，最后一个卷积层的输出作为当前编码模块的输出，解码模块由一个致密残差块和若干个反卷积层依次相连构成，每个解码模块的输入输入到当前致密残差块中，最后一个反卷积层的输出作为当前解码模块的输出。6.根据权利要求2所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述分层体素柱模块中首先对点-环视特征提取模块输入的3d特征点云进行体素化处理，获得三维点云网格特征；接着将三维点云网格特征依次输入1d和2d卷积层中依次进行高度维提取特征和长宽维提取特征以及通道重整后，获得鸟瞰图特征并输出。7.根据权利要求2所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，稀疏检测头模块包括基于锚框的分类头和回归头；稀疏检测头模块中首先对分层体素柱模块输出的鸟瞰图特征中各个有点网格进行三维锚框铺设，三维锚框的参数由三维锚框所在位置(x,y,z)、检测目标的平均尺寸(w
mean
,l
mean
,h
mean
)以及朝向角组成，每个有点网格有两个朝向角不同的三维锚框；接着根据三维锚框和真实框之间的交并比大小将三维锚框划分为正、负样本；然后基于锚框的分类头中对鸟瞰图特征中各个划分为正、负样本的有点网格是否为前景的可能性进行预测，获得各个有点网格的预测分类概率，基于各个有点网格的预测分类概率获得预测分类概率集合，基于预测分类概率集合获得当前场景的分类图并输出；最后基于锚框的回归头中首先设置三维锚框的预设残差，对当前鸟瞰图特征的前景网格中划分为正、负样本的三维锚框进行锚框参数回归，获得预测框，计算预测框与真实框之间的回归残差并输出。8.根据权利要求7所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述的总损失函数包括三维框分类损失函数、三维框回归损失函数和角度分类损失函数，计算公式如下：其中，l表示总损失函数值，l
cls
表示三维框分类损失函数，l
loc
表示三维框回归损失函数值，l
dir
表示角度分类损失函数值，n
pos
是所有三维锚框中正样本的数量，λ
loc
、λ
cls
、λ
dir
分别为第一、第二、第三损失权重。所述三维框分类损失函数根据预测分类概率集合计算获得，所述三维框回归损失函数基于预设残差和回归残差计算获得，所述角度分类损失函数通过根据回归头输出的预测框的朝向角进行朝向的分类，获得检测目标的前后朝向，基于检测目标的前后朝向计算获得。9.根据权利要求7所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述的三维锚框的预设残差由真实框的7个参数与三维锚框对应的7个参数计算获得，具体公式如下：
δθ＝sin(θ
gt-θ
a
)其中，δx为预设横坐标残差，x
gt
和x
a
分别为真实框和三维锚框的横坐标，δy为预设纵坐标残差，y
gt
和y
a
分别为真实框和三维锚框的纵坐标，δz为预设竖坐标残差，z
gt
和z
a
分别为真实框和三维锚框的竖坐标，δw为预设框宽残差，w
gt
和w
a
分别为真实框和三维锚框的框宽，δl为预设框长残差，l
gt
和l
a
分别为真实框和三维锚框的框长，δh为预设框高残差，h
gt
和h
a
分别为真实框和三维锚框的框高，δθ为预设角度残差，θ
gt
和θ
a
分别为真实框和三维锚框的朝向角，d代表三维锚框的对角长度，满足10.根据权利要求1所述的一种基于点云跨视图特征转换的实时三维目标检测方法，其特征在于，所述步骤3)中，提取所述当前待测场景的分类图中所有目标置信度大于目标判别阈值的网格并作为检测目标所处位置，根据神经网络结构的回归残差计算检测目标所处位置的预测三维框的参数，计算公式如下：x＝x
a
d
a
δx
′
,y＝y
a
d
a
δy
′
,z＝z
a
d
a
δz
′
w＝w
a
e
δw
′
,l＝l
a
e
δl
′
,h＝h
a
e
δh
′
θ＝arcsin(θ
a
δθ
′
)其中，δx
′
,δy
′
,δz
′
,δw
′
,δl
′
,δh
′
,δθ
′
分别为回归横坐标残差、回归纵坐标残差、回归竖坐标残差、回归框宽残差、回归框长残差、回归框高残差、回归角度残差；x表示预测三维框的横坐标，x
a
表示三维锚框的横坐标，y表示预测三维框的纵坐标，y
a
表示三维锚框的纵坐标，z表示预测三维框的竖坐标，z
a
表示三维锚框的竖坐标，w表示预测三维框的框宽，w
a
表示三维锚框的框宽，l表示预测三维框的框长，l
a
表示三维锚框的框长，h表示预测三维框的框高，h
a
表示三维锚框的框高，θ表示预测三维框的朝向角，θ
a
表示三维锚框的朝向角，d代表三维锚框的对角长度，满足

技术总结
本发明公开了一种基于点云跨视图特征转换的实时三维目标检测方法。利用激光雷达采集得到的三维点云，投影成二维环视图；建立神经网络结构，利用点-环视特征提取模块对三维点云和二维环视图两种格式进行特征提取，得到三维特征点云；利用分层体素柱模块对三维特征点云进行网格化，最后投影到鸟瞰视图上，得到鸟瞰视图特征；对神经网络结构训练，获得训练好的神经网络结构，将待测的激光雷达点云输入到神经网络结构中，再计算该场景预测得到的三维框。本发明有效提升了基于激光雷达点云的三维目标检测的检测精度，能够充分利用点云各个视图之间的特征优势，并且仅利用一维和二维卷积来完成三维目标检测，在高实时性的条件下提升了三维目标检测精度。了三维目标检测精度。了三维目标检测精度。


技术研发人员：项志宇 顾佳琦
受保护的技术使用者：浙江大学
技术研发日：2022.01.24
技术公布日：2022/5/17