车载激光点云语义分割、无人车的制作方法

摘要: 本申请涉及无人驾驶、自动驾驶、无人车,具体涉及一种车载激光点云语义分割、无人车。背景技术:1、露天矿排土场车载感知系统中,激光点云语义分割是实现目标实体检测与工...
车载激光点云语义分割、无人车的制作方法

本申请涉及无人驾驶、自动驾驶、无人车,具体涉及一种车载激光点云语义分割、无人车。

背景技术:

1、露天矿排土场车载感知系统中,激光点云语义分割是实现目标实体检测与工程质检的关键技术。然而,排土场作业环境存在大量扬尘与热气扰动,烟尘团块在距离图像中常沿扫描线方向与目标实体立面形成条带状粘连。

2、相关距离图像语义分割方法主要依赖数据驱动的特征学习,缺乏对烟尘扰动区域的有效物理先验,难以在保持目标实体结构完整性的同时准确区分烟尘区域,导致目标实体像素被误分为烟尘。

技术实现思路

1、有鉴于此,本申请实施例提供了一种车载激光点云语义分割方法、无人车。

2、第一方面,本申请提供了一种车载激光点云语义分割方法,包括:将车载激光点云投影为距离图像;针对距离图像中的各个像素,基于该像素的局部邻域,计算该像素的距离方差和有效点密度,生成与距离图像尺寸相同的热气可疑度图,其中,热气可疑度图的像素值表示距离图像的对应位置受烟尘干扰的可疑程度;利用热气可疑度图,引导语义分割网络对距离图像进行语义分割,得到语义分割结果,语义分割结果中目标实体与烟尘被区分。

3、在一实施例中,利用热气可疑度图,引导语义分割网络对距离图像进行语义分割,得到语义分割结果,包括:利用语义分割网络,从距离图像中提取编码特征;沿距离图像的扫描线方向和/或线束方向,对编码特征进行长程上下文提取,得到长程上下文特征;根据热气可疑度图,将编码特征与长程上下文特征进行融合,得到第一融合特征;基于第一融合特征,输出语义分割结果;其中,沿距离图像的扫描线方向和/或线束方向,对编码特征进行长程上下文提取,包括:采用沿扫描线方向的深度卷积和/或沿线束方向的深度卷积,对编码特征进行长程上下文提取。

4、在一实施例中,根据热气可疑度图,将编码特征与长程上下文特征进行融合,得到第一融合特征,包括:依据热气可疑度图中各像素的像素值,对编码特征施加与像素值负相关的抑制,并对长程上下文特征施加与像素值正相关的增强;将抑制后的编码特征与增强后的长程上下文特征进行融合,得到第一融合特征。

5、在一实施例中,基于第一融合特征,输出语义分割结果,包括:将第一融合特征进行解码处理,得到解码特征;获取与距离图像像素对齐的悬浮几何特征,其中,悬浮几何特征用于表征车载激光点云在垂直方向上的空间分布;将热气可疑度图中各像素的像素值,与悬浮几何特征中各像素的特征值作为输入,经联合映射得到各像素位置的门控权重;根据门控权重,将悬浮几何特征与解码特征进行融合,得到第二融合特征;基于第二融合特征,输出语义分割结果。

6、在一实施例中,获取与距离图像像素对齐的悬浮几何特征,包括:将车载激光点云栅格化为鸟瞰图,并从鸟瞰图中提取初始悬浮几何特征,其中,初始悬浮几何特征包括离地高度、高度方差和点云密度中的至少一种;将初始悬浮几何特征映射至距离图像的像素坐标系,得到与距离图像像素对齐的悬浮几何特征;其中,根据门控权重,将悬浮几何特征与解码特征进行融合,得到第二融合特征,包括:将悬浮几何特征中各像素的特征值与对应位置的门控权重相乘,并将相乘结果与解码特征中对应位置的特征值相加,得到第二融合特征。

7、在一实施例中,语义分割网络的训练损失函数包括分割损失函数和热气抑制损失函数,其中,热气抑制损失函数用于基于热气可疑度图的像素值,抑制目标实体类别的预测概率。

8、在一实施例中,语义分割网络的训练损失函数还包括热气对齐损失函数,热气对齐损失函数用于约束热气可疑度图与烟尘类别真值标签之间的空间一致性。

9、在一实施例中,得到语义分割结果,包括:确定距离图像中各像素的语义标签;将距离图像中各像素的语义标签逆映射为车载激光点云的三维语义标签,得到语义分割结果;其中,逆映射包括:针对车载激光点云中的每个点,基于该点在空间中目标邻域内的像素的语义标签,通过加权平均确定该点的三维语义标签。

10、在一实施例中,在利用热气可疑度图,引导语义分割网络对距离图像进行语义分割之前,该方法还包括:针对距离图像中的各个像素,基于该像素的局部邻域,计算该像素的回波强度方差;将距离图像与距离方差、有效点密度和回波强度方差进行通道拼接,得到多通道数据;将多通道数据输入至语义分割网络,以便语义分割网络基于该多通道数据对距离图像进行语义分割。

11、第二方面,本申请提供了一种车载激光点云语义分割装置,包括:投影模块,用于将车载激光点云投影为距离图像;计算模块,用于针对距离图像中的各个像素,基于该像素的局部邻域,计算该像素的距离方差和有效点密度,生成与距离图像尺寸相同的热气可疑度图,其中,热气可疑度图的像素值表示距离图像的对应位置受烟尘干扰的可疑程度;分割模块,用于利用热气可疑度图,引导语义分割网络对距离图像进行语义分割,得到语义分割结果,语义分割结果中目标实体与烟尘被区分。

12、第三方面,本申请一实施例提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序用于执行第一方面提及的方法。

13、第四方面,本申请一实施例提供了一种电子设备,该电子设备包括:处理器;用于存储处理器可执行指令的存储器;该处理器用于执行第一方面提及的方法。

14、第五方面,本申请一实施例提供了一种计算机程序产品,该计算机程序产品包括指令,该指令在电子设备上执行时使电子设备实现第一方面提及的方法。

15、上述方案中,通过由局部距离方差和有效点密度生成可解释的热气可疑度图,并将其作为先验信息引入语义分割网络,能够根据像素受烟尘扰动的可疑程度引导网络进行判别,有效降低目标实体立面被误分为烟尘的定向混淆率,提高目标实体与烟尘的分割精度,进而缓解因目标实体分割不连续造成的下游提取线条断断续续,以及测量高度和角度时数值忽高忽低的问题。

1.一种车载激光点云语义分割方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述利用所述热气可疑度图,引导语义分割网络对所述距离图像进行语义分割,得到语义分割结果,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述热气可疑度图,将所述编码特征与所述长程上下文特征进行融合,得到第一融合特征,包括:

4.根据权利要求2或3所述的方法,其特征在于,所述基于所述第一融合特征,输出所述语义分割结果,包括:

5.根据权利要求4所述的方法,其特征在于,所述获取与所述距离图像像素对齐的悬浮几何特征,包括:

6.根据权利要求1至5任一项所述的方法,其特征在于,所述语义分割网络的训练损失函数包括分割损失函数和热气抑制损失函数,其中,所述热气抑制损失函数用于基于所述热气可疑度图的像素值,抑制目标实体类别的预测概率。

7.根据权利要求6所述的方法,其特征在于,所述语义分割网络的训练损失函数还包括热气对齐损失函数,所述热气对齐损失函数用于约束所述热气可疑度图与烟尘类别真值标签之间的空间一致性。

8.根据权利要求1至5任一项所述的方法,其特征在于,所述得到语义分割结果,包括:

9.根据权利要求1至5任一项所述的方法,其特征在于,在所述利用所述热气可疑度图,引导语义分割网络对所述距离图像进行语义分割之前,还包括:

10.一种无人车,其特征在于,包括: