机器人三维点云语义分割方法及装置

本发明涉及机器人，尤其涉及一种机器人三维点云语义分割方法及装置。

背景技术：

1、随着三维传感器技术的普及，对三维点云进行高效、准确的语义分割成为机器人执行环境理解和抓取操作等下游任务的关键步骤。现有的点云语义分割方法主要分为三类：基于体素的方法将点云离散化为规则体素网格，然后使用三维卷积进行分割；基于投影的方法将点云投影到二维平面进行分割后反投影回三维空间；基于点的方法直接在原始点云上通过逐点特征提取和聚合进行分类。上述方法均依赖于离散的空间表示，难以真实刻画实际场景中连续三维几何结构，导致在物体边缘、细小结构或遮挡严重区域的分割精度较低。近年来，三维高斯泼溅技术在场景重建领域展现出连续建模的显著优势，其通过一组具备连续特性的高斯基元来表达场景，能够渲染任意视角的高质量图像。

2、然而，现有高斯语义场方法仅关注高斯基元和渲染图像的交互，并未考虑与点云几何结构的准确对应，无法适应点云语义分割任务。为此，如何将高斯基元的连续性融入点云语义分割框架，实现对点云语义的自适应优化，是一个值得深入研究的问题。

技术实现思路

1、本发明提供一种机器人三维点云语义分割方法及装置，用以解决现有技术中基于离散空间表示的点云分割缺乏空间连续性，而连续高斯场难以准确对应点云几何结构，导致复杂区域分割精度较低的缺陷。

2、本发明提供一种机器人三维点云语义分割方法，包括：

3、提取基于机器人在当前场景下获取的原始输入点云的多尺度点云特征；

4、将基于所述原始输入点云初始化高斯基元得到的高斯参数作为当前轮次的当前高斯参数，提取所述当前高斯参数对应的高斯查询特征；

5、检索各高斯基元的中心坐标在所述原始输入点云中的近邻点，基于所述多尺度点云特征计算得到所述近邻点对应的关联点云特征；

6、基于所述高斯查询特征和所述关联点云特征，计算得到原始注意力分数图，基于所述中心坐标与所述近邻点之间的空间位置距离构建得到距离门控张量；

7、基于所述距离门控张量对所述原始注意力分数图进行权重调节，得到调节后注意力图，基于所述调节后注意力图得到高斯融合混合向量；

8、基于所述高斯融合混合向量对所述当前高斯参数进行更新，得到更新后的高斯参数，将所述更新后的高斯参数作为下一轮次的当前高斯参数，返回执行提取所述当前高斯参数对应的高斯查询特征的步骤，迭代执行直至满足预设截止条件，将最后轮次中更新后的高斯参数作为高斯语义场参数集合；

9、基于所述高斯语义场参数集合，计算所述原始输入点云中各个点的融合语义向量，以基于所述各个点的融合语义向量，得到所述原始输入点云的语义分割结果。

10、根据本发明提供的一种机器人三维点云语义分割方法，所述基于所述多尺度点云特征计算得到所述近邻点对应的关联点云特征，包括：

11、检索所述近邻点，生成近邻点索引张量；

12、基于所述近邻点索引张量，对所述多尺度点云特征进行切片与重组，提取得到所述近邻点对应的多尺度点云特征向量，重构得到局部多尺度点云特征切片；

13、获取所述近邻点的空间位置坐标，提取得到近邻点位置向量；

14、将所述局部多尺度点云特征切片与所述近邻点位置向量进行拼接后，对拼接后的向量进行特征映射处理，得到所述近邻点对应的关联点云特征。

15、根据本发明提供的一种机器人三维点云语义分割方法，所述基于所述中心坐标与所述近邻点之间的空间位置距离构建得到距离门控张量，包括：

16、计算所述各高斯基元的中心坐标与所述近邻点索引张量之间的欧氏距离；

17、利用预设的第一可学习参数和第二可学习参数，对所述欧氏距离进行计算，得到所述距离门控张量。

18、根据本发明提供的一种机器人三维点云语义分割方法，所述基于所述高斯查询特征和所述关联点云特征，计算得到原始注意力分数图，包括：

19、对所述高斯查询特征进行特征提取，和在空间维度上进行扩维，得到查询张量；

20、分别对所述关联点云特征进行特征映射提取，以分别得到键张量和值张量；

21、计算所述查询张量与所述键张量的转置张量的内积，并将所述内积除以预设的缩放因子，得到所述原始注意力分数图。

22、根据本发明提供的一种机器人三维点云语义分割方法，所述提取所述当前高斯参数对应的高斯查询特征，包括：

23、将所述当前高斯参数中的中心坐标映射至设定的三维体素空间，得到体素索引；

24、将所述体素索引和所述当前高斯参数中的高斯混合向量进行对应并执行稀疏卷积处理，得到第一高斯特征图；

25、对所述当前高斯参数进行特征映射至统一的特征维度后，执行逐元素相加处理，得到第二高斯特征图；

26、将所述第一高斯特征图与所述第二高斯特征图沿通道维度进行拼接，得到第三高斯特征图；

27、对所述第三高斯特征图进行特征融合与处理，得到所述当前高斯参数对应的高斯查询特征。

28、根据本发明提供的一种机器人三维点云语义分割方法，所述基于所述高斯融合混合向量对所述当前高斯参数进行更新，得到更新后的高斯参数，包括：

29、对所述高斯融合混合向量进行处理，预测得到中心坐标残差、旋转四元数残差、尺度残差、权重残差和语义残差；

30、将所述当前高斯参数中的中心坐标与所述中心坐标残差进行门控增量更新，得到更新后的中心坐标；

31、对所述旋转四元数残差与所述当前高斯参数中的旋转四元数进行相乘，得到更新后的旋转四元数；

32、基于预设的尺度调整约束，将所述当前高斯参数中的尺度参数与所述尺度残差进行增量式叠加更新，得到更新后的尺度参数；

33、利用激活函数分别对所述权重残差和所述语义残差进行处理，得到更新后的高斯权重和更新后的语义向量；

34、将更新后的中心坐标、旋转四元数、尺度参数、高斯权重和语义向量作为所述更新后的高斯参数。

35、根据本发明提供的一种机器人三维点云语义分割方法，所述基于所述高斯语义场参数集合，计算所述原始输入点云中各个点的融合语义向量，包括：

36、将所述高斯语义场参数集合中收敛的中心坐标映射至预先划分的三维体素空间中，以建立三维空间索引；

37、针对所述原始输入点云中的目标点，基于所述三维空间索引，在所述目标点所在的局部邻域内检索得到局部候选集；

38、计算所述目标点与所述局部候选集中各高斯基元的中心坐标的马氏距离；

39、利用预设的语义截断阈值，对所述马氏距离进行筛选，得到满足条件的高斯基元集合；

40、针对所述满足条件的高斯基元集合，计算概率密度衰减项，将所述概率密度衰减项与高斯权重及语义向量相乘后进行累加，得到所述目标点的融合语义向量。

41、根据本发明提供的一种机器人三维点云语义分割方法，所述基于所述各个点的融合语义向量，得到所述原始输入点云的语义分割结果，包括：

42、将所述各个点的融合语义向量进行拼接，构成整体的语义概率张量；

43、针对所述整体的语义概率张量，沿类别维度提取最大值对应的类别索引，输出语义预测值向量，将所述语义预测值向量作为所述原始输入点云的语义分割结果。

44、根据本发明提供的一种机器人三维点云语义分割方法，所述提取基于机器人在当前场景下获取的原始输入点云的多尺度点云特征，包括：

45、对所述原始输入点云进行多次下采样处理，得到多个不同分辨率的下采样点云集合；

46、分别对各下采样点云集合进行特征提取，生成不同尺度的多尺度点云特征；

47、对所述不同尺度的多尺度点云特征分别进行上采样，映射回所述原始输入点云的空间位置，得到多个上采样点云特征；

48、对多个所述上采样点云特征进行拼接和通道降维处理，得到所述多尺度点云特征。

49、本发明还提供一种机器人三维点云语义分割装置，包括：

50、点云特征提取单元，提取基于机器人在当前场景下获取的原始输入点云的多尺度点云特征；

51、高斯参数特征提取单元，将基于所述原始输入点云初始化高斯基元得到的高斯参数作为当前轮次的当前高斯参数，提取所述当前高斯参数对应的高斯查询特征；

52、关联点云特征提取单元，检索各高斯基元的中心坐标在所述原始输入点云中的近邻点，基于所述多尺度点云特征计算得到所述近邻点对应的关联点云特征；

53、距离门控构建单元，基于所述高斯查询特征和所述关联点云特征，计算得到原始注意力分数图，基于所述中心坐标与所述近邻点之间的空间位置距离构建得到距离门控张量；

54、加权调节单元，基于所述距离门控张量对所述原始注意力分数图进行权重调节，得到调节后注意力图，基于所述调节后注意力图得到高斯融合混合向量；

55、高斯参数迭代更新单元，基于所述高斯融合混合向量对所述当前高斯参数进行更新，得到更新后的高斯参数，将所述更新后的高斯参数作为下一轮次的当前高斯参数，返回执行提取所述当前高斯参数对应的高斯查询特征的步骤，迭代执行直至满足预设截止条件，将最后轮次中更新后的高斯参数作为高斯语义场参数集合；

56、语义分割单元，基于所述高斯语义场参数集合，计算所述原始输入点云中各个点的融合语义向量，以基于所述各个点的融合语义向量，得到所述原始输入点云的语义分割结果。

57、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述机器人三维点云语义分割方法。

58、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述机器人三维点云语义分割方法。

59、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述机器人三维点云语义分割方法。

60、本发明提供的机器人三维点云语义分割方法及装置，通过构建高斯语义场在连续三维空间中统一表达几何与语义信息，设计多轮级联优化机制促使离散多尺度点云特征与连续高斯基元深度交互，并以距离门控机制实现自适应特征融合，不仅有效建立了点云几何结构与高斯连续属性的准确空间对应关系，还显著改善了机器人在面对复杂场景中物体边缘、细小结构及遮挡区域时的三维感知鲁棒性，最终输出稳定且高精度的点云语义分割结果。