3d场景语义分割方法和装置、系统、存储介质

本发明属于计算机视觉，具体涉及一种3d场景语义分割方法和装置、系统、存储介质。

背景技术：

1、大规模三维点云的语义分割是智能感知领域的核心问题，为自动驾驶、城市重建及数字孪生建模提供关键支撑。为了实现可靠的场景理解，目前的感知系统通常将激光雷达（lidar） 测量数据与红绿蓝（rgb）图像相结合，以同时获取精准的空间几何结构和丰富的颜色纹理信息。尽管激光雷达与相机采集的数据原理不同，但它们描述的是同一个物理世界，并在物体类别和空间关系上共享一致的语义内容。

2、然而，现有的多模态融合策略及实际应用中，仍存在一下技术缺陷和挑战：

3、特征表示冗余且隐晦：现有的融合方法往往直接将二维图像特征与三维点云特征进行简单拼接或混合，缺乏显式的语义解耦过程。由于不同模态间未进行特征有效分离，导致融合特征中存在大量的冗余信息和歧义，难以准确刻画跨模态的一致语义。

4、计算开销巨大，扩展性差：许多现有的方案依赖于沉重的特征级联或大规模的注意力机制，这极大地增加了计算负担，限制了其在大规模户外场景中的实时处理能力和可拓展性。

5、训练稳定性与可解释性不足：采用全特征融合往往会导致训练过程中的优化不稳定。同时融合过程缺乏透明度，难以解释模型到底从哪走模态中学习到了何种具体的语义贡献，这不利于系统的调试与安全评估。

6、环境泛化能力弱：在实际应用中，由于光照变化、天气偏移或传感器配置不同，模型常面临严重的性能退化。许多框架将模态融合与领域自适应分开处理，导致模型在面对陌生的城市布局或环境分布变化时，难以保持稳定的感知精度。

7、跨模态对齐困难：激光雷达的稀疏采样模式与图像观测中随视角变化的几何畸变，使得跨模态特征对齐变得异常复杂，阻碍了稳定的多模态信息融合。

8、综上所述，现有的多模态融合策略在精度、效率、可解释性与跨域鲁棒性之间仍存在巨大的鸿沟，需要一种能够高效解耦跨模态语义并实现稳定融合的新型技术方案。

技术实现思路

1、为解决现有技术存在的问题，本发明提供一种3d场景语义分割方法和装置、系统、存储介质，解决现有大规模三维语义分割中多模态特征融合存在的冗余性、不可解释性以及跨域泛化能力弱等问题。

2、为实现上述目的，本发明提供了如下方案：

3、一种3d场景语义分割方法，包括：

4、步骤s1、对同步获取的二维图像和三维激光雷达点云数据进行预处理；

5、步骤s2、对预处理后的二维图像和三维激光雷达点云数据进行双分支异构特征提取，得到2d视觉特征和3d几何特征；

6、步骤s3、对2d视觉特征和3d几何特征进行共享-私有特征分解和共享注意力融合，得到多模态特征；

7、步骤s4、将输入解码器，结合上采样操作恢复点云空间分辨率，输出每个点所属类别的概率分布。

8、作为优选，步骤s1中，计算二维像素与三维点之间的投影索引，使二维图像和三维激光雷达点云数据在空间上语义对齐。

9、作为优选，步骤s3包括：

10、通过可学习的线性投影层，将到2d视觉特征和3d几何特征分解为共享分量和私有分量；

11、根据共享分量和私有分量进行共享注意力融合，得到共享特征；

12、将共享特征与三维私有分量拼接为多模态特征。

13、本发明还提供一种3d场景语义分割装置，包括：

14、第一处理模块，用于对同步获取的二维图像和三维激光雷达点云数据进行预处理；

15、第二处理模块，用于对预处理后的二维图像和三维激光雷达点云数据进行双分支异构特征提取，得到2d视觉特征和3d几何特征；

16、第三处理模块，用于对2d视觉特征和3d几何特征进行共享-私有特征分解和共享注意力融合，得到多模态特征；

17、第四处理模块，用于将输入解码器，结合上采样操作恢复点云空间分辨率，输出每个点所属类别的概率分布。

18、作为优选，第一出模块计算二维像素与三维点之间的投影索引，使二维图像和三维激光雷达点云数据在空间上语义对齐。

19、作为优选，第三处理模块包括：

20、第一处理单元，用于通过可学习的线性投影层，将到2d视觉特征和3d几何特征分解为共享分量和私有分量；

21、第二处理单元，用于根据共享分量和私有分量进行共享注意力融合，得到共享特征；

22、第三处理单元，用于将共享特征与三维私有分量拼接为多模态特征。

23、本发明还提供一种3d场景语义分割系统，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行3d场景语义分割方法。

24、本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行3d场景语义分割方法。

25、与现有技术相比，本发明的有益效果为：

26、本申请通过引入共享-私有特征分解机制与结构化正则化约束，在提升感知精度、增强模型鲁棒性及优化计算效率等方面达到了显著的技术效果。

1.一种3d场景语义分割方法，其特征在于，包括：

2.如权利要求1所述的3d场景语义分割方法，其特征在于，步骤s1中，计算二维像素与三维点之间的投影索引，使二维图像和三维激光雷达点云数据在空间上语义对齐。

3.如权利要求1所述的3d场景语义分割方法，其特征在于，步骤s3包括：

4.一种3d场景语义分割装置，其特征在于，包括：

5.如权利要求4所述的3d场景语义分割装置，其特征在于，第一出模块计算二维像素与三维点之间的投影索引，使二维图像和三维激光雷达点云数据在空间上语义对齐。

6.如权利要求5所述的3d场景语义分割装置，其特征在于，第三处理模块包括：

7.一种3d场景语义分割系统，其特征在于，包括：存储器和处理器，所述存储器上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-3中的任一项所述的3d场景语义分割方法。

8.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-3中的任一项所述的3d场景语义分割方法。