一种室内三维点云的细粒度场景解析方法及系统

本发明属于三维点云智能化处理，尤其涉及一种室内三维点云的细粒度场景解析方法及系统，可用于室内构件自动识别、机器人导航、数字孪生、智能空间感知和室内三维建模等应用场景。

背景技术：

1、随着激光雷达、深度相机、服务机器人、增强现实和智能家居等技术的发展，室内三维点云已成为表达空间结构和构件信息的重要数据形式。室内点云语义分割能够为场景中每个点赋予语义类别标签，实现墙体、地面、天花板、门窗、家具等构件的自动识别，是机器人导航、数字孪生和智能空间感知等应用中的关键技术。

2、现有点云语义分割方法虽然能够在一定程度上完成室内场景识别，但仍存在不足。由于室内点云具有无序性、密度不均、遮挡频繁和类别尺度差异明显等特点，常规深度学习模型在处理门、窗、柱、板、家具边缘等小尺度构件时，容易出现边界模糊、类别粘连和局部漏分等问题。同时，现有网络在特征提取过程中多依赖普通邻域聚合，缺乏对类别交界区域和局部几何突变区域的显式建模；在解码阶段，深层语义信息与浅层空间细节融合不足，难以有效恢复复杂边界和细粒度构件结构。

3、此外，现有方法通常主要依靠逐点分类损失进行训练，对边界区域缺少专门约束，导致模型对相邻构件之间的边界判别能力不足。因此，如何增强边界区域特征表达、实现深层语义与浅层空间细节的有效交互，并提高小尺度构件的分割完整性，是当前室内点云语义分割技术亟待解决的问题。

技术实现思路

1、针对现有技术在室内点云构件识别中存在的边界模糊、小尺度构件漏分、类别粘连以及深浅层特征融合不足等问题，本发明提出一种室内三维点云的细粒度场景解析方法及系统。该方法通过在编码阶段引入边界感知局部特征增强模块，在解码阶段构建层级语义引导细化模块，并结合边界约束损失进行联合优化，从而提升室内点云构件识别的准确性、边界清晰度和结构完整性。

2、上述的目的通过以下技术方案实现：

3、本发明提供一种室内三维点云的细粒度场景解析方法及系统，该方法包括如下步骤：

4、s1.输入点云经过特征嵌入层完成初始映射，将原始坐标及属性信息转换为高维点特征表示；

5、s2.采用pointnext作为基础骨干网络，通过多阶段采样、邻域查询和局部聚合获得由浅到深的层级特征及对应坐标集合，l表示编码阶段的层级总数，在编码阶段引入边界感知局部特征增强模块，通过中心点与邻域点的特征差异、相对坐标差异和几何距离生成局部边界响应，并采用门控融合机制增强类别交界区域特征；

6、s3. 在解码阶段，引入层级语义引导细化模块，以深层高语义特征为起点，沿解码路径逐级回传至中低层特征表示，通过跨层语义聚合和门控残差融合恢复细粒度空间结构；

7、s4. 训练阶段采用语义分割主损失与边界约束损失联合优化，边界标签由逐点语义标注自动生成，无需额外人工边界标注；同时采用由语义分割损失和边界约束损失组成的联合优化目标，从全局语义判别和局部边界约束两个层面对网络进行监督；

8、s5. 推理阶段直接输出每个点的语义类别。

9、进一步地，步骤s1的具体方法如下：

10、对于给定原始室内点云，首先，首先对点云进行坐标归一化、块采样或体素化采样等预处理，使点云适配网络输入规模；随后，特征嵌入层将三维空间坐标及初始属性特征映射为初始点特征；其中 表示第个点的三维空间坐标，表示第个点的初始属性特征，为输入点数。

11、进一步地，步骤s2的具体方法如下：

12、在pointnext编码器的浅层和中层特征阶段设置边界感知局部特征增强模块，利用中心点与邻域点之间的特征差异、相对坐标差异和几何距离构造局部边界描述子，并通过门控融合机制将边界响应自适应注入原始特征，具体地：

13、设第层中第个点的特征和坐标分别记为与，，第层中第个点的局部邻域集合记为，首先构造局部边界描述子：

14、

15、其中，表示特征拼接操作， 表示欧氏范数，与表示分别表示第层中第个点的邻域点的特征和坐标；

16、在得到局部边界描述子后，采用轻量化映射函数对邻域差异信息进行非线性变换，并沿邻域维度进行最大池化，得到点级边界响应：

17、

18、其中， 表示由多层感知机构成的边界映射函数，表示沿邻域维度进行最大池化，用于突出最显著的边界响应模式；

19、随后，将边界响应特征与原始层级特征进行门控融合，得到边界增强后的特征表示：

20、

21、

22、其中， 和 为可学习映射参数； 表示 sigmoid 激活函数； 表示逐元素乘法；表示第个层级中第个点的边界门控权重, 用于自适应控制边界响应特征对原始点特征的增强程度；表示第个层级中第个点经过边界感知增强后的输出特征，也就是门控融合后的增强特征。

23、进一步地，步骤s3的具体方法如下：

24、s3. 在解码阶段，引入层级语义引导细化模块，以深层高语义特征为起点，沿解码路径逐级回传至中低层特征表示，通过跨层语义聚合和门控残差融合恢复细粒度空间结构；

25、在解码阶段设置层级语义引导细化模块，该模块以编码器末端的深层语义特征为起点，沿解码阶段逐级回传至中层和浅层特征，通过跨层语义聚合实现高层语义对低层空间细节的引导，从而在恢复空间分辨率的同时，不断缩小不同层级特征之间的语义鸿沟，增强模型对小尺度对象、局部边界以及细粒度构件的恢复能力，具体地：

26、设第层经过边界增强后的编码特征为 ，其中 分别表示由浅到深的不同解码层级，而编码器末端的最深层编码特征记为；对于编码器末端的最深层特征，由于其不存在更深层语义参考，首先采用初始语义投影函数将其映射为深层初始语义表示：

27、

28、其中，表示编码器末端的最深层编码特征； 表示作用于编码器末端的最深层编码特征的初始语义投影函数；

29、随后，对于较浅层级，解码器首先通过特征传播单元将当前层边界增强特征与更深层回传语义特征进行融合，得到当前尺度的基础解码特征：

30、

31、其中， 表示上采样操作， 表示第层经过基础解码器恢复后的特征表示，即当前尺度基础解码特征，表示更深层回传的语义细化特征；该当前尺度基础解码特征同时包含当前尺度的局部几何细节、边界增强信息以及来自更深层的上采样语义信息，是后续层级语义引导细化的主要输入；

32、在得到当前尺度基础解码特征后，层级语义引导细化模块以作为主输入，以更深层回传的层级语义细化特征作为参考输入，通过层级语义引导细化函数得到当前层输出：

33、

34、其中，表示表示第层的层级语义细化特征；

35、层级语义引导细化函数由局部跨层语义聚合和门控残差融合两部分组成，首先，对当前尺度基础解码特征进行瓶颈映射，得到当前层语义表示：

36、

37、其中，表示由卷积、归一化层和非线性激活函数构成的瓶颈映射函数；

38、随后，将当前层语义表示作为查询特征，将更深层回传的语义细化特征作为支持特征，分别进行查询、键和值映射：

39、

40、

41、

42、其中，表示查询映射参数，用于将当前层语义表示映射为查询特征；表示键映射参数，用于将更深一层的层级语义细化特征 映射为键特征；表示值映射参数，用于将更深一层的层级语义细化特征 映射为值特征，、和分别表示当前层查询特征、更深层键特征和值特征；

43、接着在跨层语义聚合中引入基于邻域的局部注意力机制，对于坐标为的第层中第个点，在更深层点集中选取其局部邻域，并结合相对位置编码建模跨层几何关系，第个点与其邻域点之间的相对位置表示为：

44、

45、其中，表示表示第层第个点与第层邻域点之间的跨层相对位置，表示第层中邻域点的三维坐标；

46、基于查询、键特征及相对位置编码，跨层注意力权重表示为：

47、

48、其中，和分别表示作用于查询分支的相对位置编码函数和作用于键分支的相对位置编码函数，为特征维度，表示第层第 个点的查询特征，表示第层邻域点 的键特征，上标t表示转置操作；

49、基于跨层注意力权重，得到深层语义引导下的当前层上下文特征：

50、

51、其中，表示深层语义引导下第层第个点的当前层上下文特征，表示第层第个点对第层邻域点的跨层注意力权重，表示由第层层级语义细化特征经值映射参数映射得到的、第层邻域点的值特征；

52、为简化表示，由和经查询、键、值映射、跨层注意力权重计算以及加权求和得到 的过程写为：

53、

54、其中，表示基于局部邻域关系的跨层语义聚合操作，表示在深层语义引导下获得的第层跨层上下文特征；

55、在获得第层跨层上下文特征后，为避免深层语义信息过度覆盖浅层几何细节，进一步采用门控残差融合机制，自适应平衡深层语义上下文与当前层基础解码特征之间的贡献，首先，将当前层基础解码特征映射到与上下文特征一致的通道空间：

56、

57、其中，为可学习的线性映射参数，为第层的当前层细节保留特征；

58、随后，根据跨层上下文特征与当前层残差信息生成门控权重：

59、

60、其中，表示输出映射函数，表示门控映射函数，为sigmoid激活函数；

61、最终，第层的细化输出表示为：

62、

63、综上，层级语义引导细化过程概括为：

64、。

65、进一步地，步骤s4的具体方法如下：

66、训练阶段采用语义分割主损失与边界约束损失联合优化，总体损失函数定义如下：

67、

68、其中，为语义分割主损失，用于约束网络输出与逐点语义标签之间的一致性；为边界约束损失，用于增强模型对边界区域的识别能力；为边界损失权重系数，用于调节主任务监督与辅助任务监督之间的相对贡献；

69、语义分割主损失采用逐点交叉熵损失，设输入点云共有个点，类别数为，第个点的真实类别标签为，模型预测其属于第类的概率为，则语义分割主损失定义为：

70、

71、其中，为指示函数，表示自然对数函数；

72、语义分割主损失损失从整体类别判别角度对网络进行监督，使模型学习不同语义类别在特征空间中的分布规律；

73、为了构造边界监督信号，根据真实语义标签在线生成边界标签，具体方法是，对于点，若其局部邻域中存在与中心点语义标签不同的点，则将该点定义为边界点；否则定义为非边界点，边界标签表示为：

74、

75、其中，表示点位于类别边界区域，表示其为非边界点；该边界标签由逐点语义标注自动生成，无需额外人工边界标注，对于无效标签点，在边界标签构建和损失计算过程中均予以忽略；

76、边界预测分支输出第个点的边界预测值，其边界概率为：

77、

78、基于边界真值和预测概率，边界约束损失采用二元交叉熵形式：

79、。

80、本发明还提供一种室内三维点云的细粒度场景解析系统，该系统用于运行上述的方法，该系统包括特征嵌入模块、pointnext编码器、层级语义细化解码器、语义分割主损失与边界约束损失联合优化模块；其中特征嵌入模块用于将输入点云映射为高维点特征；pointnext编码器用于通过多阶段下采样和局部邻域聚合提取不同分辨率的层级特征；层级语义细化解码器用于以深层高语义特征为起点，沿解码路径逐级回传至中低层特征表示，通过跨层语义聚合和门控残差融合恢复细粒度空间结构；语义分割主损失与边界约束损失联合优化模块用于由逐点语义标注自动生成边界标签，直接输出每个点的语义类别。

81、本发明相比现有技术的有益效果是：

82、1.通过在编码阶段引入边界感知局部特征增强模块，本发明显式建模中心点与邻域点之间的特征差异、空间位置差异和几何距离，使网络在类别交界区域和局部几何突变区域具有更强判别能力，降低邻域聚合过程中边界两侧特征被过度平均的风险。通过门控融合机制自适应注入边界响应，本发明能够在边界区域增强细节表达，在同质区域保持语义特征稳定，避免简单全局增强导致的噪声放大或特征扰动。

83、2.通过层级语义细化模块，本发明将深层高语义信息逐级回传至中低层空间细节特征，改善常规解码结构中深层语义与浅层几何细节交互不足的问题，从而提升小尺度构件、低频类别和复杂边界区域的分割完整性。

84、3.通过自动生成边界标签并引入边界约束损失，本发明在不增加额外人工标注成本的情况下，使模型训练过程更加关注类别交界区域，改善边界轮廓不连续、局部结构模糊和类别粘连等问题。