一种基于自适应序列窗口路由的三维点云语义分割方法及系统与流程

本发明涉及三维点云数据处理和计算机视觉，更具体的说是涉及一种基于自适应序列窗口路由的三维点云语义分割方法及系统。

背景技术：

1、三维点云作为描述三维空间几何形状的重要数据形式，广泛应用于自动驾驶、机器人导航、增强现实及三维重建等领域。语义分割作为点云理解的核心任务，旨在为点云中的每一个点分配特定的语义标签。随着深度学习的发展，基于点的方法（如pointnet系列）和基于图的方法（如dgcnn）逐渐成为主流。为了捕获更丰富的上下文信息，近年来基于transformer的架构被引入点云处理中，利用自注意力机制来建模点与点之间的长距离依赖关系。

2、然而，现有的三维点云语义分割技术在实际应用中仍存在以下主要缺陷：

3、1、计算复杂度高，难以处理大规模场景：标准的自注意力机制的计算复杂度随点云数量呈二次方增长。对于包含数万个点的室内场景或数十万个点的室外激光雷达场景，直接应用全局注意力机制会导致显存溢出或推理速度极慢，难以满足实时性要求。

4、2、局部与全局特征的权衡困境：为了降低计算量，现有技术常采用局部窗口注意力（window attention）机制，将计算限制在局部邻域内。虽然这降低了复杂度，但限制了感受野，导致模型难以捕获长距离的全局上下文信息，容易在语义模糊区域产生误判。

5、3、缺乏自适应的多尺度融合机制：现有的多尺度特征提取方法通常是静态的或基于预定义的规则（如固定半径的球查询），无法根据输入点云的具体内容动态调整对不同尺度特征的关注度。例如，在平坦区域可能需要更大的感受野，而在边缘区域则需要更精细的局部特征，现有技术缺乏这种基于内容感知的动态路由能力。

6、因此，提出一种能够兼顾计算效率与特征表达能力，且能自适应融合多尺度上下文信息的三维点云语义分割方法，是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于自适应序列窗口路由的三维点云语义分割方法及系统，通过将点云序列化并利用批量偏移量与逆序索引引导自适应序列窗口路由模块，动态融合多尺度上下文特征，在降低计算复杂度的同时有效解决了局部细节与全局语义难以兼顾的问题，显著提升了三维点云语义分割的精度与效率。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明实施例提供一种基于自适应序列窗口路由的三维点云语义分割方法，包括以下步骤：

4、s1、获取待分割的三维点云数据，所述点云数据包含离散点的三维坐标及点特征；

5、s2、对所述点云数据进行空间量化和空间序列化，生成序列顺序、逆序索引及批量偏移量，得到序列化特征；

6、s3、构建包含序列化点云transformer编码器和解码器的分割网络；将所述序列化特征输入所述编码器，利用编码器中的自适应序列窗口路由模块对特征进行多尺度上下文增强与融合，得到增强特征；

7、s4、将所述增强特征输入所述解码器进行上采样恢复，并通过点级预测头输出每个点的语义类别。

8、进一步的，步骤s1，具体包括：

9、通过激光雷达、深度相机或三维扫描仪采集原始三维点云数据，所述原始三维点云数据包含离散点的三维坐标、反射强度及颜色信息；

10、对所述原始三维点云数据进行预处理，所述预处理包括剔除无效点与重复点、体素滤波降采样以及去除离散噪声点；

11、将预处理后的点云数据作为待分割的三维点云数据，并提取每个离散点的三维坐标及点特征，所述点特征包括反射强度、颜色信息及法向量中的至少一种。

12、进一步的，步骤s2，具体包括：

13、对每个离散点的三维坐标进行归一化与网格映射，将物理坐标转换为网格坐标；

14、基于所述网格坐标利用空间填充曲线计算空间排序码，按照所述空间排序码对所有点进行升序排列，生成序列顺序；并记录每个点在排序前的原始位置，生成逆序索引；

15、针对批量输入的点云数据，统计每个样本包含的点数并累加，记录每个样本在拼接后的总序列中的起止范围，得到批量偏移量，用于区分不同样本的边界；

16、通过嵌入层将序列化的点云数据映射到目标维特征空间，得到最终的序列化特征。

17、进一步的，步骤s3中，所述编码器包含多个基础块，所述基础块至少包括条件位置编码层、序列化注意力层、自适应序列窗口路由模块和前馈网络；

18、所述条件位置编码层接收所述序列化特征，将所述序列顺序映射为可学习的位置嵌入向量，并与序列化特征进行逐元素相加，得到融合位置信息的序列化特征；

19、所述序列化注意力层接收融合位置信息的序列化特征，利用所述批量偏移量将特征按样本边界分割，并在每个样本的连续序列窗口内独立计算自注意力，得到局部上下文特征；

20、所述自适应序列窗口路由模块接收局部上下文特征，并行构建原尺度细粒度分支和至少一个粗尺度上下文分支，基于单样本序列窗口内的特征响应均值及几何统计量生成动态路由权重，对各分支特征进行自适应加权融合，得到多尺度增强特征；

21、所述前馈网络接收多尺度增强特征，通过两层线性变换及非线性激活函数进行逐点特征映射，输出当前基础块的增强特征。

22、进一步的，所述原尺度细粒度分支，保持输入特征序列长度不变，通过轻量级序列混合操作提取局部几何细节特征；所述轻量序列混合操作包括层归一化、第一线性映射、一维深度卷积、激活函数和第二线性映射。

23、进一步的，所述粗尺度上下文分支对输入特征序列执行下采样池化以扩大感受野，提取全局上下文特征后，再通过上采样操作恢复至原序列长度；具体包括：

24、利用所述批量偏移量确定当前点云样本的序列范围，在所述序列范围的尾部进行填充，使序列长度能被池化比例整除；

25、按照所述池化比例将序列划分为多个池化组，且池化组不跨越样本边界，对每个池化组内的特征进行池化操作，得到粗尺度序列；

26、对所述粗尺度序列执行轻量序列混合操作，将混合后的粗尺度序列中的每个token重复所述池化比例次恢复到原序列长度，并裁去填充部分，得到与原输入序列等长的粗尺度候选特征。

27、进一步的，所述基于单样本序列窗口内的特征响应均值及几何统计量生成动态路由权重，具体包括：

28、窗口级特征统计量计算：基于所述批量偏移量将特征按样本边界隔离，在每个样本的连续序列窗口内，计算窗口内点的特征响应均值、空间分散度、空间覆盖范围以及局部密度，生成表征该窗口内特征分布的统计量向量；

29、动态路由权重生成：将所述统计量向量输入由两层全连接层组成的轻量级路由网络，通过第一层全连接层降维并引入非线性激活，再通过第二层全连接层映射至与分支数量对应的维度，最后经softmax函数归一化，得到各尺度分支的动态路由权重。

30、进一步的，步骤s4，具体包括：

31、将增强特征作为解码器的初始输入，按照与所述编码器下采样倍数相对应的层级结构，逐级上采样恢复分辨率；

32、在每一级解码器上采样后，通过跳跃连接融合编码器对应层级的浅层特征，补充局部几何细节；

33、融合后的特征经多层感知机进行非线性变换与通道降维，得到包含丰富语义与位置信息的解码特征；

34、将所述解码特征输入点级预测头，通过全连接层映射至类别维度并经softmax归一化，选取最大概率对应的类别作为每个点的语义标签，输出分割结果。

35、第二方面，本发明实施例提供一种基于自适应序列窗口路由的三维点云语义分割系统，采用如第一方面任一项所述的方法，包括以下模块：

36、点云数据获取模块：用于获取待分割的三维点云数据，所述点云数据包含离散点的三维坐标及点特征；

37、空间序列化模块：用于对所述点云数据进行空间量化和空间序列化，生成序列顺序、逆序索引及批量偏移量，得到序列化特征；

38、特征增强模块：用于构建包含序列化点云transformer编码器和解码器的分割网络；将所述序列化特征输入所述编码器，利用编码器中的自适应序列窗口路由模块对特征进行多尺度上下文增强与融合，得到增强特征；

39、语义输出模块：用于将所述增强特征输入所述解码器进行上采样恢复，并通过点级预测头输出每个点的语义类别。

40、经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种基于自适应序列窗口路由的三维点云语义分割方法及系统，具有如下有益效果：

41、首先，实现了计算效率与全局感受野的平衡。本发明通过并行构建原尺度细粒度分支与粗尺度上下文分支，在大幅降低计算复杂度的同时，有效捕获长距离全局依赖，解决了传统全局注意力机制难以实时处理大规模点云的难题。

42、其次，提升了特征融合的自适应性与判别力。本发明引入基于窗口特征统计量的动态路由机制，根据局部几何复杂度动态调整多尺度分支权重，使模型在边缘处聚焦细节、在平坦区侧重全局，显著增强了对复杂场景的适应能力。

43、最后，增强了分割结果的细节还原度。本发明采用对称层级上采样与跨层级跳跃连接策略，有效补充深层特征丢失的高频几何细节，显著提升了物体边界清晰度与微小结构分割精度，满足了高精度三维感知需求。