一种基于Mamba和注意力融合机制的三维点云分类分割方法

本发明涉及三维点云数据处理，具体涉及一种基于mamba和注意力融合机制的三维点云分类分割方法。

背景技术：

1、随着激光雷达、rgb-d相机及三维扫描设备等感知技术的不断发展，三维点云已成为描述真实场景几何结构的重要数据载体。相比二维图像，点云能够直接反映物体的空间位置和几何形态，因此被广泛应用于机器人感知、自动驾驶、智能制造、数字孪生及三维重建等领域。点云分类旨在识别点云所属的整体类别，而点云部件分割则需要进一步预测每个点对应的语义部件类别，两者均是三维视觉领域的重要基础任务。

2、近年来，随着深度学习的发展，点云分析方法逐渐由传统几何特征设计转向端到端深度学习模型。早期方法以pointnet及其改进网络为代表，通过直接处理无序点集实现点云分类与分割；随后，点卷积网络进一步增强了局部几何建模能力；近年来，transformer等注意力机制被引入点云分析，通过全局特征交互提升长距离依赖建模能力；最新研究开始尝试将状态空间模型（state space model，ssm）应用于点云序列建模，在保持线性计算复杂度的同时提升全局特征建模效率。

3、尽管上述方法取得了一定进展，但仍存在一定局限性。点卷积网络通常依赖固定邻域进行局部特征聚合，难以充分刻画中心点与邻域点之间的细粒度关系；transformer虽然能够建立远距离依赖，但其自注意力计算复杂度随点数增加而快速增长；状态空间模型能够降低序列建模复杂度，但由于点云本身具有无序性，直接进行序列化处理容易破坏局部空间邻域关系，影响局部几何特征表达。此外，现有状态空间模型大多采用单向建模方式，对点云双向上下文信息的利用仍然不足。

4、因此，如何在保持较低计算复杂度的前提下，同时增强局部几何关系建模能力和全局上下文建模能力，实现局部特征与长距离依赖信息的有效融合，仍然是当前三维点云分类与部件分割领域亟待解决的关键问题。

技术实现思路

1、针对现有技术中存在的问题，本技术提出一种基于mamba和注意力融合机制的三维点云分类分割方法，构建一种由局部邻域特征构建、中心到邻域注意力建模、双向状态空间特征建模及层次化分类分割网络组成的三维点云分析框架，旨在提升点云局部几何特征表达能力及全局上下文建模能力，在保持较低计算复杂度的同时，提高三维点云分类与分割的准确性和鲁棒性。

2、为实现上述技术目的，本技术提供如下技术方案：

3、一种基于mamba和注意力融合机制的三维点云分类分割方法，其具体包括以下步骤：

4、构建三维点云分类分割模型，所述三维点云分类分割模型包括输入嵌入层、级联的多个特征编码模块、级联的多个特征恢复模块及任务输出层；每个特征编码模块由中心到邻域注意力模块和双向mamba模块组成；

5、获取点云数据，所述点云数据包括点云坐标、标签及属性信息；将原始点云输入至输入嵌入层，得到初始特征，各点的初始特征由其三维空间坐标及属性信息组成；将原始点云划分为不同局部邻域，基于初始特征获得各局部邻域的中心点特征和邻域点特征，再对中心点特征和邻域点特征进行特征编码，得到中心点编码特征和邻域点编码特征；

6、在第一个特征编码模块的中心到邻域注意力模块中：建模中心点编码特征和邻域点编码特征间的关联关系，得到关联特征；基于关联特征，结合位置编码和注意力机制对邻域点编码特征进行加权聚合，得到各中心点的局部几何增强特征；

7、将局部几何增强特征输入第一个特征编码模块的双向mamba模块，先采用空间填充曲线对局部几何增强特征进行空间序列化，得到空间序列化特征；再沿序列正向和序列反向对空间序列化特征进行状态空间建模，得到双向状态特征，并对空间序列化特征进行线性映射和归一化，得到门控特征；对双向状态特征和门控特征进行融合调制，得到局部-全局融合特征；

8、其余特征编码模块以前一个特征编码模块输出的局部-全局融合特征及对应的中心点坐标为输入，进行逐级下采样完成多尺度特征编码；再由级联的多个特征恢复模块进行逐级上采样，通过特征插值与跨层融合逐级恢复空间分辨率及特征表达，由最后一个特征恢复模块输出多尺度融合特征；

9、将多尺度融合特征输入任务输出层，得到预测结果；在模型训练阶段，采用损失函数计算预测结果与标签之间的差异，基于损失函数更新模型参数，直至满足收敛条件；使用训练好的模型完成三维点云分类和点云部件分割任务。

10、进一步地，所述局部邻域通过最远点采样法从原始点云中采样中心点，通过对每个中心点使用k近邻算法搜索得到邻域点；所述输入嵌入层包括多层感知机与共享多层感知机，多层感知机用于从原始点云中提取初始特征，共享多层感知机用于对中心点特征和邻域点特征进行特征编码，得到中心点编码特征和邻域点编码特征。

11、进一步地，所述建模中心点编码特征和邻域点编码特征间的关联关系，得到关联特征具体为：

12、对于任一局部邻域，将中心点编码特征沿邻域维度复制后，与各邻域点编码特征独立进行逐元素差分，得到中心点与各邻域点之间的关联特征。

13、进一步地，所述基于关联特征，结合位置编码和注意力机制对邻域点编码特征进行加权聚合，得到各中心点的局部几何增强特征具体为：

14、将中心点编码特征线性映射为查询向量，将关联特征分别线性映射为键向量和值向量；根据查询向量和键向量计算注意力分数，并沿邻域维度进行归一化处理，得到中心点与各邻域点之间的注意力权重；

15、根据中心点与邻域点之间的相对空间距离生成位置编码；将位置编码与值向量进行融合，再使用注意力权重对位置编码后的值向量进行加权聚合，得到邻域聚合特征；将所述邻域聚合特征与中心点编码特征进行残差连接，并依次经过线性层和批归一化层处理，得到局部几何增强特征；

16、遍历所有中心点及对应的局部邻域，得到各中心点的局部几何增强特征。

17、进一步地，所述采用空间填充曲线对局部几何增强特征进行空间序列化，得到空间序列化特征具体为：

18、根据各中心点的三维空间坐标生成hilbert曲线排序索引，依据hilbert曲线排序索引将各中心点对应的局部几何增强特征重排，使空间位置相邻或接近的中心点对应的局部几何增强特征在一维序列保持相邻或接近的排列关系，得到空间序列化特征；同时记录与排序索引相反的逆排序索引。

19、进一步地，所述沿序列正向和序列反向对空间序列化特征进行状态空间建模，得到双向状态特征，并对空间序列化特征进行线性映射和归一化，得到门控特征具体为：

20、双向mamba模块由并行的状态空间特征分支和门控特征分支组成；

21、在状态空间特征分支中：将空间序列化特征经过第一线性层与前向深度可分离卷积处理，获得前向状态空间建模输入特征；将空间序列化特征经过第一线性层处理后，沿序列维度反转，得到反向序列特征，将所述反向序列特征经反向深度可分离卷积处理，获得反向状态空间建模输入特征；

22、将前向状态空间建模输入特征输入前向状态空间模型，获得前向状态特征；将反向状态空间建模输入特征输入反向状态空间模型，获得临时反向状态特征，将所述临时反向状态特征沿序列维度再次反转，获得与前向状态特征位置对应的反向状态特征；将前向状态特征和反向状态特征进行逐元素相加，获得双向状态特征；

23、在门控特征分支中：将空间序列化特征经过第二线性层和批归一化处理，得到门控特征。

24、进一步地，所述对双向状态特征和门控特征进行融合调制，得到局部-全局融合特征具体为：

25、将双向状态特征与门控特征进行逐元素相乘，将相乘结果经过第三线性层映射，获得hilbert曲线排序索引下的融合输出特征；依据逆排序索引对融合输出特征进行逆排序，恢复至各中心点对应的原始空间排列顺序，得到各中心点的局部-全局融合特征。

26、进一步地，所述任务输出层包括分类头和部件分割头；所述分类头对多尺度融合特征进行全局聚合，得到一维全局特征向量，一维全局特征向量通过全连接层，输出点云整体类别的预测结果；所述部件分割头对多尺度融合特征进行特征插值恢复至原始点云分辨率，再通过全连接层输出原始点云中各点所属部件类别的预测结果。

27、进一步地，所述损失函数采用带标签平滑的交叉熵损失函数，所述模型参数通过adamw优化器迭代更新。

28、借由上述技术方案，本发明至少具有以下有益效果：

29、1.本发明通过构建中心点与邻域点之间的关联特征，并结合查询向量、键向量、值向量及相对位置编码对邻域特征进行自适应聚合，使网络能够根据邻域点的特征相关性和空间位置动态分配特征权重，从而增强局部几何结构、部件边界及细粒度形状信息的表达能力。

30、2.本发明根据中心点的空间坐标采用hilbert曲线对局部几何增强特征进行空间序列化，使空间位置相邻或接近的中心点在一维序列中保持相邻或接近；通过前向状态空间模型和反向状态空间模型对hilbert序列进行双向建模，并对反向状态特征和融合输出特征进行顺序恢复，从而提高点云全局上下文信息和长距离依赖关系的建模能力，同时保证输出特征与原始空间位置的对应关系。

31、3.本发明构建由输入嵌入层、级联的多个特征编码模块和级联的多个特征恢复模块组成的层次化网络，通过逐级下采样提取不同空间分辨率下的多尺度特征，并利用特征插值和跨层融合恢复局部空间细节，从而提高点云整体类别识别和部件边界分割能力。

32、4.本发明将中心到邻域注意力机制与双向mamba状态空间建模机制相结合，在增强局部几何关系表达的同时，实现高效的双向全局上下文建模，能够在保持较低计算复杂度的基础上提高点云分类和部件分割的准确性及鲁棒性。