面向具身智能机器人的动态早退自适应点云配准方法及系统

摘要: 本发明属于计算机视觉、机器人技术和三维感知,更具体地,涉及一种面向具身智能机器人的动态早退自适应点云配准方法及系统。背景技术:1、点云配准是计算机视觉、机器人技...
面向具身智能机器人的动态早退自适应点云配准方法及系统

本发明属于计算机视觉、机器人技术和三维感知,更具体地,涉及一种面向具身智能机器人的动态早退自适应点云配准方法及系统。

背景技术:

1、点云配准是计算机视觉、机器人技术和三维感知领域中的基础问题之一,其任务是针对两个存在部分重叠的三维点云,估计能够使二者实现空间对齐的刚性变换。在移动机器人、自动驾驶、基础设施辅助协同感知和具身智能等场景中,点云配准是实现环境感知、空间对齐、场景理解和行动决策的重要基础能力,可广泛应用于移动机器人导航、机械臂操作、三维环境建图、目标抓取前感知以及复杂场景中的在线交互等任务,对系统的实时感知与闭环控制具有重要意义。

2、随着三维传感器精度和应用规模的提升,移动三维感知系统对点云配准算法提出了更高要求,不仅需要具备较高的配准精度和鲁棒性,还需要在有限计算资源和严格时延约束下完成在线配准。尤其是在存在噪声、遮挡、部分重叠、大尺度位姿变化以及复杂背景干扰的动态环境下,如何在保证配准稳定性的同时降低推理开销,已成为本领域的重要研究方向。

3、现有点云配准方法大致可分为两类。第一类为直接配准方法。该类方法将待配准的源点云和目标点云直接输入神经网络,由网络直接回归旋转矩阵和平移矩阵,从而获得刚性变换结果。该类方法通常需要同时学习点间对应关系和空间变换关系,模型耦合程度较高,在几何结构复杂、噪声较大或重叠率较低的场景下,配准精度和鲁棒性容易受到影响,不利于具身智能系统在复杂环境中的稳定在线感知。第二类为基于特征匹配的点云配准方法。该类方法首先对源点云和目标点云进行特征提取,随后依据特征相似性和几何一致性建立对应关系,并在此基础上估计刚性变换。现有主流技术通常采用由粗到细的处理框架,即先在下采样后的超点层级建立粗粒度对应关系,再将粗对应关系传播至稠密点层级,以获得更精细的点对应关系,最终通过ransac或局部到全局配准策略输出变换结果。

4、为了进一步提升特征表达能力,部分现有技术引入自注意力机制,通过建模点云内部以及跨点云之间的全局上下文关系来增强特征判别性。还有部分技术尝试将状态空间模型引入视觉任务,以利用其线性复杂度的长程依赖建模能力,提高大规模输入下的推理效率。此外,也存在将注意力机制与状态空间模型结合的混合架构,用于兼顾局部信息建模能力和全局依赖建模能力。对于具身智能场景而言,这类方法虽然提升了感知能力,但在面对在线交互和实时闭环任务时,仍存在算力开销较大、响应速度不足的问题。

5、上述现有技术仍存在以下主要问题:其一,多数方案采用固定深度、固定宽度的静态推理结构,无法提前判断输入样本的配准难度,也难以根据样本难易程度自适应调整计算路径,对简单样本存在明显冗余计算,对困难样本又可能存在表征不足的问题,难以兼顾效率与鲁棒性,不利于具身智能机器人在线感知任务的实时执行;其二,基于注意力机制的点云配准方法虽然能够增强全局上下文建模能力,但其计算复杂度较高,当点云规模较大、候选匹配点较多时,模型推理时间和资源消耗会显著增加,从而限制其在机器人在线感知和控制场景中的应用;其三,现有技术通常缺少针对推理阶段匹配可靠性的在线评估机制,无法在中间层判断当前匹配结果是否已经足够可靠,因此也无法在满足条件时提前终止后续计算;其四,现有方法通常缺少面向推理过程的自适应修剪机制,难以及时过滤非重叠区域或明显不可匹配点,导致大量低价值点持续参与后续特征交互,不仅增加计算负担,还可能对重叠区域的有效匹配造成干扰,从而影响具身智能机器人环境理解与动作决策的稳定性。

6、针对具身智能系统在复杂环境下的三维感知需求,现有点云配准方法普遍采用固定深度、固定宽度的静态网络结构,难以根据输入样本的配准难度自适应调整计算路径,导致简单样本存在冗余计算、困难样本存在表征不足的问题。

技术实现思路

1、本发明旨在克服上述现有技术的至少一种缺陷,提供一种面向具身智能机器人的动态早退自适应点云配准方法。

2、本发明还公开一种面向具身智能机器人的动态早退自适应点云配准系统。

3、本发明详细的技术方案如下:

4、一种面向具身智能机器人的动态早退自适应点云配准方法,所述方法包括:

5、s1、点采样和局部特征提取,对源点云和目标点云进行多尺度下采样和局部特征提取,得到超点集及其特征,用于后续难度感知早退匹配模块构建粗粒度对应关系;

6、对源点云和目标点云进行上采样和局部特征提取,得到稠密点集及其特征,用于后续点匹配模块生成稠密点对应关系;

7、s2、超点特征增强与跨点云交互,对超点及其特征执行超点特征增强与跨点云交互,通过难度感知早退匹配模块(def matching blocks)的多个迭代层依次执行帧内特征增强和帧间特征交互,得到判别性更强、几何一致性更好的超点特征;

8、其中,所述多个迭代层为权重共享的l个难度感知早退块(def block);

9、每一难度感知早退块(def block)执行帧内特征增强以及帧间信息交互;

10、所述帧内特征增强通过几何mamba混合器(geometric mamba mixer)实现,所述帧间信息交互通过交叉注意力模块(cross attention)实现;

11、s3、动态早退与点剪枝,利用深度置信度回归器动态评估每层超点匹配可信度,自适应执行动态早退决策和低置信度特征点动态剪枝,剔除不可匹配区域带来的冗余计算与噪声干扰,降低计算开销并使模型更聚焦于潜在重叠区域;

12、s4、点匹配与位姿估计,将超点层级的粗对应关系传播至稠密点层级,通过点匹配模块建立精细的点对应关系,采用局部到全局配准方案完成刚性变换估计,输出点云配准结果。

13、点云配准的目标是估计刚性变换,其中为旋转矩阵,为平移向量,使两点云实现空间对齐。

14、根据本发明优选的,所述步骤s1包括:

15、给定源点云和目标点云,其中表示三维实数空间;

16、s11、利用核点卷积特征金字塔网络(kpconv-fpn)的主干网络对输入点云进行多尺度下采样与特征提取,将最终多尺度下采样得到的点集记为超点集和,对应特征记为和,超点集及其特征用于后续难度感知早退匹配模块构建粗粒度对应关系;

17、s12、核点卷积特征金字塔网络(kpconv-fpn)主干网络在完成多尺度下采样后,对点云逐步进行上采样,并同步提取相应特征,得到稠密点集和,其分辨率为原始点云的1/2,对应特征记为和,稠密点及其特征用于后续点匹配模块生成稠密点对应关系,并为最终刚性变换估计提供输入。

18、根据本发明优选的,所述步骤s2包括:

19、s21、对超点构建几何结构嵌入,所述几何结构嵌入用于描述第个超点与第个超点之间的空间几何关系;

20、所述几何结构嵌入包括超点间距离、邻域角度、相对位置关系;

21、s22、将超点特征输入几何mamba混合器(geometric mamba mixer),并行融合几何感知自注意力与基于mamba的状态空间模型,利用几何结构嵌入引导局部特征聚合,并利用线性复杂度的选择性扫描机制建模长程依赖关系,增强每层的特征判别性和几何一致性,从而完成帧内特征增强;

22、s23、帧内特征增强完成后,采用交叉注意力模块(cross attention)对源点云与目标点云进行全局帧间几何一致性编码,建立源点云与目标点云之间的关联,完成帧间信息交互。

23、根据本发明优选的,所述几何mamba混合器(geometric mamba mixer)包含两个并行分支,分别为几何感知多头注意力分支和基于状态空间模型的序列建模分支;

24、所述几何感知多头注意力分支计算过程如下:

25、给定源点云对应的超点集的特征矩阵,输出特征矩阵为各投影输入特征的加权和,即:

26、(1)

27、式(1)中,表示源点云超点集中第个超点的输出特征,表示超点集内包含的超点总数量,表示参与特征聚合的超点索引,表示对注意力分数进行归一化,表示第个超点对第个超点的注意力分数,表示第个超点的输入特征,表示值投影矩阵;

28、注意力分数的计算方式如下:

29、(2)

30、式(2)中,表示注意力分数,表示第个超点的输入特征,表示查询投影矩阵,表示第个超点的输入特征,表示键投影矩阵,表示第个和第个超点之间的几何结构嵌入,所有共同构成几何结构嵌入矩阵

, 表示几何结构嵌入投影矩阵,表示矩阵转置,表示注意力分支的特征维度;

31、与此同时,输入特征经过两个并行线性变换后进行非线性增强,定义为:

32、(3)

33、式(3)中,表示中间特征,表示激活函数,表示一维卷积,表示将特征维度从变为,其中表示输入特征维度,表示更新前的超点特征;

34、随后分别通过选择性状态扫描(ssm)与直接映射生成双通道表征:

35、(4)

36、(5)

37、式(4)、(5)中,表示状态空间模型分支的输出,表示将特征维度从变为,其中表示输入特征维度,状态空间模型操作ssm(·)表示沿序列顺序进行的因果状态扫描操作,具有线性时间复杂度,表示中间特征,表示直接映射分支的输出;

38、最终将三路特征拼接为:

39、(6)

40、式(6)中,表示拼接后的特征,表示几何感知多头注意力分支的输出,表示沿特征通道拼接,表示状态空间模型分支的输出,表示直接映射分支的输出;

41、并按如下方式更新输入特征:

42、(7)

43、式(7)中,表示更新后的超点特征,表示残差更新,表示更新前的超点特征,表示多层感知机,表示特征拼接,表示拼接后的特征;

44、其中,目标点云对应的超点集的多头注意力的计算过程采用相同的计算方式。

45、根据本发明优选的,所述帧间信息交互过程包括:

46、在完成帧内特征增强后,为建立源点云与目标点云之间的关联,采用基于帧间特征的交叉注意力模块(cross attention)对输入点云之间的全局帧间几何一致性进行编码:

47、(8)

48、(9)

49、式(8)、(9)中,表示第个难度感知早退块(def block)中源点云超点集的特征,表示难度感知早退块(def block)的层号,表示特征更新,表示跨点云交叉注意力操作,表示第个难度感知早退块(def block)中目标点云超点集的特征,式(9)为式(8)交换源点云超点集和目标点云超点集后的对称计算;

50、经过层交替的帧内增强与帧间信息交互后,得到更新后的超点特征,将所述更新后的超点特征输入超点匹配模块,获得超点粗对应关系,随后,点匹配模块根据所述超点粗对应关系和稠密点特征,生成稠密点对应关系。

51、根据本发明优选的,所述步骤s3包括:

52、s31、深度置信度回归器用于评估当前匹配预测的可靠性,并为动态早退与特征点剪枝提供决策依据,该模块在第层()末对每个点的特征进行评估,输出其置信度分数:

53、(10)

54、式(10)中,表示第层第个超点的置信度得分,表示难度感知早退块(defblock)的层号,表示超点索引,表示sigmoid函数,表示逐级降维并输出标量的置信度回归器,其中表示输入特征维度,表示第层中超点集的特征,表示集合变量,取源点云超点集或目标点云超点集;

55、高置信度表明该特征点的匹配状态已趋于稳定且可靠,采用轻量级多层感知机(mlp)构建该回归器,可实时评估各层匹配结果的可靠性,并驱动早退决策;

56、对于第层中的任一超点,判断超点的置信度得分是否大于该层对应的置信度阈值,当时,将该超点判定为可信超点,记为第层源点云与目标点云全部超点的置信度得分集合,则第层的可信点比例定义为:

57、(11)

58、式(11)中,表示第层的可信超点比例,表示该层源点云超点集和目标点云超点集的全部置信度得分集合,表示难度感知早退块(def block)的层号,和分别表示当前层源点云和目标点云的点数,依次取和,表示超点索引,为指示函数,当括号内条件成立时取,否则取,表示第层第个超点的置信度得分,表示第层的置信度阈值;

59、s32、当可靠点所占比例超过预设阈值时,认为当前层已经能够提供足够可靠的对应关系,从而终止后续推理,即:

60、(12)

61、式(12)中,表示第层的早退指示变量,表示难度感知早退块(def block)的层号,表示第层的可信超点比例,表示第层的置信度得分集合,表示第层的置信度阈值,表示预设阈值;

62、表示触发早退,输出当前粗对应关系,表示不触发早退,执行特征点剪枝后进入下一迭代层;

63、当未满足退出条件时,模型继续进入下一层推理,并对当前层中置信度较低、尚未建立可靠几何对应关系的特征点进行动态剪枝;

64、此类特征点通常来自点云间的非重叠区域或明显不可匹配区域,继续参与后续上下文建模容易增加计算冗余并引入噪声干扰,因此,本发明在每层结束后剔除低于置信度阈值的特征点,仅将剩余特征点传递至后续层,以降低计算开销并使模型更聚焦于潜在重叠区域,剩余特征点继续参与下一层的特征增强与跨点云交互。

65、根据本发明优选的,所述步骤s4包括:

66、根据超点对应关系,将源点云和目标点云中的稠密点划分至对应超点邻域内,构建稠密点相似度矩阵,获取局部稠密点特征后由点匹配模块生成稠密点匹配概率,提取得到稠密点对应关系集合;

67、基于所述稠密点对应关系集合执行刚性变换估计,并采用局部到全局配准方案估计得到旋转矩阵与平移向量,输出点云配准结果。

68、本发明还涉及一种实现上述面向具身智能机器人的动态早退自适应点云配准方法的系统,所述系统包括:

69、点采样和局部特征提取模块,用于对源点云和目标点云进行多尺度下采样和提取逐点局部特征,输出对应超点表征;

70、def匹配模块,用于执行超点特征增强、跨点云交互、动态早退与点剪枝,剔除不可匹配区域带来的冗余计算与噪声干扰,降低计算开销并使模型更聚焦于潜在重叠区域;

71、点匹配模块,用于建立更精细的点对应关系,采用配准方案完成最终刚性变换估计,输出高精度的点云配准结果。

72、本发明的有益效果

73、(1)本发明通过在特征交互过程中引入深度置信度回归器,对当前层匹配结果的可靠性进行实时评估,并基于评估结果执行样本难度感知的自适应修剪,对于高重叠、结构清晰且置信度较高的简单样本,本发明能够通过早退机制提前输出当前粗对应关系,实现网络层数的动态修剪,避免执行不必要的深层迭代,从而减少冗余计算、缩短推理时间并提高计算效率;对于未触发早退的低置信度样本,本发明进一步在特征交互阶段执行特征点剪枝,剔除低置信度、非重叠或明显不可匹配的特征点,仅将剩余特征点送入下一层继续建模,该机制不仅降低了后续注意力交互和上下文建模的计算负担,而且能够减少无关背景对重叠区域匹配的干扰,提高对应关系的纯净度和稳定性。

74、(2)本发明提出的几何mamba混合器并行融合几何感知注意力机制与mamba状态空间模型,一方面利用三维几何先验增强局部特征聚合能力,另一方面利用状态空间模型的长程依赖建模能力增强全局上下文表达能力,从而在较低计算复杂度下获得更具判别性的超点特征表示。由于单层特征表达质量提高,粗匹配阶段能够更早形成稳定可靠的对应关系,进一步促进早退机制有效触发。

75、(3)本发明采用由粗到细的配准框架,在超点层级建立粗对应关系,并将其传播至稠密点层级进行精细匹配,最后通过局部到全局配准策略计算刚性变换,由于粗匹配阶段已经通过特征增强和自适应修剪机制提高了匹配可靠性,因此后续稠密点对应关系和最终变换估计结果具有更高的几何一致性和稳定性,能够提升复杂场景下的配准精度和鲁棒性。

76、(4)此外,本发明不依赖对所有样本执行统一的固定深度计算路径,而是根据样本难度动态分配计算资源,因此能够更好地兼顾配准精度与推理效率,特别适用于对在线响应、鲁棒性和资源利用率均有较高要求的移动三维感知与具身智能场景。