基于空间几何对齐的跨形态灵巧抓取方法及系统

本发明涉及机器人灵巧抓取，具体涉及一种基于空间几何对齐的跨形态灵巧抓取方法及系统。更具体地，本发明涉及一种在特征交互阶段通过显式编码局部三维空间几何关系来实现跨不同形态机器人手的灵巧抓取姿态生成方法，以及实现该方法的系统、电子设备、计算机可读存储介质和计算机程序产品。本发明可应用于工业机器人、服务机器人、医疗机器人等领域中需要多指灵巧手执行抓取操作的场景。

背景技术：

1、灵巧抓取是机器人操作中的核心能力之一，其目标是在给定物体的情况下，规划机器人手的位姿和关节构型，使手部能够稳定地抓取物体。随着机器人技术的发展，不同形态的多指灵巧手（如barrett hand、allegro hand、shadow hand等）被广泛应用于各种操作任务中。然而，不同机器人手在自由度数量、手指拓扑结构和运动学参数等方面存在显著差异，这给跨形态抓取模型的泛化带来了巨大挑战。

2、现有技术中，跨形态灵巧抓取方法主要分为以下几类：

3、第一类是基于全局特征交互的抓取方法。这类方法通过注意力机制或几何匹配在全局特征空间中建立手部与物体的对应关系，将抓取生成建模为手部与物体特征之间的整体匹配任务。此类方法利用transformer或图神经网络学习手-物全局特征交互，并通过条件变分自编码器建模多模态抓取分布，能够在一定程度上实现跨不同机器人手的抓取迁移。然而，此类方法存在以下不足：基于全局特征相似性的匹配策略，未将局部接触几何作为显式约束项引入，致使手-物空间对齐精度不足，易于产生接触错位及手指穿透物体等物理失实现象。其根源在于，注意力机制仅依赖特征语义相似度进行关联，忽略了局部三维几何相对位姿关系。当目标区域曲率剧烈或存在凹/凸非结构化接触面时，相似性度量无法甄别几何上不匹配的邻近候选区，从而将错误的空间对应关系误判为有效接触。

4、第二类是基于局部接触建模的抓取方法。这类方法通过学习接触先验或预测接触区域来引导抓取生成，并在后处理阶段通过可微接触模型优化手部位姿，能够更准确地描述接触形成过程。然而，此类方法存在以下不足：空间约束被延迟至后处理优化阶段生效，未参与前端特征交互，致使特征学习过程缺失几何感知，同时迭代优化机制降低了推理效率；且接触先验与特定手部的运动学参数强绑定，跨形态泛化能力受限。其根源在于：一方面，接触约束与前端特征交互在架构上相互解耦，前端无法获得局部几何一致性的监督信号；另一方面，先验表示固化于特定手部参数空间，不具备独立于手部结构的通用局部几何表征能力。

5、第三类是固定深度交互网络方法。现有方法中，部分方法采用预设的固定深度交互网络（如固定的transformer层数或gnn层数）来建模手-物关系。然而，此类方法存在以下不足：网络交互深度被预设为固定常量，无法自适应不同机器人手对接触建模能力的差异化需求。具体而言，对于自由度较低、结构简化的多指手，过深的特征交互层不仅引入冗余计算开销，更易在小规模数据下产生过拟合，损害泛化性能；而对于高自由度、多关节的复杂手部构型，固定的有限交互深度则难以捕捉多手指间及手指与物体表面之间复杂的高阶接触依赖关系，制约了模型表达能力的上限。

6、综上所述，现有技术中存在以下技术问题：（1）特征交互阶段缺乏局部几何约束，导致接触错位和手指穿透；（2）几何约束延迟至后处理阶段，计算效率低且特征学习缺乏几何感知；（3）接触先验与特定手部结构绑定，跨形态泛化能力受限；（4）固定深度交互网络无法适应不同复杂度手部的差异化需求。因此，亟需一种能够在特征交互阶段显式建模局部几何接触关系、自适应不同手部复杂度、且具备跨形态泛化能力的灵巧抓取方法。

技术实现思路

1、针对现有技术中存在的上述技术问题，本发明提供了一种基于空间几何对齐的跨形态灵巧抓取方法及系统，旨在通过在特征交互阶段显式编码局部三维空间几何关系，实现精确的手-物局部接触对齐，并通过自适应交互深度机制和形态感知门控模块，显著提升跨形态抓取的泛化能力和稳定性。

2、本发明所要解决的技术问题是：在跨形态灵巧抓取任务中，现有方法难以在特征交互阶段显式建模手部与物体之间的局部几何接触关系，导致接触区域错位、手指穿透等物理不一致问题；同时，现有固定深度交互网络无法适应不同自由度、不同结构复杂度机器人手对局部接触建模的差异化需求，跨形态泛化能力受限。具体而言，本发明要解决以下技术问题：（1）如何在特征交互阶段引入局部三维空间几何约束，避免接触错位和手指穿透；（2）如何使网络交互深度自适应不同机器人手的运动学复杂度，兼顾计算效率和建模精度；（3）如何缓解不同手型之间的特征分布偏移，提升跨形态泛化能力。

3、本发明为解决其技术问题所采取的技术方案是：

4、一方面，提供了一种基于空间几何对齐的跨形态灵巧抓取方法，包括如下步骤：

5、s1，获取初始机器人手点云和物体点云，通过双分支编码器分别从机器人手点云和物体点云中提取几何特征，获得手部几何特征和物体几何特征；s2，根据预先建立的手部类型与交互层数的映射关系确定空间对齐交互模块的交互层数，所述手部类型包括手部总关节数量、独立手指数量和整体自由度数量；s3，通过所述空间对齐交互模块以所述交互层数进行多层迭代交互，每层交互依次执行局部几何建模、手-物几何对齐和形态感知门控三个子步骤，其中在所述手-物几何对齐过程中，将手部采样点与物体采样点之间的三维相对位移向量通过多层感知机映射为几何注意力偏置，并将所述几何注意力偏置注入双向交叉注意力计算中，以三维空间几何距离作为匹配判定依据，建立手部与物体表面之间的局部接触对应关系；s4，基于经所述空间对齐交互模块处理后的交互特征，预测机器人手部与物体之间的接触距离矩阵；s5，基于所述接触距离矩阵，通过多边测量和逆运动学优化恢复机器人手的抓取构型。

6、在本发明的一个实施例中，步骤s1中，所述双分支编码器为动态图卷积神经网络，具体包括：分别构建机器人手点云和物体点云的图结构，每个点与其k个最近邻点建立边连接；通过多层边卷积操作逐层聚合邻域特征，输出编码了每个采样点及其局部邻域表面几何信息的手部几何特征和物体几何特征。

7、在本发明的一个实施例中，步骤s2中，所述手部类型按照机器人手的整体自由度数量划分为低自由度手部、中自由度手部和高自由度手部：当所述整体自由度数量小于第一阈值时，判定为低自由度手部，设置交互层数不超过1；当所述整体自由度数量大于或等于第一阈值且小于第二阈值时，判定为中自由度手部，设置交互层数为1至2；当所述整体自由度数量大于或等于第二阈值时，判定为高自由度手部，设置交互层数不小于2。

8、在本发明的一个实施例中，步骤s3中，每层空间对齐交互模块包括沿数据流依次串联连接的三个子模块：局部几何建模子模块，用于对输入特征执行含三维位移位置编码的自注意力操作；手-物几何对齐子模块，用于对所述局部几何建模子模块输出的几何增强特征执行含几何注意力偏置的双向交叉注意力操作；形态感知门控子模块，用于对所述手-物几何对齐子模块输出的交互特征执行含层归一化-多层感知机-sigmoid激活的通道加权操作；其中，原始手部特征和物体特征先输入所述局部几何建模子模块输出几何增强特征，所述几何增强特征再输入所述手-物几何对齐子模块输出交互特征，所述交互特征最终输入所述形态感知门控子模块加权后输出本层空间对齐交互模块的更新特征。

9、在本发明的一个实施例中，所述局部几何建模子模块中，自注意力操作引入局部点邻域的三维相对空间位移，通过多层感知机位置编码函数将相对位移映射为位置编码并注入注意力计算中，更新公式为：

10、，

11、，

12、其中，和分别为第l层的手部特征和物体特征，和分别为手部和物体局部邻域的三维相对位移向量，为多层感知机位置编码函数，为自注意力操作，和分别为输出的手部和物体几何增强特征。

13、在本发明的一个实施例中，所述手-物几何对齐子模块中，几何注意力偏置的生成和注入方式为：通过多层感知机非线性映射将手部采样点与物体采样点之间的三维相对位移向量编码为几何注意力偏置：

14、，

15、其中，为任意手部采样点与任意物体采样点之间的三维欧式坐标差向量，为可学习多层感知机映射函数，其输入维度为3，输出维度与多头注意力单头特征维度一致，b为几何注意力偏置；将所述几何注意力偏置作为偏移项叠加至交叉注意力原始相似度得分中，注入双向交叉注意力计算：

16、，

17、，

18、其中，为手到物的交叉注意力，为物到手的交叉注意力，q为查询矩阵，k为键矩阵，v为值矩阵，为交叉注意力操作。

19、在本发明的一个实施例中，所述形态感知门控子模块中，通过门控函数自适应地对交互特征进行通道级加权，门控函数的计算公式为：

20、，

21、其中，ln为层归一化操作，mlp为多层感知机，σ为sigmoid激活函数，为输出的取值范围为[0,1]的门控权重；特征更新公式为：

22、，

23、，

24、其中，⊙表示逐元素乘法，和分别为手部和物体的门控函数，残差连接保证梯度稳定传播。

25、在本发明的一个实施例中，步骤s4中，接触距离矩阵的预测包括：将经空间对齐交互模块处理后的交互特征与条件变分自编码器的潜在变量进行特征融合，所述潜在变量从标准正态分布中采样；通过带有softmax激活函数的多层感知机进行逐点距离预测，输出非负的接触距离矩阵，其中矩阵中第i行第j列元素表示预测抓取姿态下机器人手部第i个三维采样点与物体表面第j个三维采样点之间的欧式空间距离。

26、在本发明的一个实施例中，训练阶段的总损失函数包括距离损失、逐连杆位姿损失、穿透惩罚损失和kl散度正则项，其中距离损失的计算公式为：

27、，

28、其中，为预测的接触距离矩阵元素，为真实的接触距离矩阵元素，m为手部采样点数量，n为物体采样点数量；

29、总损失为：

30、，

31、其中，为距离损失，为逐连杆位姿损失，为穿透惩罚损失，为kl散度正则项。

32、在本发明的一个实施例中，步骤s5中，抓取构型的恢复包括：基于接触距离矩阵，通过多边测量方法恢复抓取状态下手部各采样点的三维坐标位置；根据所述各采样点的三维坐标位置确定手部各连杆的目标位姿；以手腕 6 自由度与各手指关节角共同构成的状态量为待求量，以所述目标位姿为约束求解手部运动学，得到手腕 6d 位姿和各关节角度，输出抓取构型，其中

r为旋转矩阵，

t为平移向量，

θ为关节角度向量。

33、在本发明的一个实施例中，所述机器人手点云的获取包括：离线预处理阶段，导入目标灵巧手urdf模型，剔除与接触无关的冗余连杆后，对每根机械连杆网格表面均匀采样，并对全手点云执行最远点采样以将总点数固定为设定值，固定全部采样点的索引顺序，分连杆存储各连杆局部基准点云；在线推理阶段，给定手掌接近张开状态（各手指关节角取关节下限与关节上限的加权值）且腕部姿态可随机采样或由用户指定的初始关节构型，调用点云正向运动学模型，依据关节角度将各连杆局部基准点变换至世界坐标系，并对所得点云做零均值归一化，生成维度固定、点索引一一匹配的初始机器人手点云。

34、另一方面，提供了一种基于空间几何对齐的跨形态灵巧抓取系统，包括特征提取模块、交互深度确定模块、空间对齐交互模块、距离矩阵预测模块和抓取构型恢复模块，用于实现上述基于空间几何对齐的跨形态灵巧抓取方法。

35、上述技术方案中的一个技术方案具有如下优点或有益效果：

36、（1）因为采用在注意力计算中显式编码局部三维空间位移向量的技术手段，所以克服了全局特征匹配方法中手-物空间对齐精度不足的技术问题，进而达到了精确的局部几何对齐、有效避免接触区域错位和手指穿透的技术效果。具体而言，几何注意力偏置b直接修正并主导注意力权重分配逻辑，抑制仅依靠特征内积q·k的相似度对匹配结果的主导作用，将三维空间几何距离作为匹配判定依据，使注意力关注物理上邻近且几何一致的接触区域，同时抑制距离较远或几何不匹配的区域之间的注意力响应。

37、（2）因为采用在特征交互阶段而非后处理阶段融入几何约束的技术手段，所以克服了接触引导方法中前端特征学习缺失几何感知、需迭代优化导致效率低的技术问题，进而达到了在推理速度上优于需要迭代优化的接触引导方法、降低后处理计算成本的技术效果，同时使模型学习了更精确的局部接触关系表示。

38、（3）因为采用根据预先建立的手部类型与交互层数的映射关系确定交互深度的技术手段，所以克服了固定深度交互网络无法适应不同复杂度手部差异化需求的技术问题，进而达到了网络深度与机器人手的运动学复杂度相匹配、简化低自由度手计算开销并为高自由度手提供足够交互建模深度、兼顾计算效率和建模精度的技术效果。实验验证表明，低自由度barrett hand在时取得最高成功率92.7%，高自由度shadow hand在时成功率从53.3%提升至91.0%，中自由度allegro hand在时达到最优96.1%。

39、（4）因为采用形态感知门控模块对每层交互特征进行通道级自适应加权的技术手段，所以克服了不同手型之间特征分布偏移导致跨手迁移性能下降的技术问题，进而达到了改善跨形态抓取生成的稳定性和泛化性能的技术效果。在零样本跨手迁移实验中，仅在allegro hand数据上训练的模型直接迁移到未见的barrett hand（成功率90.17%）和shadow hand（成功率85.67%），在50%部分遮挡条件下平均成功率仅下降2.37%，在三种不同自由度机器人手上平均成功率达到91.6%。

40、（5）上述技术方案中，三维空间位移编码、自适应交互深度机制和形态感知门控三个技术手段形成了深度协同的技术整体。具体而言：三维空间位移编码为注意力计算提供了几何感知能力，但不同手部对几何感知的深度需求不同；自适应交互深度机制根据手部复杂度动态调整交互层数，使三维空间位移编码的几何感知能力在不同手部上得到最优发挥；形态感知门控则在每层交互后统一不同手型的特征分布，使三维空间位移编码的几何信号在多层迭代中不被特征分布偏移所稀释。三者协同使得上述技术方案在跨形态抓取任务中取得了预料不到的技术效果：在三种不同自由度机器人手上平均成功率达到91.6%，超过现有方法cedex（88.7%）和d（r, o）-grasp（87.5%），且在零样本跨手迁移和部分遮挡条件下均表现出优异的鲁棒性，这是任何单一技术手段或两两组合都无法达到的效果。