一种基于多源几何表征与解耦时序解码的手部状态标注方法及系统

本发明涉及计算计视觉领域，尤其是涉及一种基于多源几何表征与解耦时序解码的手部状态标注方法及系统。

背景技术：

1、在具身智能和机器人灵巧操作任务中，模型训练不仅需要图像或视频级观测，还需要精确的手部关节姿态、手腕位姿、手型尺度和手物交互几何关系。第一人称视频能够提供大规模人类操作先验，但其核心数据形式主要是视频和动作语义，不直接提供高精度、统一尺度的三维手部状态第一人称人类视频对机器人模仿学习和视觉-语言-动作模型具有价值，但若缺少稳定的三维手部监督，下游策略仍难以学习精细接触和高自由度手指动作。mano参数化手模型为手部姿态、形状和网格顶点提供了紧凑表示。但是，现有网络往往没有充分区分图像外观、三维点云、主体手型先验和近距离手部观测在不同预测目标中的作用，也缺少面向姿态与位移分工的神经网络解码机制。

2、现有技术主要包括三类模型。第一类是单视角图像到手部网格的transformer或卷积网络模型，利用视觉编码器提取图像特征，再回归mano参数或网格顶点。第二类是视频时序模型，在逐帧视觉特征上加入循环网络、时序卷积或transformer，以提升手部轨迹连续性。第三类是多视角或点云辅助模型，通过多个视角的图像特征或点云特征增强三维定位能力。上述方案虽能提高部分场景下的三维重建精度，但常把不同来源的特征简单拼接或平均融合，没有针对手部姿态和手腕位移建立差异化解码路径。

3、现有技术存在以下缺点：

4、特征融合不充分：现有模型常将多视角图像、点云和手型先验直接拼接，缺少相机几何感知和跨源对齐机制，导致不同来源特征之间存在空间语义错配。

5、姿态与位移预测耦合：手指关节姿态和手腕全局平移的物理含义不同，若使用同一解码器统一回归，容易出现局部关节准确但全局位置漂移，或全局位置稳定但手指细节错误的问题。

6、主体手型尺度利用不足：不同人的手型差异会影响网格顶点和关节位置，若网络不显式注入主体手型先验，容易把手型差异错误解释为姿态变化。

7、遮挡场景时序一致性不足：单帧模型在手物接触和自遮挡时容易预测跳变，普通时序平滑又可能损失细粒度动作变化，难以同时保持稳定性和灵巧动作细节。

8、训练监督目标单一：仅使用关键点或网格顶点回归损失，难以约束预测手网格与可观测三维几何之间的一致性，也难以同时优化局部姿态、全局平移和时序轨迹。

技术实现思路

1、本发明的目的是为了解决现有技术中特征融合不充分、姿态与位移预测耦合及遮挡场景时序一致性不足等问题，提供一种基于多源几何表征与解耦时序解码的手部状态标注方法及系统。

2、本发明的目的可以通过以下技术方案来实现：

3、作为本发明的第一方面，提供一种基于多源几何表征与解耦时序解码的手部状态标注方法，步骤包括：

4、获取手部的多源观测数据，并对多源观测数据进行编码得到多源表征，包括相机感知图像表征、三维几何表征和手型先验表征；

5、将多源表征与时间位置编码拼接后映射到统一特征空间；引入源类型嵌入与视角位置嵌入，采用跨源注意力模块进行跨源表征融合，得到多源上下文表征；

6、将多源上下文表征输入并行的姿态解码器与手腕位移解码器，分别预测每一帧的手部关节旋转参数以及手腕全局位移；

7、将预测得到的手部关节旋转参数、手腕全局位移与主体手型先验输入参数化手部模型，生成对应帧的手部状态。

8、作为优选技术方案，所述多源观测数据包括：多视角手部图像、近距离手部图像、相机几何参数、深度图或点云几何以及主体手型先验。

9、作为优选技术方案，所述姿态解码器与位移解码器引入双向时序注意力，以当前帧及前后帧的多源上下文表征为输入，经过双向时序注意力计算之后输出联合表征。

10、作为优选技术方案，所述姿态解码器由多个姿态注意力解码块堆叠而成；

11、姿态解码器基于手部外观token、近距离观测token、局部点云token和手型先验token，输入包括基于手部外观与手型先验获取的平均形状与姿态以及从当前帧起连续三帧的手部姿态查询词元；

12、姿态注意力解码块首先对其输入参数进行自注意力计算，之后利用手部位移查询词元依次对三维几何token以及相机感知图像token进行交叉注意力计算；再通过一个前馈网络进行输出；

13、姿态解码器的输出通过一个姿态预测头，预测得到从当前帧起连续三个帧的手部关节旋转参数。

14、作为优选技术方案，所述手腕位移解码器由多个位移注意力解码块堆叠而成；

15、位移解码器基于三维点云token、相机几何token和联合表征，输入包括从当前帧起连续三帧的可学习手部位移查询词元；

16、位移注意力解码块首先在对其输入参数进行自注意力计算，之后利用手部位移查询词元对三维几何token进行交叉注意力计算；再通过一个前馈网络进行输出；

17、位移解码器的输出通过一个位移预测头，预测得到从当前帧起连续三个帧的手腕全局位移。

18、作为优选技术方案，所述姿态解码器与位移解码器引入双向时序注意力，对于连续帧输入，利用前后帧上下文恢复遮挡关节。

19、作为优选技术方案，所述方法在训练阶段采用监督信号构建组合式监督损失包括：关节旋转损失、手腕位移损失、手型先验损失、三维关键点损失、网格顶点损失、图像重投影损失、点云-网格一致性损失和时序平滑损失中的一种或多种。

20、作为本发明的第二方面，提供一种基于多源几何表征与解耦时序解码的手部状态标注系统，所述系统执行如上所述手部状态标注方法，包括：

21、数据获取模块，用于获取手部的多源观测数据；

22、相机感知图像表征构建模块，通过图像编码器对多视角手部图像以及近距离手部图像提取图像 token；将相机几何参数编码为相机几何 token；对图像 token与相机几何token进行融合，得到相机感知图像 token；

23、三维几何表征构建模块，对于深度图或点云几何输入，将可见手部区域反投影或映射为三维点集合，并通过点云编码器提取三维几何token；

24、主体手型先验表征构建模块，针对不同个体或不同手型，将预估或给定的手型参数映射为手型先验token，或将平均姿态下的参数化手网格顶点编码为手型先验token；

25、融合模块，采用跨源注意力，结合源类型嵌入、时间位置嵌入和视角位置嵌入，对多源表征进行跨源表征融合，得到多源上下文表征；

26、解码模块，包括姿态与位移解耦的双分支时序解码器，分别基于多源上下文表征预测每一帧的手部关节旋转参数以及手腕全局位移；

27、手部状态标注模块，将手部关节旋转参数、手腕全局位移与主体手型先验输入参数化手部模型，生成对应帧的手部状态，并将连续帧的手部状态组合为手部状态序列。

28、与现有技术相比，本发明具有以下有益效果：

29、1）本发明通过将多视角图像、近距离手部观测、三维几何信息和主体手型先验统一编码为可融合的多源表征，使神经网络不再仅依赖单一图像外观进行手部状态回归。相机几何编码和跨源注意力融合机制能够增强不同视角、不同模态之间的空间对齐能力，在手物接触、自遮挡、局部快速运动等复杂场景下，仍能保持较好的三维尺度一致性和几何稳定性。

30、2）本发明进一步将手部关节姿态预测与手腕全局位移预测设计为解耦的双分支时序解码结构，使局部手指姿态恢复和整体空间定位分别利用更合适的信息来源。姿态分支重点利用图像外观、近距离观测和主体手型先验恢复细粒度关节变化，位移分支重点利用点云几何和相机几何恢复手腕空间位置，从而降低局部姿态与全局位移相互干扰的问题，并减少因个体手型差异导致的姿态误判和网格误差。

31、3）本发明还通过双向时序注意力和组合式训练目标，在连续帧范围内联合约束关节旋转、手腕位移、三维关键点、手部网格、图像重投影、点云几何一致性和时序平滑性，使输出的参数化手部状态在参数空间、图像空间和三维几何空间中保持一致。由此得到的手部状态序列更适合用于高质量数据标注、手物交互理解以及机器人灵巧操作策略学习等下游任务。