一种基于多模态传感的手部姿态估计方法与流程

摘要: 本发明属于图像视觉感知,具体来说,涉及一种基于多模态传感的手部姿态估计方法。背景技术:1、三维手部姿态估计是人机交互、增强现实、虚拟现实、具身智能、机器人遥操作...
一种基于多模态传感的手部姿态估计方法与流程

本发明属于图像视觉感知,具体来说,涉及一种基于多模态传感的手部姿态估计方法。

背景技术:

1、三维手部姿态估计是人机交互、增强现实、虚拟现实、具身智能、机器人遥操作和康复医疗等领域的重要基础技术。现有技术主要包括以下方案:

2、纯视觉方案,通常依赖 rgb 图像、深度图像或多视角图像,从二维图像中回归三维手部关节坐标。该方案在无遮挡、光照良好的场景下能够获得较好效果,但在以下情况下容易失效:手指之间发生自遮挡,手部被物体遮挡,快速运动造成运动模糊,手部区域过小或图像分辨率不足,光照变化导致视觉特征不稳定。在上述情况下,被遮挡关节的视觉信息缺失,导致姿态估计出现明显偏差。

3、纯肌电方案依赖前臂或手部肌电信号解码手部运动意图。肌电信号能够在视觉遮挡时提供运动意图信息,但存在以下问题:信号维度较低,难以单独恢复全部手指精细姿态,不同使用者之间肌肉结构和发力模式差异较大,传感器佩戴位置偏移会导致信号分布漂移,肌电信号易受噪声、皮肤接触状态、疲劳程度影响,通常需要针对新用户或新佩戴位置重新校准。

4、现有简单融合方案通常将视觉特征和肌电特征直接拼接后输入回归网络。该方案存在以下不足:视觉特征和肌电特征来自异构数据域,直接拼接缺乏语义对齐;融合策略通常是静态的,无法根据当前视觉质量动态调整;当视觉被遮挡时,视觉特征可能包含噪声,简单拼接网络难以主动抑制错误视觉信息;肌电信号的跨用户、跨佩戴差异仍然存在,缺乏自校准机制;从头端到端训练多模态网络时,不同模态容易相互干扰,收敛不稳定。

技术实现思路

1、针对现有手部姿态估计方法的视觉图像和肌电信号来源不同,直接拼接融合会导致信息利用效率低、特征语义不一致的问题,本发明提供了一种基于多模态传感的手部姿态估计方法。

2、为实现上述技术目的,本发明采用的技术方案如下:

3、一种基于多模态传感的手部姿态估计方法,包括步骤:

4、s1、获取时间同步的视觉模态数据和肌电模态数据;

5、s2、分别对视觉模态数据和肌电模态数据进行预处理;

6、s3、将预处理后的视觉模态数据输入视觉编码器,预处理后的肌电模态数据输入肌电编码器,分别提取得到视觉隐空间特征和关键点置信度,肌电隐空间特征;

7、s4、在训练过程中,通过隐空间对齐损失约束视觉特征和肌电特征;

8、s5、将视觉关键点置信度输入门控网络,生成融合门控向量;

9、s6、根据门控向量对视觉特征和肌电特征进行动态加权融合;

10、s7、将融合特征输入姿态解码网络,输出三维手部姿态。

11、本发明相比现有技术,具有如下有益效果:

12、抗遮挡能力增强,通过视觉置信度驱动的动态门控机制,系统在视觉遮挡区域自动提高肌电特征权重,使被遮挡手指仍可获得较准确的姿态估计。

13、模态融合效率提高,通过隐空间对齐,使视觉特征和肌电特征在融合前具有可比性,避免异构特征直接拼接造成的信息污染。

14、跨使用者泛化能力增强,通过自校准机制,系统能够利用视觉高置信度样本自动适配不同使用者或不同佩戴位置下的肌电信号分布。

15、训练稳定性提高,通过三阶段训练策略,将复杂的多模态联合优化问题分解为单模态学习、跨模态协作学习和端到端精调,降低训练难度并改善收敛效果。

1.一种基于多模态传感的手部姿态估计方法,其特征在于,包括步骤:

2.根据权利要求1所述的一种基于多模态传感的手部姿态估计方法,其特征在于,对视觉模态数据进行预处理,得到手部图像或手部区域图像;

3.根据权利要求2所述的一种基于多模态传感的手部姿态估计方法,其特征在于,视觉编码器提取得到视觉隐空间特征的详细步骤:

4.根据权利要求3所述的一种基于多模态传感的手部姿态估计方法,其特征在于,视觉编码器提取得到关键点置信度的详细步骤包括:

5.根据权利要求4所述的一种基于多模态传感的手部姿态估计方法,其特征在于,肌电编码器提取得到肌电隐空间特征的详细步骤:

6.根据权利要求5所述的一种基于多模态传感的手部姿态估计方法,其特征在于,门控向量中每个元素的值反映在该特征维度上对肌电信号的依赖程度,当视觉关键点置信度高时,门控向量趋向于依赖视觉特征;当视觉关键点被遮挡、置信度低时,门控向量自动增大肌电特征的权重。

7.根据权利要求6所述的一种基于多模态传感的手部姿态估计方法,其特征在于,门控向量对视觉特征和肌电特征进行动态加权融合的详细步骤:

8.根据权利要求1所述的一种基于多模态传感的手部姿态估计方法,其特征在于,还包括步骤s8、通过三阶段训练策略优化视觉编码器、肌电编码器、门控网络和姿态解码网络。

9.根据权利要求8所述的一种基于多模态传感的手部姿态估计方法,其特征在于,三阶段训练策略优化步骤包括:

10.根据权利要求1所述的一种基于多模态传感的手部姿态估计方法,其特征在于,还包括步骤s9、在新用户或新佩戴条件下,基于视觉高置信度片段对肌电编码器进行自校准。