基于可穿戴多传感器的动态手势识别方法

摘要: 本发明涉及行为特征识别,尤其涉及一种基于可穿戴多传感器的动态手势识别方法,可应用于智能家居控制、虚拟与增强现实(vr/ar)交互、康复训练评估以及协作机器人控制...
基于可穿戴多传感器的动态手势识别方法

本发明涉及行为特征识别,尤其涉及一种基于可穿戴多传感器的动态手势识别方法,可应用于智能家居控制、虚拟与增强现实(vr/ar)交互、康复训练评估以及协作机器人控制等场景。

背景技术:

1、手势识别方案主要分为基于视觉的非接触式方案与基于可穿戴传感器的接触式方案。视觉方案在光照变化、遮挡、复杂背景下性能明显下降,并存在隐私与功耗问题;接触式可穿戴方案通过柔性弯曲传感器、惯性测量单元(imu)、表面肌电(semg)等体表传感器采集运动学信号,对环境光不敏感、时延低、隐私性好,逐渐成为重要研究方向。

2、在深度学习推动下,卷积神经网络(cnn)、长短时记忆网络(lstm)及 cnn-lstm 等模型可从多通道传感信号中自动学习时序特征,取得了较高的识别精度。然而,这些模型本质上以欧氏方式处理多通道信号,将各传感通道视为相互独立或平铺拼接的输入维度,缺乏对传感节点之间拓扑关系与协同运动模式的显式建模机制。事实上,接触式传感节点之间存在强空间协同,例如相邻手指因指间腱联合与共享屈伸肌群而联动、掌部整体姿态对各手指弯曲存在全局调制,这些非欧氏的结构信息蕴含关键判别线索,却难以被 cnn 的局部卷积核或 lstm 的逐通道时序建模充分捕获。

3、此外,受佩戴者手部尺寸、发力习惯与传感器佩戴位置差异影响,不同用户之间存在显著个体差异,传统时序模型所学特征高度依赖训练用户的信号分布,在跨用户(训练用户与测试用户不重叠)条件下发生协变量偏移,对未知用户识别精度急剧下降。

技术实现思路

1、本发明提出一种基于可穿戴多传感器的动态手势识别方法,解决了现有机器学习模型缺乏对传感节点之间拓扑关系与协同运动模式的显式建模机制,难以充分捕获非欧氏结构信息蕴含的关键判别线索,导致识别精度低的问题。

2、本发明的技术方案是这样实现的:

3、本发明第一方面提供了一种基于可穿戴多传感器的动态手势识别方法,包括以下步骤:

4、步骤s1:获取可穿戴多传感器系统同步采集的多通道时序信号并进行预处理,得到统一规格的时空图张量;

5、步骤s2:将每个传感器作为一个图节点,将传感器系统建模为图结构,依据传感器之间的物理邻近关系和功能耦合关系构建先验邻接矩阵,并对先验邻接矩阵进行归一化处理,得到归一化邻接矩阵;

6、步骤s3:以归一化邻接矩阵作为图卷积的拓扑依据,对时空图张量进行图卷积运算,聚合各图节点与相邻图节点之间的协同特征,提取空间结构特征;

7、步骤s4:对空间结构特征沿图节点维度和时间维度进行聚合,得到固定长度的手势表示向量;

8、步骤s5:将手势表示向量输入分类层,输出各手势类别的得分,以得分最高的类别作为手势识别结果。

9、具体地,步骤s1中,所述预处理包括:

10、帧数统一化:以线性插值将各样本沿时间轴重采样至统一长度t,得到对齐的时序基准;

11、归一化:对各通道施加z-score标准化,消除量纲差异;

12、节点特征对齐:当不同图节点的特征维度不一致时,通过复制填充或线性映射将所有图节点统一到c维;

13、经预处理后每个样本组织为n×c×t的时空图张量,其中n为图节点总数,c为节点特征维度,t为统一后的时间步数。

14、具体地,步骤s2中,所述图结构g表示为:

15、g=(v, e, a);

16、其中,v为传感节点集合,每个传感器对应一个传感节点;e为边集合,每条边对应两个传感节点之间的连线;a为邻接矩阵,用于表征各传感节点之间的连接关系;

17、所述先验邻接矩阵的元素定义为:

18、;

19、其中,表示先验邻接矩阵中位于第行、第列的元素;

20、边的建立原则包括:在物理邻近或存在功能耦合的图节点之间建立局部耦合连接;将反映整体姿态的参考节点与各局部节点建立全局参考连接;为每个图节点建立自连接;

21、对先验邻接矩阵进行归一化处理的公式为:

22、;

23、其中,为归一化邻接矩阵;为度矩阵,为归一化前的先验邻接矩阵,为单位矩阵。

24、优选地,步骤s2中,在先验邻接矩阵的基础上叠加一个可学习的自适应扰动矩阵:

25、;

26、其中,为叠加自适应扰动矩阵后的自适应邻接矩阵;为自适应扰动矩阵,在所有用户与样本间全局共享,初始化为全零矩阵,参数量为,为图节点总数;

27、为约束扰动幅度,采用有界激活函数对进行压缩后再叠加:

28、;

29、其中,为双曲正切函数;

30、对执行归一化后替代用于后续图卷积运算。

31、具体地,步骤s3中,对时空图张量进行图卷积运算包括:

32、在每一时间步上,以归一化邻接矩阵左乘图节点特征矩阵,将每个图节点的特征更新为其自身特征与相邻图节点特征的加权和,实现传感节点间协同信息的传播;

33、再以可学习权重矩阵对聚合后的特征进行线性变换,改变特征通道维度,并施加非线性激活,得到该层图卷积的输出;

34、第层图卷积的运算表示为:

35、;

36、其中,为第层输入的节点特征,为归一化邻接矩阵,为第层的可学习权重矩阵,为非线性激活函数;为第层输出的节点特征,作为第层输入的节点特征。

37、具体地,步骤s4中,对空间结构特征沿图节点维度和时间维度进行聚合的方式为全局平均池化:

38、;

39、其中,为手势表示向量,为图节点总数,为时间步数,为图卷积输出的空间特征在节点、时间步的特征向量。

40、可选地,在图卷积输出的空间特征上,先沿时间轴施加一维卷积进行时间建模,所述一维卷积仅在时间维度上滑动、不改变图节点维度;一维卷积运算与图卷积运算交替堆叠,并配合残差连接构成时空块;再对时空块的输出沿图节点维度和时间维度进行全局平均池化,得到固定长度的手势表示向量。

41、具体地,步骤s5中,将手势表示向量输入全连接分类层,输出各手势类别得分:

42、;

43、其中,为分类层输出的各类别原始得分向量;为分类层的权重矩阵,为分类层的偏置项;

44、整个网络训练阶段采用交叉熵损失函数,对所有样本的损失求平均作为总损失:

45、;

46、其中,为批量样本总数,为第个样本类别标签的one-hot编码,为模型对第个样本预测为第类的概率,为总损失值。

47、本发明第二方面提供了一种电子设备,包括存储器和处理器,所述存储器内存储有可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述手势识别方法的步骤。

48、本发明第三方面提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现所述手势识别方法的步骤。

49、相较于现有技术,本发明的有益效果在于:

50、(1)本发明通过将可穿戴多传感器系统建模为图结构,以传感器为图节点、以物理邻近与功能耦合关系定义图边,并利用图卷积运算沿图拓扑聚合相邻节点的协同特征,实现了对传感节点间非欧氏空间协同关系的显式建模,克服了传统cnn、lstm等欧氏模型将各传感通道孤立处理而无法捕获拓扑判别信息的缺陷,显著提升了手势识别的精度和稳定性;

51、(2)本发明通过在先验邻接矩阵上叠加一个全局共享、零初始化、参数量仅为n×n的可学习自适应扰动矩阵,利用零初始化提供泛化良好的物理先验起点,极小参数量从根本上限制模型记忆用户特异性噪声的容量,全局共享的梯度对消机制迫使扰动仅保留对所有用户均有益的修正,在几乎不增加模型复杂度和推理开销的前提下,同时显著提升了跨用户场景下的泛化能力和一般场景下的识别精度,有效解决了传统方法在跨用户条件下识别精度急剧下降的问题。