基于差分关系与通道注意力的骨架手势识别方法

摘要: 本发明属于计算机视觉与模式识别,具体涉及一种基于差分关系与通道注意力的骨架手势识别方法。背景技术:1、随着智能机器人、无人装备、人机协同系统和智能终端交互技术的...
基于差分关系与通道注意力的骨架手势识别方法

本发明属于计算机视觉与模式识别,具体涉及一种基于差分关系与通道注意力的骨架手势识别方法。

背景技术:

1、随着智能机器人、无人装备、人机协同系统和智能终端交互技术的发展,手势作为一种自然、直观、低噪声且非接触式的交互方式,在机器人控制、无人系统指挥、应急救援和复杂环境感知等场景中具有重要应用价值。在强噪声、远距离、隐蔽通信或不便使用语音指令的场景下,基于视觉感知的动态手势能够在不依赖语音通信的情况下表达操作意图,因此对手势识别方法的准确性、鲁棒性和时空关系建模能力提出了更高要求。

2、现有手势识别方法通常可以利用 rgb 图像、深度图像或骨架序列作为输入。 rgb图像和深度图像能够保留较丰富的外观信息,但容易受到光照变化、背景干扰、遮挡和视角变化等因素影响。相比之下,骨架序列通过手部关键点坐标描述手部结构和运动轨迹,能够弱化背景纹理与光照噪声的影响,并以紧凑形式表达关节连接关系和动态变化规律,因此基于骨架序列的动态手势识别已成为手势识别和骨架动作理解中的重要技术路线。

3、图卷积网络能够将骨架关键点建模为图结构节点,将关节连接关系建模为图结构边,从而在空间维度上实现关节邻域特征聚合;结合时序卷积后,模型可以进一步学习骨架序列在时间维度上的动态变化。现有时空图卷积方法通常基于预定义骨架拓扑、可学习邻接矩阵或自适应邻接矩阵进行特征聚合。进一步地,时序解耦图卷积网络可通过通道解耦学习和时序解耦学习改善邻接矩阵建模能力,使不同通道或不同时间帧具有更灵活的关系表达。

4、然而,在动态手势识别任务中,不同类别手势往往具有较强的空间姿态相似性,其关键差异可能体现在相邻帧之间的运动方向、局部关节位移趋势、手指弯曲和伸展过程以及不同手指关节之间的协同变化。现有基于骨架图卷积的方法虽然能够利用骨架物理连接关系和帧级拓扑关系进行特征聚合,但对相邻帧之间的运动差分关系建模不足,难以直接刻画手部关节从静止到运动、从弯曲到伸展以及不同方向滑动等局部动态变化。同时,不同特征通道或不同通道组中所表达的关节关系并不完全一致,现有方法对通道分组条件下的关节注意力关系利用不足,容易限制模型对细粒度关节协同关系的表达。

5、综上所述,现有基于骨架图卷积的动态手势识别方法仍存在以下问题:一是对帧间运动变化的显式建模不足,导致快速、幅度较大或类别间姿态相似的动态手势容易发生类别混淆;二是对不同通道子空间中的关节关联关系利用不足,导致细粒度关节协同信息表达不充分;三是已有帧级拓扑、帧间运动关系和通道注意力关系缺乏统一融合机制,导致模型在复杂动态手势场景下的识别准确率和鲁棒性仍有提升空间。因此,需要一种能够在已有骨架图卷积网络基础上融合帧间差分关系和通道注意力关系的骨架手势识别方法。

技术实现思路

1、为了克服已有现有基于骨架图卷积的动态手势识别方法对帧间运动变化表达不足、对通道分组条件下的关节协同关系利用不充分,以及已有帧级拓扑、帧间运动关系和通道注意力关系之间缺乏统一融合机制,导致快速动态手势、幅度较大手势以及类别间姿态相似手势容易发生类别混淆,进而影响识别准确率和复杂场景下鲁棒性的不足,本发明提供了一种基于差分关系与通道注意力的骨架手势识别方法。该方法在已有骨架图卷积网络形成的帧级邻接矩阵基础上,引入用于表征相邻帧运动变化的差分关系单元和用于表征通道子空间关节关联的注意力关系单元,并将两类增强关系统一融入图卷积邻接矩阵中,使模型在保持原有骨架序列识别流程稳定的前提下,更充分地利用手部关节的运动趋势、局部变化和跨关节协同信息,从而提升动态手势识别的准确性和鲁棒性。

2、本发明解决其技术问题所采用的技术方案是:

3、一种基于差分关系与通道注意力的骨架手势识别方法,包括以下步骤:

4、步骤一、获取待识别动态手势的骨架序列,并将所述骨架序列表示为输入张量;

5、步骤二、基于所述骨架序列获得已有骨架图卷积网络中的第帧邻接矩阵,并将所述第帧邻接矩阵作为差分关系单元 dru 和注意力关系单元 aru 的共同增强对象;

6、步骤三、基于相邻时间帧之间的骨架特征差分,通过差分关系单元 dru 构建差分关系矩阵;

7、步骤四、基于通道分组后的骨架特征,通过注意力关系单元 aru 构建注意力关系矩阵;

8、步骤五、将所述第帧邻接矩阵、所述差分关系矩阵和所述注意力关系矩阵 进行融合,得到最终第帧增强邻接矩阵;

9、步骤六、将所述最终第帧增强邻接矩阵嵌入 tcn-gcn 单元,并基于图卷积特征提取、全局平均池化、全连接层和 softmax 得到手势分类结果。

10、本发明的有益效果主要表现在:本发明针对动态手势中局部关节变化快、类别间姿态相似、通道子空间关系差异明显等问题,在已有帧级邻接构建基础上进一步增加帧间差分关系和通道分组注意力关系。与单纯依赖固定骨架拓扑、可学习先验拓扑或已有帧级拓扑的方式相比,本发明能够在图卷积特征聚合阶段同时补充运动变化信息和细粒度关节关系信息,并且不改变骨架序列输入、主干堆叠结构和分类输出形式,便于嵌入现有骨架图卷积识别网络中,适用于动态手势识别、人机交互和机器人控制等需要连续骨架序列理解的场景。

1.一种基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述方法包括以下步骤:

2.如权利要求1所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤一中,所述输入张量为:

3.如权利要求1或2所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤二的过程为:

4.如权利要求1或2所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤三的过程为:

5.如权利要求1或2所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤四的过程为:

6.如权利要求1或2所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤五中,将所述第帧邻接矩、所述差分关系矩阵和所述注意力关系矩阵进行融合,得到最终第帧增强邻接矩阵:

7.如权利要求1或2所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤六的过程为:

8.如权利要求1或2所述的基于差分关系与通道注意力的骨架手势识别方法,其特征在于,所述步骤6.2中,对最后一个 tcn-gcn 单元输出的时空特征沿时间维度和关节点维度进行全局平均池化,得到池化特征;将池化特征输入全连接层,得到未归一化分类得分: