一种手势分类方法、装置、电子设备、计算机可读存储介质及计算机程序产品与流程

本申请涉及人工智能技术，尤其涉及一种手势分类方法、装置、电子设备、计算机可读存储介质及计算机程序产品。

背景技术：

1、手势分类广泛应用于人机交互、人工智能示教等领域，其分类模型的快速构建能力及识别准确度对于交互系统的可用性至关重要。相关技术中，通常采用基于深度网络的特征提取与比对方式实现手势分类，然而，这种方式存在手势分类的准确度较低的问题。

技术实现思路

1、本申请实施例提供一种手势分类方法、装置、电子设备、计算机可读存储介质及计算机程序产品，能够提升手势分类的准确度。

2、本申请实施例的技术方案是这样实现的：

3、本申请实施例提供一种手势分类方法，所述方法包括：

4、对n个样本图像的手势区域进行特征提取，得到n个第一手势特征，以及对待识别图像的手势区域进行特征提取，得到第二手势特征，n为正整数；

5、将所述第二手势特征与n个所述第一手势特征分别进行融合，得到n个第一融合特征，并确定每个所述第一融合特征的m个特征分量，m为正整数；

6、计算每个所述特征分量分别与m个所述特征分量的第一关联度；

7、针对每个所述特征分量，基于m个所述特征分量对应的m个所述第一关联度，将m个所述特征分量进行加权聚合，得到对应的聚合分量，并将m个所述聚合分量进行融合，得到每个所述第一融合特征对应的第二融合特征；

8、计算每个所述第二融合特征分别与n个所述第二融合特征的第二关联度，并针对每个所述第二融合特征，基于n个所述第二关联度，将n个所述第二融合特征进行加权聚合，得到每个所述第二融合特征对应的第三融合特征；

9、基于n个所述第三融合特征，确定所述待识别图像与n个所述样本图像的n个相似度，并基于n个所述相似度，确定所述待识别图像的分类结果。

10、本申请实施例提供一种手势分类装置，包括：

11、特征提取模块，用于对n个样本图像的手势区域进行特征提取，得到n个第一手势特征，以及对待识别图像的手势区域进行特征提取，得到第二手势特征，n为正整数；

12、特征融合模块，用于将所述第二手势特征与n个所述第一手势特征分别进行融合，得到n个第一融合特征，并确定每个所述第一融合特征的m个特征分量，m为正整数；

13、第一注意力模块，用于计算每个所述特征分量分别与m个所述特征分量的第一关联度；针对每个所述特征分量，基于m个所述特征分量对应的m个所述第一关联度，将m个所述特征分量进行加权聚合，得到对应的聚合分量，并将m个所述聚合分量进行融合，得到每个所述第一融合特征对应的第二融合特征；

14、第二注意力模块，用于 计算每个所述第二融合特征分别与n个所述第二融合特征的第二关联度，并针对每个所述第二融合特征，基于n个所述第二关联度，将n个所述第二融合特征进行加权聚合，得到每个所述第二融合特征对应的第三融合特征；

15、结果确定模块，用于基于n个所述第三融合特征，确定所述待识别图像与n个所述样本图像的n个相似度，并基于n个所述相似度，确定所述待识别图像的分类结果。

16、本申请实施例提供一种电子设备，所述电子设备包括：

17、存储器，用于存储计算机可执行指令或者计算机程序；

18、处理器，用于执行所述存储器中存储的计算机可执行指令或者计算机程序时，实现本申请实施例提供的手势分类方法。

19、本申请实施例提供一种计算机可读存储介质，存储有计算机程序或计算机可执行指令，用于被处理器执行时实现本申请实施例提供的手势分类方法。

20、本申请实施例提供一种计算机程序产品，包括计算机程序或计算机可执行指令，所述计算机程序或计算机可执行指令被处理器执行时，实现本申请实施例提供的手势分类方法。

21、本申请实施例具有以下有益效果：在将第二手势特征与n个第一手势特征分别融合得到n个第一融合特征，并确定出每个第一融合特征的m个特征分量之后，通过计算这些特征分量之间的第一关联度，并以此为依据对m个特征分量进行加权聚合，能够依据各个特征分量内部的相互依赖强弱进行局部特征的动态整合，从而精准捕捉并强化了手势局部的细节关联，以得到具备精细的局部关联的第二融合特征；之后，每个第二融合特征与n个第二融合特征的第二关联度，并利用该第二关联度对n个第二融合特征进行再次加权聚合，能够使得不同的第二融合特征之间能够相互参考与补充，充分提取多样本间的全局交互息，从而得到兼具精细的局部的细节关联与丰富的全局交互的第三融合特征，使得特征表达更加准确全面，最后基于该第三融合特征去推导相似度并最终确定待识别图像的分类结果，就能够排除由于特征表达不准确所带来的比对误差，从而能够提高手势分类的准确度。

1.一种手势分类方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于n个所述相似度，确定所述待识别图像的分类结果，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于s个所述权重系数，以及s个所述有效样本图像的手势类别，确定所述待识别图像的所述分类结果，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于最高的s个所述相似度，针对s个所述有效样本图像分配权重系数，包括：

5.根据权利要求1至4任一项所述的方法，其特征在于，所述将所述第二手势特征与n个所述第一手势特征分别进行融合，得到n个第一融合特征，包括：

6.根据权利要求1所述的方法，其特征在于，所述确定每个所述第一融合特征的m个特征分量，包括：

7.根据权利要求1所述的方法，其特征在于，所述针对每个所述特征分量，基于m个所述特征分量对应的m个所述第一关联度，将m个所述特征分量进行加权聚合，得到对应的聚合分量，包括：

8.一种手势分类装置，其特征在于，所述装置包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机可读存储介质，存储有计算机可执行指令或者计算机程序，其特征在于，所述计算机可执行指令或者计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。

11.一种计算机程序产品，包括计算机可执行指令或计算机程序，其特征在于，所述计算机可执行指令或计算机程序被处理器执行时实现权利要求1至7任一项所述的方法。