动作识别与身份认证方法、装置、设备、介质及产品与流程

本申请涉及信号处理，特别是涉及一种动作识别与身份认证方法、装置、设备、介质及产品。

背景技术：

1、通过解码表面肌电信号识别用户运动意图，是假肢控制、人机交互及智能穿戴设备中的基础能力。现有深度学习识别系统通常以固定长度的滑动窗口作为输入，将多通道肌电时序映射为特征向量并分类为若干预定义手势。在这一过程中，每个窗口同时携带两类标注信息：一是手势类别标签，表示当前窗口对应何种手势或动作意图；二是用户标识，表示该窗口由哪一位受试者产生。

2、现有面向多通道时序信号的动作识别与使用者身份联合推理方法，大多采用双分支网络分别提取任务表征与身份表征，但缺少完备的信息解耦约束机制，使得任务表征与身份表征之间存在特征信息重叠。任务表征中混杂大量用户个体特征，身份表征内残留动作相关时序信息。该现象造成跨受试者场景下动作识别精度下降，同时在不同动作条件下身份认证结果易发生漂移，最终使得动作、身份两类推理结果准确度不足，难以满足新用户零标定动作识别、跨动作稳定身份认证的实际应用需求。

3、综上所述，现有的推理方法中，存在任务表征和身份表征存在重叠，导致推理结果不够准确的技术问题。

技术实现思路

1、本申请的目的是提供一种动作识别与身份认证方法、装置、设备、介质及产品，可以解决现有的推理方法中，存在任务表征和身份表征存在重叠，导致推理结果不够准确的技术问题。

2、为实现上述目的，本申请提供了如下方案：

3、第一方面，本申请提供了一种动作识别与身份认证方法，包括：

4、获取时序数据；

5、将时序数据输入至预构建的动作与身份推理模型，确定推理结果；

6、其中，推理结果包括动作推理结果和身份推理结果，动作与身份推理模型包括输入层、任务支路、身份支路、动作原型矩阵和身份原型矩阵，任务支路用于根据时序数据确定任务表征向量，身份支路用于根据时序数据确定身份表征向量，任务支路和身份支路并列执行，任务表征向量与动作原型矩阵中的动作原型向量进行内积匹配以确定动作推理结果，身份表征向量与身份原型矩阵中的身份原型向量进行内积匹配以确定身份推理结果。

7、可选地，动作与身份推理模型的预构建包括：获取样本数据，其中，样本数据包括正对样本和硬负样本；将样本数据并行输入至待训练任务支路和待训练身份支路，进行前向推理得到前向推理结果，其中，前向推理结果中包括多个特征对、训练用动作原型矩阵和训练用身份原型矩阵，每个特征对中包括任务表征和身份表征；根据前向推理结果，构建全局总损失函数，并以全局总损失函数最小化为目标执行反向传播，得到待校验模型；采用留一被试交叉验证和动作留出验证对待校验模型进行验证，确定动作与身份推理模型。

8、可选地，根据前向推理结果，构建全局总损失函数，具体包括：根据任务表征和训练用动作原型矩阵，构建任务支损失；根据身份表征和训练用身份原型矩阵，构建身份支损失；根据任务表征、训练用动作原型矩阵、身份表征和训练用身份原型矩阵，构建无解码器互斥约束损失；根据任务支损失、身份支损失和无解码器互斥约束损失，构建全局总损失函数。

9、可选地，任务支损失包括动作原型分类损失和统一原型对比损失，动作原型分类损失用于约束任务表征与对应动作原型匹配正确，统一原型对比损失用于拉近同动作异身份样本，推开同身份异动作样本。

10、可选地，身份支损失包括身份原型分类损失和可选身份原型拉近损失，其中，身份原型分类损失用于约束身份表征与对应身份原型匹配正确，可选身份原型拉近损失用于拉近同一身份不同动作下的身份表征至身份原型。

11、可选地，无解码器互斥约束损失包括以下至少之二：梯度反转对抗损失、统计独立损失和异支原型分类互斥损失，其中，梯度反转对抗损失用于使任务表征无法判别身份、身份表征无法判别动作，统计独立损失用于降低任务表征和身份表征的统计相关性，异支原型分类互斥损失用于最大化异支匹配熵并降低两路动作预测一致性。

12、可选地，采用留一被试交叉验证和动作留出验证对待校验模型进行验证，确定动作与身份推理模型包括：在当前折次内，使用留测身份数据运行留一被试交叉验证，得到待校验模型跨陌生身份的动作识别精度，并基于留出动作样本运行动作留出验证，得到身份可认证性指标、任务支路身份混叠指标和身份支路动作混叠指标；根据动作识别精度、身份可认证性指标、任务支路身份混叠指标和身份支路动作混叠指标，从待校验模型中确定出动作与身份推理模型。

13、可选地，任务支路包括任务编码器和任务投影层，身份支路包括身份编码器和身份投影层。

14、第二方面，本申请提供了一种动作识别与身份认证装置，包括：

15、获取模块，用于获取时序数据；推理模块，用于将时序数据输入至预构建的动作与身份推理模型，确定推理结果；其中，推理结果包括动作推理结果和身份推理结果，动作与身份推理模型包括输入层、任务支路、身份支路、动作原型矩阵和身份原型矩阵，任务支路用于根据时序数据确定任务表征向量，身份支路用于根据时序数据确定身份表征向量，任务支路和身份支路并列执行，任务表征向量与动作原型矩阵中的原型向量进行内积匹配以确定动作推理结果，身份表征向量与身份原型矩阵中的原型向量进行内积匹配以确定身份推理结果。

16、第三方面，本申请提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述中任一项所述的动作识别与身份认证方法的步骤。

17、第四方面，本申请提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述中任一项所述的动作识别与身份认证方法的步骤。

18、第五方面，本申请提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述中任一项所述的动作识别与身份认证方法的步骤。

19、根据本申请提供的具体实施例，本申请公开了以下技术效果：

20、本申请提供了一种动作识别与身份认证方法、装置、设备、介质及产品，方法采用并行设置的任务支路与身份支路，分别依据时序数据独立提取任务表征向量与身份表征向量，任务表征向量与动作原型矩阵内积匹配得到动作推理结果，身份表征向量与身份原型矩阵内积匹配得到身份推理结果。两条支路形成相互独立的特征提取链路，针对性挖掘动作特征与个体特征，区分两类特征的建模路径，缓解任务表征和身份表征信息重叠的缺陷，降低不同类别特征相互干扰带来的负面影响，有效提高动作、身份两类推理结果的准确度。进而解决了现有的推理方法中，存在任务表征和身份表征存在重叠，导致推理结果不够准确的技术问题。

1.一种动作识别与身份认证方法，其特征在于，所述动作识别与身份认证方法包括：

2.根据权利要求1所述的动作识别与身份认证方法，其特征在于，所述动作与身份推理模型的预构建包括：

3.根据权利要求2所述的动作识别与身份认证方法，其特征在于，所述根据所述前向推理结果，构建全局总损失函数，具体包括：

4.根据权利要求3所述的动作识别与身份认证方法，其特征在于，所述任务支损失包括动作原型分类损失和统一原型对比损失，所述动作原型分类损失用于约束所述任务表征与对应动作原型匹配正确，所述统一原型对比损失用于拉近同动作异身份样本，推开同身份异动作样本。

5.根据权利要求3所述的动作识别与身份认证方法，其特征在于，所述身份支损失包括身份原型分类损失和可选身份原型拉近损失，其中，所述身份原型分类损失用于约束所述身份表征与对应身份原型匹配正确，所述可选身份原型拉近损失用于拉近同一身份不同动作下的身份表征至身份原型。

6.根据权利要求3所述的动作识别与身份认证方法，其特征在于，所述无解码器互斥约束损失包括以下至少之二：梯度反转对抗损失、统计独立损失和异支原型分类互斥损失，其中，所述梯度反转对抗损失用于使任务表征无法判别身份、身份表征无法判别动作，所述统计独立损失用于降低任务表征和身份表征的统计相关性，所述异支原型分类互斥损失用于最大化异支匹配熵并降低两路动作预测一致性。

7.根据权利要求2所述的动作识别与身份认证方法，其特征在于，所述采用留一被试交叉验证和动作留出验证对所述待校验模型进行验证，确定所述动作与身份推理模型包括：

8.根据权利要求1所述的动作识别与身份认证方法，其特征在于，所述任务支路包括任务编码器和任务投影层，所述身份支路包括身份编码器和身份投影层。

9.一种动作识别与身份认证装置，其特征在于，所述动作识别与身份认证装置包括：

10.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-8中任一项所述的动作识别与身份认证方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的动作识别与身份认证方法的步骤。

12.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-8中任一项所述的动作识别与身份认证方法的步骤。