基于门控残差与资源自适应深度的骨骼动作识别方法

本发明属计算机视觉与模式识别，具体涉及基于门控残差与资源自适应深度的骨骼动作识别方法。

背景技术：

1、现有的骨骼动作识别方法中，采用通用的特征编码网络对骨骼序列进行特征提取，并结合自监督对比学习的方式，利用未标注数据学习具有判别性的特征表示，再通过少量有标注数据训练下游分类器完成动作识别，从而降低对大规模标注数据的依赖。然而，为了获得较高的特征表达能力和识别精度，此类编码网络通常需要采用较大的网络深度。随着网络层数的增加，深层神经网络在训练过程中容易出现梯度传播效率降低、深层特征退化的问题；若编码网络不引入合适的信息传递机制，其训练稳定性和最终可达到的表达能力将受到明显限制，同时识别准确率会出现不可预测的下降。

2、与此同时，现有技术中的编码网络在完成训练后，其网络深度和结构即被完全固定。在实际部署中，同一功能的模型往往需要被分别部署到计算能力差异悬殊的多种硬件环境中（例如云端服务器、边缘计算网关、低功耗嵌入式设备等），若针对每一种硬件单独设计和训练相匹配规模的子网络，将导致极高的研发与维护成本；若直接使用统一的固定深度模型，则在资源受限设备上因算力不足无法满足实时性要求，在高端设备上又因未充分利用算力而无法达到最优精度。此外，即便在同一硬件上，系统的可用算力也会随剩余电量、后台负载、散热状态等因素动态变化，现有固定深度模型完全无法根据当前资源状态进行灵活调整，严重制约了此类方法在真实复杂部署场景中的实用化进程。

3、因此，亟需一种能够解决深层编码网络训练稳定性问题，同时又能根据实际部署环境的资源约束条件自动确定最优网络运行规模的技术方案。即，在保证浅层配置下识别精度可控、不出现断崖式跌落的前提下，实现同一套训练完成的模型在异构硬件平台上的灵活、自适应部署。

技术实现思路

1、本发明的目的是提供基于门控残差与资源自适应深度的骨骼动作识别方法，解决现有技术中存在的深层训练稳定性不足、识别精度低的问题。

2、本发明所采用的技术方案是，基于门控残差与资源自适应深度的骨骼动作识别方法，具体按照以下步骤进行实施：

3、步骤1，构建基于门控残差多层感知机模块的编码器网络结构，获取训练样本数据集进行训练，更新编码器参数和投影头参数；

4、步骤2，构建深度-精度-资源关系表；

5、步骤3，接收待识别的骨骼序列样本，通过步骤2深度-精度-资源关系表进行查询，通过自适应深度推理输出识别结果。

6、本发明的特点还在于，

7、步骤1具体为：

8、步骤1.1，构建编码器网络结构；编码器网络结构包括个门控残差多层感知机模块依次级联，候选深度的取值范围为，还包括投影头网络；

9、步骤1.2，获取训练样本数据集，生成两种增强视图；

10、步骤1.3，输入投影，计算初始隐藏表征；

11、步骤1.4，按随机深度机制逐级遍历编码器网络结构的所有门控残差多层感知机模块，即至，对每个rmb模块进行随机深度采样，完成全部个模块的遍历后，得到最终隐藏表征；

12、步骤1.5，将最终表征输入投影头网络得到投影向量，计算对比损失；

13、步骤1.6，引入深度一致性损失；

14、步骤1.7，计算总损失，使用优化器，重复训练，更新编码器参数和投影头参数。

15、步骤2具体为：

16、步骤2.1，对于每一个候选深度，从步骤1训练完成的编码器参数中取输入投影层和前个rmb 模块的参数，构造候选子网络；

17、步骤2.2，计算候选子网络的识别准确率；

18、步骤2.3，调用资源测量接口，获得候选子网络在目标部署环境下的单次推理时延和浮点计算量，作为资源开销；

19、步骤2.4，采用步骤2.1-步骤2.3得到的参数，构建深度-精度-资源关系表。

20、步骤3具体为：

21、步骤3.1，获取当前资源约束参数；

22、步骤3.2，根据步骤2.4输出的关系表进行查询，筛选满足步骤3.1约束的候选深度集合；

23、步骤3.3，在非空的候选深度集合中，选取识别准确率最高的候选深度作为目标运行深度：

24、步骤3.4，获取待识别的骨骼序列样本，按选择最优运行深度进行自适应前向计算，输出动作识别结果。

25、步骤1具体为：

26、步骤1.1，构建编码器网络结构，编码器网络结构包括个门控残差多层感知机模块依次级联，候选深度的取值范围为，还包括投影头网络；

27、步骤1.2，获取训练样本数据集，生成两种增强视图；

28、获取训练样本数据集，训练数据集中的每一个原始骨骼序列样本，形状为，其中，表示骨骼序列采样帧数，表示人体关节点数量，表示单个关节点坐标维度，对每一个原始骨骼序列样本分别采用数据增强函数和，对应生成增强视图和增强视图；

29、步骤1.3，输入投影，计算初始隐藏表征；

30、每个增强视图的骨骼序列张量，展平为一维向量，输入编码器网络结构的输入投影层，计算初始隐藏表征；

31、（1）

32、其中，，d为编码器隐藏层维度；

win和

bin分别为输入投影层的权重矩阵与偏置向量；

33、步骤1.4，按随机深度机制逐级遍历编码器网络结构的所有rmb模块，即至，对每个rmb模块进行随机深度采样，完成全部个模块的遍历后，得到最终隐藏表征；

34、步骤1.5，将最终表征输入投影头网络得到投影向量，计算对比损失；

35、（10）

36、其中，为投影头网络，为投影向量；

37、对当前mini-batch内全部个增强视图（为原始样本数）定义余弦相似；

38、（11）

39、；

40、步骤1.6，引入深度一致性损失；

41、若超参数，则对同一增强视图前向计算，计算中所有重新采样，得到两个表征和，计算二者之间的余弦距离，作为深度一致性损失

ldepth，并对batch内所有样本取平均；

42、（12）；

43、步骤1.7，计算总损失，使用优化器，重复训练，更新编码器参数和投影头参数；

44、（13）

45、反向传播计算编码器梯度和投影头梯度，使用优化器，重复训练，直至达到预设的训练总轮数，输出训练完成，更新编码器参数和投影头参数。

46、步骤1.4具体为：

47、步骤1.4.1，对当前rmb模块的输入进行层归一化；

48、（2）

49、其中，表示第个rmb模块的层归一化运算；

50、步骤1.4.2，经第一线性层并应用 gelu 激活；

51、

52、，（3）

53、其中，为rmb模块内部线性层的扩展维度；为预设扩展比系数；

54、步骤1.4.3，对施加dropout；

55、（4）

56、步骤1.4.4，经第二线性层得到模块增量；

57、，（5）

58、步骤1.4.5，依据当前输入计算逐通道门控系数；

59、，（6）

60、其中，和分别表示第个rmb模块门控子网络线性层的权重矩阵与偏置向量；

61、步骤1.4.6，计算对应rmb模块在当前前向计算中被丢弃的概率；

62、（7）

63、其中：为预设的随机深度最大丢弃概率系数，超参数；

64、从伯努利分布中采样得到丢弃标记；

65、（8）

66、若，则对应rmb模块正常参与计算，当前输出为，其中：表示逐元素相乘运算；若，则对应rmb模块被丢弃，退化为恒等映射，输出；

67、（9）

68、在训练阶段，对每个rmb模块进行随机深度采样，完成全部个rmb模块的遍历后，得到最终隐藏表征。

69、步骤2具体为：

70、步骤2.1，对于每一个候选深度，从步骤1训练完成的编码器参数中取输入投影层和前个rmb 模块的参数，构造候选子网络；

71、步骤2.2，计算候选子网络的识别准确率；

72、构建带标签的验证数据集，使用候选子网络对带标签的验证数据集中的每个样本提取表征向量，在冻结表征上训练线性分类器，计算候选子网络在上的top-1识别准确率，记为；

73、步骤2.3，调用资源测量接口，获得候选子网络在目标部署环境下的单次推理时延和浮点计算量，作为资源开销；

74、步骤2.4，采用步骤2.1-步骤2.3得到的参数，构建深度-精度-资源关系表；

75、深度-精度-资源关系表包括四组元素，遍历全部后，按由小到大排序并输出。

76、步骤3具体为：

77、步骤3.1，获取当前资源约束参数；

78、当前部署环境给定的资源约束参数，其中为目标推理时延上限，为目标计算量上限；

79、步骤3.2，根据步2.4输出的关系表进行查询，筛选满足步骤3.1约束的候选深度集合；

80、候选深度集合；

81、若候选深度集合为空，即，则按预设的约束优先级顺序，依次放宽次要约束的限制条件，重新筛选候选深度集合；

82、若放宽全部次要约束后候选深度集合仍为空，则选取关系表中最小的候选深度作为退化解，在输出结果中附加提示标记；

83、步骤3.3，在非空的候选深度集合中，选取识别准确率最高的候选深度作为目标运行深度：

84、（14）；

85、步骤3.4，获取待识别的骨骼序列样本，按选择最优运行深度进行自适应前向计算，输出动作识别结果；

86、获取待识别的骨骼序列样本，将待识别的骨骼序列样本展平，按输入投影层得到初始隐藏表征，

87、（15）

88、遍历-的rmb模块，计算门控系数与模块增量，并进行门控残差连接，最终得到的表征；

89、（16）

90、不施加随机丢弃，恒为1，自起的后续rmb模块不参与前向计算，不产生任何算力开销；

91、将最终得到的表征输入训练好的下游分类器，得到预测类别：

92、（17）。

93、本发明的有益效果是，本发明基于门控残差与资源自适应深度的骨骼动作识别方法，提升整体效率和性能；在不同深度配置下，均能够保持训练稳定性和可控的识别精度，灵活适配多种异构部署环境，高精度实现面向实际部署环境资源约束的自动化、动态化网络规模决策。本发明的自适应深度机制使得同一套预训练模型无需针对每一款网关硬件单独裁剪，只需在部署时指定该硬件的资源约束参数即可自动匹配合适的运行深度，有效降低多硬件适配的开发与维护成本。