骨骼动作识别方法、装置、电子设备及存储介质与流程

技术特征：
1.一种骨骼动作识别方法，其特征在于，包括：基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数，所述分区为所述动作识别模型中多个骨骼点构成的集合；基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系；基于所述目标连接关系对人体动作进行识别。2.根据权利要求1所述的方法，其特征在于，在所述基于视频序列的骨骼点数据和时序边生成时空图之前，所述方法还包括：从所述视频序列中获取帧数据，在与所述帧数据对应的帧图像上获取所述骨骼点数据，所述骨骼点数据包括每个骨骼点的坐标数据；基于人体的自然骨架连接关系构造空间图，连接两帧所述空间图中的相同骨骼点以构成所述时序边。3.根据权利要求1所述的方法，其特征在于，所述动作识别模型的网络结构包括批量归一化层、多个自适应图卷积网络层、多个时间一维卷积和全连接层；多个所述自适应图卷积网络层分别和多个所述时间一维卷积一一级联以构成多个网络层，所述批量归一化层、多个所述网络层和所述全连接层依次连接；所述批量归一化层用于对所述时空图进行归一化处理；所述多个自适应图卷积网络层和多个时间一维卷积用于提取归一化后数据的动作特征；所述全连接层用于对所述动作特征进行识别。4.根据权利要求3所述的方法，其特征在于，所述多个网络层包括第一网络层和第二网络层，所述第一网络层位于l1层，所述第二网络层为l1层之后的网络层，在所述第二网络层中，所述适应图卷积网络层与所述时间一维卷积残差连接。5.根据权利要求1所述的方法，其特征在于，在所述基于视频序列的骨骼点数据和时序边生成时空图之前，所述方法还包括：基于随机梯度下降对动作数据集进行预处理，并设置初始学习率和权重衰减率；基于跨目标划分方式和跨视角划分方式将所述动作数据集划分为训练集和验证集，所述跨目标划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集和所述验证集中的人物不同，所述跨视角划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集中包含多个由第一摄像头和第二摄像头拍摄的视频，在所述验证集中包含多个由第三摄像头拍摄的视频；基于所述初始学习率、所述权重衰减率、所述训练集和所述验证集对初始动作识别模型进行训练，以得到所述动作识别模型。6.根据权利要求1所述的方法，其特征在于，在所述基于所述目标连接关系对人体动作进行识别之后，所述方法还包括：将模型的识别结果传入分类器中，对人体动作进行行为分类；基于所述行为分类的结果为所述视频序列生成概率标签，并以所述概率标签中概率最
高的动作类别作为最终识别结果。7.一种骨骼动作识别装置，其特征在于，包括：分区确定模块，用于基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数，所述分区为所述动作识别模型中多个骨骼点构成的集合；连接关系生成模块，用于基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系；识别模块，用于基于所述目标连接关系对人体动作进行识别。8.根据权利要求7所述的装置，其特征在于，所述装置还包括：预处理模块，用于基于随机梯度下降对动作数据集进行预处理，并设置初始学习率和权重衰减率；数据集划分模块，用于基于跨目标划分方式和跨视角划分方式将所述动作数据集划分为训练集和验证集，所述跨目标划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集和所述验证集中的人物不同，所述跨视角划分方式为将数据集划分为所述训练集和所述验证集，在所述训练集中包含多个由第一摄像头和第二摄像头拍摄的视频，在所述验证集中包含多个由第三摄像头拍摄的视频；训练模块，用于基于所述初始学习率、所述权重衰减率、所述训练集和所述验证集对初始动作识别模型进行训练，以得到所述动作识别模型。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-6中任一项所述方法中的步骤。10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-6任一项所述方法中的步骤。

技术总结
本申请提供一种骨骼动作识别方法、装置、电子设备及存储介质，涉及动作识别技术领域，该方法包括：基于视频序列的骨骼点数据和时序边生成时空图，并将所述时空图传入构建的动作识别模型中，以迭代的方式配置多个分区个数对所述时空图进行识别，以识别准确率最高的分区个数作为目标配置分区个数；基于所述目标配置分区个数生成骨骼点的目标连接关系以替代所述动作识别模型中基于邻接矩阵表示的预定义连接关系；基于所述目标连接关系对人体动作进行识别。能够解决目前骨骼动作识别精度低的问题。题。题。


技术研发人员：陈恩庆 吕梦柯 辛华磊 高猛 马龙 丁英强 吕小永 郭新 张娟 井中纪 张文亚 张建林
受保护的技术使用者：河南信通智能物联有限公司
技术研发日：2021.10.18
技术公布日：2022/1/21