一种基于长短时图卷积网络局部强化注意力加权的动作识别及动作快慢识别方法

一种基于长短时图卷积网络局部强化注意力加权的动作识别及动作快慢识别方法
一、技术领域
1.动作识别、图卷积神经网络、计算机视觉、人工智能
二、

背景技术：

2.2.1通用技术方法介绍
3.单目人体2d骨骼关键点估计方法是利用单张图片或同一视角下的多帧图片对人体的肩、肘、腕、髋、膝、踝等关节等关键部位生成二维坐标的方法。
4.卷积神经网络是利用卷积核在图片或特征上滑动提取特征的方法，是广泛采用的技术。
5.图卷积神经网络是一种能对图数据进行深度学习的方法。
6.回归模型公式为y＝ax b，利用特征x和标签y之间的结果计算系数a和b。
7.注意力模型也成注意力机制模型，是对已有特征进行强化或弱化的过程，从而从所有特征中区分有效特征与无效特征。
8.2.2相似方法介绍
9.结合卷积神经网络、注意力机制的动作识别方法已有很多。例如专利cn107609460a。其用卷积神经网络选取特征，用注意力机制选取有效特征，并根据特征选择不同时间窗口进行动作的识别。本申请与其区别至少在如下方面：(1)本申请先进行时间窗口的选择，后进行特征生成；(2)本申请利用了人体骨骼关键点和图卷积神经网络提取关键点区域特征；(3)本申请有长短时融合特征；(4)本申请对动作速度也进行了输出。
10.专利cn105930767b则直接利用人体骨骼关键点生成特征，利用生成特征计算与已有样本库中动作的距离，选取最相似动作作为评价动作。本方法与之最大区别在于动作的判定采用分类模型，而不是距离度量。
11.专利cn108830252b仅针对ucf101视频数据集的动作进行识别。
12.由于相关发明专利较多，无法一一列举。通常而言，本申请的专利的创新性在于融合了图卷积神经网络、自适应注意力机制、长短时特征融合技术，不仅给出动作的种类，而且输出动作的快慢。
三、

技术实现要素：

13.本申请在融合了创新技术和已有方法的基础上，本专利实现了一种基于长短时图卷积网络局部强化注意力加权的动作识别及动作快慢识别方法。本方法仅对单人视频有效。
14.首先选取包含某个动作的一段视频。该选取过程可以是人为选择，也可以采用成熟的智能方法，其技术不在本申请的讨论范围内。选取的视频包含人的具体动作，但是并不精确，可能包含无关动作的片段。仅针对这段视频，对每帧利用方法[1]提取二维的人体骨骼关键点，并根据每个关键点的坐标，利用图卷积神经网络提取每个关键点位置的相关特
zhao，dongliu，yadongmu，mingkuitan，xinggangwang，wenyuliu，binxiao：deephigh-resolutionrepresentationlearningforvisualrecognition.ieeetrans.patternanal.mach.intell.43(10)：3349-3364(2021)。


技术特征：
1.本发明专利提供了一种基于长短时图卷积网络局部强化注意力加权的动作识别及动作快慢识别方法。其特征在于如下步骤：(1)针对视频序列提取每帧图像的二维人体骨骼关键点；(2)基于不同时间尺度的多帧的二维人体骨骼关键点，利用图卷积模型进一步提取时域特征；(3)利用自适应的局部注意力模型，提取空间特征；(4)结合了时域和空间特征的深度网络经过进一步特征融合，能够识别出监控对象的动作种类以及动作快慢。

技术总结
本发明专利提供了一种基于长短时图卷积网络局部强化注意力加权的动作识别及动作快慢识别方法。其特征在于：(1)针对视频序列提取每帧图像的二维人体骨骼关键点；(2)基于不同时间尺度的多帧的二维人体骨骼关键点，利用图卷积模型进一步提取时域特征；(3)利用自适应的局部注意力模型，提取空间特征；(4)结合了时域和空间特征的深度网络经过进一步特征融合，能够识别出监控对象的动作种类以及动作快慢。能够识别出监控对象的动作种类以及动作快慢。


技术研发人员：周志雄 王秋睿
受保护的技术使用者：首都体育学院
技术研发日：2022.02.21
技术公布日：2022/5/20