基于2S-AGCN的图卷积动作识别方法、装置及设备与流程

技术特征：
1.一种基于2s
‑
agcn的图卷积动作识别方法，其特征在于，包括：构建样本集中每帧骨骼点对应人体的物理连接结构，并从所述物理连接结构中提取骨骼点信息和骨骼连接信息；利用所述骨骼点信息和所述骨骼连接信息的融合特征训练动作识别模型，所述动作识别模型是利用图卷积神经网络和时间卷积网络交替并集形成的，所述图卷积神经网络用于提取空间特征，所述时间卷积网络用于提取时间特征；若判定所述动作识别模型训练完成，则将目标样本中各帧的物理连接结构信息输入所述动作识别模型，获取动作识别结果。2.根据权利要求1所述的方法，其特征在于，所述构建样本集中每帧骨骼点对应人体的物理连接结构，并从所述物理连接结构中提取骨骼点信息和骨骼连接信息，包括：将样本集中样本的通道数、骨骼点数目、视频帧数分别用符号c、v、t表示，所述通道数c的初始值为3，分别为骨骼点的横坐标、纵坐标和坐标的置信度；根据预先定义的骨骼点数字索引，创建用于表示人体物理结构连接的数组，所述数组内的元素由两个存在连接关系的骨骼点组成，利用存在连接关系的骨骼点确定骨骼连接信息；利用符号g(k,e)将样本中人体骨骼点表示为无向的空间人体骨架图和时间人体骨架图，k表示第t帧图像的骨骼点集合，其中，k＝{k
ti
|t＝1,2,
…
t；i＝1,2,
…
v}；e表示骨骼点之间连接的边集合，有e
s
和e
t
两个子集，e
s
为第t帧骨骼点间具有连接关系的边集合，表示单个样本所有视频帧中的骨骼点连接，e
t
为第t帧与第t 1帧中同一个骨骼点之间的边集合，表示某个骨骼点随时间变化的轨迹；将所述空间人体骨架图中的骨骼点划分为表示人体物理结构的3个骨骼点集合，得到骨骼点信息。3.根据权利要求2所述的方法，其特征在于，所述将人体空间骨架图中的骨骼点划分为表示人体物理结构的3个骨骼点集合，得到骨骼点信息，包括：根据样本集中骨骼点的坐标计算人体重心坐标；根据所述人体重心坐标将人体空间骨架图中的骨骼点划分为骨骼点本身构建的第一骨骼点集合、与所述骨骼点具有连接关系且距离所述重心坐标小于或等于预设距离阈值的第二骨骼点集合、与所述骨骼点具有连接关系且距离所述重心坐标大于所述预设距离阈值的第三骨骼点集合。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：构建可以提取样本空间特征的图卷积神经网络层，将标准的二维卷积改进为图卷积；构建可以提取样本时间特征的时间卷积神经网络层，将标准的二维卷积改进为时间卷积；构建动作识别神经网络层，将所述图卷积神经网络层和所述时间卷积神经网络层嵌入其中；利用所述动作识别神经网络层生成9层的动作识别模型。5.根据权利要求4所述的方法，其特征在于，所述构建可以提取样本时间特征的时间卷积神经网络层，将标准的二维卷积改进为时间卷积，包括；将标准二维卷积需要的3个参数通道数、图像宽和图像高分别替换为参数c、t和v；
将所述图卷积神经网络层提取的特征分别输入4个1
×
1的第一卷积层，以提升特征图维度，使本层输出通道数目为时间卷积神经网络层最终输出通道数目的1/8；将所述第一卷积层的输出特征分别输入4个膨胀率分别为1、2、3、4的3
×
1的空洞卷积层，以利用不同感受野的空洞卷积提取不同尺度的时间特征，所述空洞卷积层前后的输入通道和输出通道数目相同，为所述时间卷积神经网络层最终输出通道数目的1/8；将4组所述时间特征进行两两拼接，以使输出的通道数目为所述时间卷积神经网络层最终输出通道数目的1/2；将两两拼接结果输入一个1
×
1的第二卷积层，以提升所述特征图维度，使输出的通道数目与所述时间卷积神经网络层最终输出通道数目相同；将所述第二卷积层的输出结果输入senet层用来提升所述时间卷积神经网络层的通道注意力；所述时间卷积神经网络层的输入和输出之间设置有步长为2的1
×
1第三卷积层，所述第三卷积层用于稳定训练。6.根据权利要求5所述的方法，其特征在于，所述利用所述骨骼点信息和所述骨骼连接信息的融合特征训练动作识别模型，包括：将所述骨骼点信息和所述骨骼连接信息利用加权平均的方法进行融合，得到融合特征；将所述融合特征依次输入动作识别模型中的全连接层和softmax层，获取动作类别预测结果，所述融合特征中携带有动作类别标注结果；若依据所述动作类别标注结果确定所述类别预测结果的准确度大于预设阈值，则判定所述动作识别模型训练完成。7.根据权利要求1所述的方法，其特征在于，所述若判定所述动作识别模型训练完成，则将目标样本中各帧的物理连接结构信息输入所述动作识别模型，获取动作识别结果，包括：若判定所述动作识别模型训练完成，则提取目标样本中每帧由骨骼点信息和骨骼信息融合构成的目标融合特征；将所述目标融合特征输入训练完成的动作识别模型中，获取各个预设动作类别对应的评定分值；将对应所述评定分值最高的预设动作类别确定为所述目标样本中每帧的动作识别结果。8.一种基于2s
‑
agcn的图卷积动作识别装置，其特征在于，包括：提取模块，用于构建样本集中每帧骨骼点对应人体的物理连接结构，并从所述物理连接结构中提取骨骼点信息和骨骼连接信息；训练模块，用于利用所述骨骼点信息和所述骨骼连接信息的融合特征训练动作识别模型，所述动作识别模型是利用图卷积神经网络和时间卷积网络交替并集形成的，所述图卷积神经网络用于提取空间特征，所述时间卷积网络用于提取时间特征；获取模块，用于若判定所述动作识别模型训练完成，则将目标样本中各帧的物理连接结构信息输入所述动作识别模型，获取动作识别结果。9.一种非易失性可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理
器执行时实现权利要求1至7中任一项所述的基于2s
‑
agcn的图卷积动作识别方法。10.一种计算机设备，包括非易失性可读存储介质、处理器及存储在非易失性可读存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至7中任一项所述的基于2s
‑
agcn的图卷积动作识别方法。

技术总结
本申请公开了一种基于2S


技术研发人员：颜云辉 王森 宋克臣 张劲风 王仁根
受保护的技术使用者：东北大学
技术研发日：2021.07.12
技术公布日：2021/11/14