基于边感知的多关系GCNs骨架动作识别方法

技术特征：
1.一种基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述多关系gcns骨架动作识别方法包括：获取人体骨架数据，通过普通摄像头或者深度摄像头获取运动过程中的人体骨架数据；构建双流网络，所述双流网络包括低阶流网络和高阶流网络，每一流均包括9个相同的多关系图卷积层和一个softmax分类函数，进行人体的动作识别；网络输入数据，对所述人体骨架数据进行变换，构建关节点图获取关节点-肢体运动数据输入所述低阶流网络，构建肢体图获取二阶肢体数据-三阶运动数据输入高阶流网络中；获取边的感知权重，在每一个所述多关系图卷积层中，首先采用动态边感知模块dep对所述关节点图和所述肢体图中边的特征进行感知运算，获取边的感知权重；提取运动特征，将上一卷积层输出的所述关节点图、所述肢体图的特征和对应所述边的感知权重分别输入到邻域范围为k-hops的图卷积函数中提取所述关节点图和所述肢体图中各个图结点的运动特征，采用不同hop描述运动过程中人体部位之间的不同交互关系，加权平均获得当前层不同关系下的所述图结点运动特征；获取动作识别结果，多次重复执行获取边的感知权重和提取运动特征，获得每一流的最终结点运动特征，将所述结点运动特征送入softmax分类函数中获得动作类别得分，为每一流赋权重，并按权重融合所述低阶流网络和所述高阶流网络的得分得到动作识别结果，权重通过实验获得，通常取相同值。2.根据权利要求1所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述获取人体骨架数据包括：采用深度摄像头直接获取人体骨架数据或者将所述普通摄像头获取的图片和视频通过姿态估计算法提取人体骨架数据，表示为每个关节点的三维或二维坐标；采用图g描述人体物理结构图，依据提取的所述人体骨架数据中所有的关节点，定义所述人体物理结构图为g＝(v,e,w)，其中，v为结点集，表示所有的关节点；e是边集合，表示相邻关节点之间的肢体；w是边的带权邻接矩阵，权值通过学习获得。3.根据权利要求2所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述姿态估计算法为openpose。4.根据权利要求2所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述构建双流网络包括低阶流网络和高阶流网络，所述低阶流网络和所述高阶流网络的结构相同，每一流均包括9个结构相同的多关系图卷积层和一个softmax分类函数，每个所述多关系图卷积层包含边感知模块dep和多关系图卷积模块两部分，其中，所述低阶流网络以关节点-肢体运动数据，所述高阶流网络以所述二阶肢体数据-三阶运动数据作为网络输入数据。5.根据权利要求4所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述网络输入数据包括：按照所述人体物理结构图，构建关节点图，根据所述关节点坐标计算二阶肢体运动数据，取每条边两端的关节点的向量差，以关节点-肢体运动数据作为低阶流的输入，输入所述低阶流网络中；按照所述人体物理结构图，构建肢体图，根据所述二阶肢体运动数据计算三阶运动数
据，以二阶肢体数据-三阶运动数据作为高阶流的输入，输入所述高阶流网络中。6.根据权利要求5所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述获取边的感知权重包括：构造动态边感知模块dep，定义任意一条边的特征感知函数为θ
ij
＝p(f
in
(e
ij
))；其中，f
in
(e
ij
)表示边e
ij
的输入特征；p表示边特征感知操作，采用卷积函数实现；i和j分别为边e
ij
两端结点的编号；将所述关节点图或所述肢体图中的每一条边的输入特征依次输入到所在所述低阶流网络或所述高阶流网络的当前所述多关系图卷积层的动态边感知模块dep中，获得对应边的感知权重。7.根据权利要求6所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述提取运动特征包括：将所述人体物理结构图g中的结点v
i
的邻域b(v
i
)扩大到k-hops，在k-hops范围内定义每个结点的结构化邻接子图sg
i
，sg
i
为图g的子图，定义v
i
为sg
i
的根结点，并在sg
i
中引入结点v
i
在所述人体物理结构图中的对称结点，将所述对称结点表示为0-hop；对任意结点v
i
，在所述多关系图卷积模块中，结点输出特征取该结点的邻接点特征的和，每个所述邻接点进行卷积运算时，取所述动态边感知模块dep的输出作为卷积计算的权重，动态边感知模块dep的输入为以结点v
i
和当前参与计算邻接点v
j
为端点的边，其中，f
in
(v
j
)为结点v
j
在当前卷积层的输入特征，f
out
(v
i
)表示结点v
i
在当前卷积层的输出特征，b(v
i
)表示节点v
i
在图g中的邻接点的集合，z
i
是归一化项，表示结点v
i
的邻接点的数量；采用bi-level邻接点特征聚合方式，根据所述邻接点特征的和获得根结点在当前层下的运动特征，其中，所述邻接点特征的和包括先按同hop邻域内intra-hop的结点进行特征聚合，再按不同hop邻域间inter-hop进行结点特征聚合。8.根据权利要求7所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述bi-level邻接点特征聚合包括：intra-hop聚合时，对结点v
i
的d-hops邻域，d∈{0,1,...,k}，取邻域内所有邻接点的聚合特征，其中，b
d
(v
ti
)表示结点v
i
的d-hops邻接点集合；是归一化项，表示这一邻域范围内邻接点的数量，k值根据实际需求确定；inter-hop聚合采用聚合函数对不同hop之间的特征进行进一步聚合，获得结点v
i
在当前层的输出其中，表示d-hops邻域特征的融合权重，采用注意力机制计算；σ是激活函数；其中，函数可以采用多种不同的运算符实现，如向量加操作add；向量点乘操作mult；corr操作*:具体计算方法为：n为特征维数，u为移位位数。
9.根据权利要求4所述的基于边感知的多关系gcns骨架动作识别方法，其特征在于，所述获取动作识别结果包括：多次重复获取边的感知权重和提取运动特征的步骤，获得所述双流网络中所述每一流的最终图结点运动特征输入softmax分类函数中获取动作类别得分；对所述双流网络中所述每一流的得分进行加权平均得出最后动作识别结果，通常低阶流网络和所述高阶流网络取相同权值。

技术总结
本发明提供了一种基于边感知的多关系GCNs骨架动作识别方法，包括：获取人体骨架数据；构建双流网络进行人体的动作识别；网络输入数据，对人体骨架数据进行变换，构建关节点图获取关节点-肢体运动数据，构建肢体图获取肢体-三阶运动数据输入双流网络中；采用动态边感知模块DEP对关节点图和肢体图中边的特征进行感知运算，获取边的感知权重；提取运动特征，通过邻域范围为k-hops的图卷积函数获取各个图结点的运动特征，加权平均获得当前层不同关系下的图结点运动特征；多次重复执行获取边的感知权重和提取运动特征，获得每一流的最终结点运动特征并获取动作识别结果。扩大了结点的感知范围，能够有效提高人体动作识别准确率。率。率。


技术研发人员：刘芳 石祥滨 毕静 张德园 刘翠微 张子阳
受保护的技术使用者：沈阳航空航天大学
技术研发日：2022.06.02
技术公布日：2022/8/1