基于动态时序多维自适应图卷积网络的骨架行为识别方法

技术特征：
1.基于动态时序多维自适应图卷积网络的骨架行为识别方法，其包括以下步骤：s1：获取原始视频样本，对所述原始视频样本进行预处理，并获取所述原始视频样本中骨架信息数据；s2：将原始视频样本的骨架信息数据建模成骨架时空图；s3：基于获取的骨架信息数据，进行数据处理后，提取骨架行为特征数据，基于所述骨架行为特征数据获得多支流的训练数据，记作：多支流训练用特征数据；其特征在于，其还包括以下步骤：s4：基于自适应图卷积方法和动态卷积，构建动态时序多维自适应图卷积网络模型，作为骨架行为识别模型；所述骨架行为识别模型包括：骨架行为识别支流模型；s5：设置并调整所述骨架行为识别模型的超参数，使用所述多支流训练用特征数据，对所述骨架行为识别模型中的每一个所述骨架行为识别支流模型进行训练，获得训练好的所述骨架行为识别支流模型；s6：获取待识别视频数据，提取待识别视频数据组中的骨架信息数据，基于骨架信息数据提取待识别骨架时空图，将所述待识别骨架时空图并分别输入到每一个训练好的所述人体骨架行为识别支流模型中，将各支流模型的输出进行融合，得到最终的骨架行为识别结果；步骤s4中，构建动态时序多维自适应图卷积网络模型，包括以下步骤：s4-1：将所述骨架时空图中每一个节点的邻域进行子集划分，得到所述骨架时空图对应的骨架节点子集；所述骨架节点子集包括：节点自身子集、向心邻居节点子集、离心邻居节点子集；所述节点自身子集中包括节点自身；所述向心邻居节点子集中包括：靠近骨架重心的向心邻居节点；所述离心邻居节点子集中包括：远离骨架重心的离心邻居节点；s4-2：基于所述骨架时空图，构建多维度自适应图，所述多维度自适应图包括：空间自适应图、时间自适应图和通道自适应图；所述空间自适应图为基于所述骨架时空图提取的空间图；所述时间自适应图为基于所述骨架时空图提取的时间图经过维度变换后生成；所述通道自适应图为基于所述骨架时空图提取的通道图经过维度变换后生成；将所述多维度自适应图和初始邻接矩阵及掩码矩阵相结合得到多维自适应邻接矩阵，将所述多维自适应邻接矩阵进行图卷积，并与所述骨架节点子集一起构建空间图卷积层，记作：多维自适应图卷积模块；s4-3：基于所述骨架时空图，引入对二维卷积权重和偏置的注意力机制，构造9
×
1的动态时序卷积提取所述骨架时空图的时间特征，构建时序图卷积层，记作：动态时序卷积模块；s4-4：将所述多维自适应图卷积模块和所述动态时序卷积模块相结合，构建动态时序多维自适应图卷积块；所述动态时序多维自适应图卷积块包括：依次连接的多维自适应图卷积层、bn层、relu和动态时序卷积层；s4-5：构建所述骨架行为识别模型；
所述骨架行为识别模型包括：依次连接的bn层、10个动态时序多维自适应图卷积块、gap层和softmax层。2.根据权利要求1所述基于动态时序多维自适应图卷积网络的骨架行为识别方法，其特征在于：步骤s3中，所述多支流训练用特征数据包括：节点信息joint、骨骼信息bone、节点运动信息joint_motion、骨骼运动信息bone_motion。3.根据权利要求1所述基于动态时序多维自适应图卷积网络的骨架行为识别方法，其特征在于：步骤s3中，基于骨架信息数据，提取骨架行为特征数据，对所述骨架行为特征数据进行建模的方法，包括以下步骤：s3-1：以节点自身建模作为关节信息，假设t帧的节点信息joint表示为j
t
；s3-2：以靠近骨骼重心的节点为源节点以远离骨骼重心的节点为目标节点骨骼信息bone表示源节点指向目标节点的向量由于节点数比骨骼数多1，将中心节点设置为空骨骼即值为0；s3-3：节点运动信息和骨骼运动信息以各自相邻两帧之间的坐标差表示，因此节点运动信息joint_motion计算公式为骨骼运动信息bone_motion的计算公式为由于时间帧数比运动信息多1，将最后一帧的值设为0。4.根据权利要求1所述基于动态时序多维自适应图卷积网络的骨架行为识别方法，其特征在于：步骤s4-2中，构造多维自适应图卷积模块的步骤包括：s4201：定义节点、时间帧和通道为各自维度的维度节点，使用归一化的嵌入高斯函数来计算两个维度节点v
i
和v
j
的相似度f(v
i
,v
j
)：其中：n为维度节点的个数，θ(v
i
)、φ(v
j
)选用两个并行的1
×
1卷积运算，作为维度节点i和维度节点j的嵌入函数；s4202：结合softmax函数计算空间图s
k
、时间图t
k
、通道图c
k
，计算公式分别为：，计算公式分别为：，计算公式分别为：式中f
in
代表输入的骨架行为特征数据，w
θ
、w
φ
分别表示嵌入高斯函数θ和φ；其中空间图s
k
∈rv×v即空间自适应图，对时间图t
k
∈r
t
×
t
和通道图进行维度变换，生成时间自适应图和通道自适应图s4203：结合各维度自适应图和初始邻接矩阵生成多维自适应邻接矩阵，进行图卷积操作：
其中，分别为输入特征和多维自适应图卷积的输出，c
in
表示输入通道，c
out
表示输出通道；w
k
为卷积核函数，k
v
代表预定义的最大距离；a
k
是初始邻接矩阵，b
k
是一种增强数据掩码矩阵，s
k
、分别是通过非局部网络生成的空间自适应图、时间自适应图和通道自适应图。5.根据权利要求1所述基于动态时序多维自适应图卷积网络的骨架行为识别方法，其特征在于：步骤s4-3中，构造所述动态时序卷积模块的步骤包括：s4301：挤压阶段；通过全局平均池化将特征的维度压缩到通道所表示的维度；挤压过程表示为：式中，t代表帧数，v代表节点数，i和j表示时域中第i帧和空域第j个节点，x为输入的特征，z为通道挤压后的特征图；s4302：激励阶段；通过两次全连接计算后，经过softmax函数激活和温度系数得到权值，计算公式为：z＝w2δ(w1z)其中，δ代表relu激活函数，σ代表softmax激活函数，w1、w2分别表示两次全连接的权重参数，z表示通道挤压后的特征图，z表示第二层全连接的输出，τ表示温度系数；k表示参与聚合的卷积核个数，π
k
为第k个卷积核对应的注意力权值，z
k
为第k个卷积核在z中对应的值，z
j
为第j个卷积核在z中对应的值；s4303：根据se模块得到的权重和偏置的注意力，计算动态卷积核中的权重和偏置：03：根据se模块得到的权重和偏置的注意力，计算动态卷积核中的权重和偏置：式中，k为卷积核个数，w
k
为第k个卷积核的权重，π
k
为第k个卷积核的注意力权值，w为动态卷积核权重，b
k
为第k个卷积核的偏置，b为动态卷积核的偏置；s4304：构造9
×
1的动态卷积层对多维自适应图卷积层的输出进行卷积操作，计算公式为：y＝δ(wf
out
b)式中，y为动态卷积后的输出，f
out
为多维图卷积层的输出，δ为relu激活函数。6.根据权利要求1所述基于动态时序多维自适应图卷积网络的骨架行为识别方法，其特征在于：步骤s5中，基于多支流网络的训练方式，分别使用所述分支训练数据训练所述动态时序多维自适应图卷积网络模型时，采用随机梯度下降法作为优化策略，选择交叉熵函数作为梯度反向传播的损失函数。

技术总结
本申请提供一种基于动态时序多维自适应图卷积网络的骨架行为识别方法，通过非局部网络和维度变换模块，构建多维自适应图卷积模块，同时将动态卷积和时序卷积相结合，在时序卷积中引入SE注意力网络计算各卷积核权重和偏置的权值，构造动态时序卷积模块，将二者相结合并在多流网络下进行端到端的训练，构造动态时序多维自适应图卷积网络模型；本申中的动态时序多维自适应图卷积网络模型能够自骨架时空图中充分提取空间域内的多维信息，同时增强了时间特征的表示能力，基于本申请的骨架行为识别方法，不但能够取得优异的识别准确率，而且具备良好的泛化性能。而且具备良好的泛化性能。而且具备良好的泛化性能。


技术研发人员：曹毅 夏宇 高清源 汤多良 周辉 马惠欣
受保护的技术使用者：江南大学
技术研发日：2022.10.21
技术公布日：2023/1/31