基于姿态识别神经网络的姿态识别方法、设备和介质与流程

技术特征：
1.一种基于姿态识别神经网络的姿态识别方法，其中，所述姿态识别神经网络包括编码网络和第一全连接层，所述编码网络包括多个第一卷积层和多个第二卷积层，所述方法包括：获取待识别图像；利用所述多个第一卷积层分别地对所述待识别图像进行处理，用于得到与所述多个第一卷积层分别对应的多个第一特征图；将所述多个第一特征图合并为中间图像，并利用所述多个第二卷积层依次地对所述中间图像进行处理，用于得到第二特征图；以及利用所述第一全连接层对所述第二特征图进行处理，用于得到姿态特征向量，其中，所述姿态特征向量的分布表征基于所述待识别图像得到的识别姿态。2.根据权利要求1所述的方法，还包括：基于所述姿态特征向量的矩阵特征值来确定所述识别姿态，其包括以下步骤：将所述姿态特征向量转化为二维矩阵；提取所述二维矩阵的多个特征值，将所述多个特征值作为特征值向量；以及基于所述特征值向量来确定所述识别姿态。3.根据权利要求1所述的方法，其中，所述将所述多个第一特征图合并为中间图像包括：以增加特征图的通道数目的方式来将所述多个第一特征图合并为所述中间图像。4.根据权利要求1所述的方法，其中，所述姿态识别神经网络的参数是按照以下方式训练得到的：利用分类层对所述姿态特征向量进行处理，用于得到分类向量；按照第一损失函数，基于所述分类向量、所述姿态特征向量和所述待识别图像的真实类别参数计算得到类别损失值；利用解码网络对所述姿态特征向量进行处理，用于得到解码输出图像，其中，所述解码输出图像与所述待识别图像的图像尺寸相同；按照第二损失函数，基于所述解码输出图像与所述待识别图像计算得到图像损失值；以及根据所述类别损失值与所述图像损失值来训练所述姿态识别神经网络的参数。5.根据权利要求4所述的方法，其中，所述分类层为独热编码分类层，所述第一损失函数包括最小均方值误差函数和类别中心损失函数，其中，其中，其中，l1表示所述最小均方值误差函数，其中，n表示姿态类别的数目，y
i
表示真实姿态类别标签，f(x
i
)表示由所述分类层得到的分类向量，l2表示所述类别中心损失函数，表示真实类别中心，x
i
表示所述姿态特征向量，，m表示训练样本数目，其中，所述真实姿态类别标签和所述真实类别中心对应于所述真实类别参数，其中，所述第二损失函数为图像损失函数，所述图像损失函数表示为如下公式：
l3＝e(i1(x,y)
‑
i2(x,y))/255其中，l3表示所述图像损失函数，i1(x,y)表示所述待识别图像的像素值，i2(x,y)表示所述解码输出图像的像素值，e表示计算数学期望。6.根据权利要求5所述的方法，其中，所述根据所述类别损失值与所述图像损失值来训练所述姿态识别神经网络的参数包括：基于所述类别损失值与所述图像损失值计算整体损失值；根据所述整体损失值按照反向传播算法来调整所述姿态识别神经网络和所述解码网络的参数。7.根据权利要求6所述的方法，其中，所述整体损失值表示为如下公式：l
′
＝αl1
′
βl2
′
γl3
′
其中，l
′
表示所述整体损失值，l1
′
表示按照l1计算得到的损失值，l2
′
表示按照l2计算得到的损失值，l3
′
表示按照l3计算得到的损失值，α、β、γ分别表示与损失值l1
′
、l2
′
、l3
′
对应的权重值，其中，所述权重值是基于与所述权重值对应的损失函数所作用的网络的参数量确定的，其中，所述第一损失函数所作用的网络包括所述姿态识别神经网络，所述第二损失函数所作用的网络包括所述姿态识别神经网络和所述解码网络。8.根据权利要求1所述的方法，其中，所述多个第一卷积层包括3个第一卷积层，所述3个第一卷积层的卷积核尺寸分别为3
×1×
3、3
×3×
1、3
×3×
3，所述多个第二卷积层包括4个第二卷积层，所述4个第二卷积层的卷积核尺寸分别为9
×3×
3、18
×3×
3、36
×3×
3、72
×3×
3，并且其中，所述4个第二卷积层的步长被设置为等于2。9.根据权利要求8所述的方法，其中，在训练所述姿态识别神经网络的参数的过程中包括利用解码网络对所述姿态特征向量进行处理，用于得到解码输出图像，所述解码输出图像与所述待识别图像的图像尺寸相同，其中，所述解码网络包括依次连接的第二全连接层、重构层以及多个反卷积层，其中，所述重构层的参数为1
×
16
×
16，所述多个反卷积层包括3个反卷积层，所述3个反卷积层中的每个反卷积层的卷积核尺寸为3
×3×
3，并且其中，所述每个反卷积层的步长被设置为等于2，所述第一全连接层的参数为1
×
128，所述第二全连接层的参数为1
×
256。10.根据权利要求1所述的方法，其中，所述获取待识别图像包括：获取初始图像；在所述初始图像中识别人体轮廓，并确定所述人体的最大外接矩形框；以及基于所述最大外接矩形框在所述初始图像中截取图像作为所述待识别图像。11.一种姿态识别设备，包括：处理器；存储器，其中，所述存储器中存储有计算机可读代码，所述计算机可读代码当由所述处理器运行时，执行如权利要求1
‑
10中任一项所述的基于姿态识别神经网络的姿态识别方法。12.一种计算机可读存储介质，其上存储有指令，所述指令在被处理器执行时，使得所述处理器执行如权利要求1
‑
10中任一项所述的基于姿态识别神经网络的姿态识别方法。

技术总结
本公开提供了一种基于姿态识别神经网络的姿态识别方法、设备和介质。姿态识别神经网络包括编码网络和第一全连接层，编码网络包括多个第一卷积层和多个第二卷积层，该姿态识别方法包括：获取待识别图像；利用多个第一卷积层分别地对待识别图像进行处理，用于得到与多个第一卷积层分别对应的多个第一特征图；将多个第一特征图合并为中间图像，并利用多个第二卷积层依次地对中间图像进行处理，用于得到第二特征图；利用第一全连接层对第二特征图进行处理，用于得到姿态特征向量，其中，姿态特征向量的分布表征基于待识别图像得到的识别姿态。量的分布表征基于待识别图像得到的识别姿态。量的分布表征基于待识别图像得到的识别姿态。


技术研发人员：ꢀ(74)专利代理机构
受保护的技术使用者：新东方教育科技集团有限公司
技术研发日：2021.08.31
技术公布日：2021/11/28