一种基于人体轮廓和关键点特征融合的步态识别方法

技术特征：
1.一种基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，包括：基于输入的单人行走步态视频，获取视频中的行人轮廓序列，并将步态视频代入openpose算法模块，获得归一化的人体关键点信息序列；将行人轮廓序列代入gaitset算法模块，获得步态轮廓序列的特征；将人体关键点信息序列导入人体关键点特征提取模块，得到人体关键点的特征；基于步态轮廓序列的特征和人体关键点的特征，分别获得步态轮廓特征向量和人体关键点特征向量；将步态轮廓特征向量和人体关键点特征向量连接后输入特征融合模块，获得步态融合特征；将步态融合特征导入融合网络进行特征学习，识别出视频中人物的身份。2.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，基于输入的单人行走步态视频，获取视频中的行人轮廓序列过程中还包括对行人轮廓序列进行裁剪，获得裁剪后的行人轮廓序列的方法包括：步态视频利用knn算法，获得步态视频每帧图像的人体轮廓；基于每帧图像的人体轮廓计算每帧单人轮廓图像的非零像素点个数，并根据图像像素的阈值选择是否输出图像；对输出的图像获取不为0的行像素和的上限值和下限值的索引值区间，并根据索引值区间裁剪输出图像的上下区域，获得裁剪图像；在裁剪图像中查找基于x轴的中位数，并以查找出中位数确定图像中人的x轴中心点；从中心点开始各向两侧进行切片，得到行和列都为64位的图像数组；转换图像数组类型，获得行人轮廓序列。3.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，将步态视频代入openpose算法模块，获得归一化的人体关键点信息序列的方法包括：基于步态视频，获取视频中人体各个关键点的位置坐标；在视频中人体各个关键点的位置坐标中选取颈部关键点的位置为原点，以颈部和臀部的距离为基准，对其他关键点做归一化，获得归一化后的人体关键点帧序列；其中，归一化公式为：式中，p
i
是关键点i的位置，p’i
是关键点归一化后的位置，p是颈部关节点的位置，d是颈部和臀部关键点之间的距离。4.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，所述人体关键点特征提取模块包括：lstm模块和cnn模块；将人体关键点信息序列导入人体关键点特征提取模块，得到人体关键点的特征的方法为获取的人体关键点帧序列分别传入lstm模块和cnn模块，获得人体关键点的每帧的特征。5.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，基于人体关键点的特征，获得人体关键点特征向量的方法包括：基于人体关键点的每帧的特征，得到每帧特征所关联的特征向量，并将得到的每帧的特征向量进行连接；
将连接后特征向量的输入压缩块，得到62
╳
128维的人体关键点特征向量。6.根据权利要求4所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，所述lstm模型由全连接层和lstm层组成，将lstm的特征维度设置为256维；所述cnn模块为设置10层3
╳
3的卷积层，第一层卷积层的过滤器数量设置为32个，第二层和第三层卷积层以及第五层和第六层卷积层中间分别设置一个池化层，第二层到第四层卷积层的过滤器数量设置为64个，其余过滤器数量设置为128个，并将第一层池化层与第四层卷积层进行残差连接、第二层池化层和第七层卷积层进行残差连接，全连接层的维度设置为256维数；特征提取模块还包括压缩模块，所述压缩模块由bn层、relu层、dropout层和128维的全连接层组成。7.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，将步态轮廓特征向量和人体关键点特征向量连接后输入特征融合模块，获得步态融合特征的方法包括：将步态轮廓特征向量和人体关键点特征向量的每一维度进行连接，获得每一维度的连接向量；将每一维度的连接向量导入特征融合模块的全连接层，得到人体步态融合特征向量；其中，特征融合模块引入三元损失函数进行训练，三元损失函数的表达公式为：征融合模块引入三元损失函数进行训练，三元损失函数的表达公式为：式中，l
ba
()表示正负样本的损失值之和，表示锚点样本与正样本之间的距离和锚点样本与负样本之间的距离的差，表示第i个锚点样本，表示第j个锚点样本，d表示两个样本之间的距离，表示第i个正样本，表示第i个负样本，m表示根据实际需要设定的阈值参数，用于控制锚点样本与正样本的距离和锚点样本与负样本的距离之差，a表示锚点样本，p表示负样本，n表示负样本，i表示正样本编号，j表示负样本编号，p表示有p个id，k表示每个id有k个样本。8.根据权利要求1所述的基于人体轮廓和关键点特征融合的步态识别方法，其特征在于，将步态融合特征导入融合网络进行特征学习，识别出视频中人物的身份的方法包括：将步态融合特征f
q
与融合网络特征库中的每一个特征f
g
进行欧氏距离的计算，获得将步态融合特征f
q
与融合网络特征库中的每一个特征f
g
距离结果；基于距离结果的远近，选择近似的距离结果并基于近似的距离结果关联的特征确定识别结果，从而对该视频中的人物完成身份识别。9.一种处理装置，包括存储器和处理器，其特征在于，存储器存储有计算机程序，其被处理器执以实现权利要求1至8中任一项所述的基于人体轮廓和关键点特征融合的步态识别方法。10.一种可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时
实现权利要求1～8任一项所述方法的步骤。

技术总结
本发明公开了一种基于人体轮廓和关键点特征融合的步态识别方法，包括：输入单人行走的步态视频，获取视频中的行人轮廓序列；将步态视频代入OpenPose算法模块，获得归一化的人体关键点信息序列，将行人轮廓序列代入GaitSet算法模块，获得步态轮廓序列的特征；将人体关键点信息序列由LSTM和CNN组成的人体关键点特征提取模块；分别获得步态轮廓特征向量和人体关键点特征向量；将步态轮廓特征向量和人体关键点特征向量连接后输入特征融合模块；将步态融合特征导入融合网络进行特征学习，识别出视频中人物的身份。本发明利用人体轮廓特征提取模块和人体关键点特征提取模块分别提取其特征，然后进行特征层融合得到步态融合特征，提高步态识别的准确率和鲁棒性。提高步态识别的准确率和鲁棒性。提高步态识别的准确率和鲁棒性。


技术研发人员：陈志 周晨 岳文静 艾虎 王悦 何丽
受保护的技术使用者：南京邮电大学
技术研发日：2022.04.27
技术公布日：2022/7/29