一种基于步态序列视频的人物轮廓特征提取方法与流程

技术特征：
1.一种基于步态序列视频的人物轮廓特征提取方法，其特征在于，包括以下步骤：步骤1)输入一个视频，所述视频为单人行走视频，逐帧提取视频中的单人轮廓图像；步骤2)当每帧单人轮廓图像提取出来后，对单人步态周期进行提取，提取一个周期内的单人轮廓图像；步骤3)对步骤2)获取到的一个周期内单人轮廓图像进行预处理操作，该操作包括水平对齐和尺寸归一化；步骤4)计算步态能量图g(x,y)，公式如下：其中b
t
(x,y)是预处理后的单人轮廓图像，m是一个完整人物轮廓图像周期中的总帧数，t指图像帧数即时间，x和y是步态轮廓序列中横纵坐标的值；步骤5)利用sobel算子提取步骤4)所述步态能量图的水平特征z
h
以及垂直特征z
v
，并将这两个特征输入到inception双流模型中，以获取人物轮廓的共性特征z
t
；步骤6)基于步骤3)中预处理后的单人轮廓图像轮廓样本以及步骤5)获得的轮廓共性特征z
t
，设计具有k个子分支的候选模块，其中每个子分支为每个轮廓类别学习一组显著性特征，总共有k个类别；引入softmax注意力机制和候选loss来获取具有判别性的轮廓显著特征表示；步骤7)当获取到轮廓的显著性特征表示后，采用特征向量相加这种模式来获取人物轮廓特征，融合后的特征表示为2.根据权利要求1所述的基于步态序列视频的人物轮廓特征提取方法，其特征在于：所述步骤2)中提取一个周期内的单人轮廓图像包括以下步骤：步骤21)计算每帧单人轮廓图像的非零像素点个数；步骤22)当人物腿部第一次重叠时，此时非零像素点个数最少，记下此时的时间t
s
；步骤23)当人物开始行走，左脚悬空并再次落在地面上时，非零像素点个数逐渐增加；步骤24)当左脚接触地面，右脚悬空向前移动并再次落在地面上时，发生第二次重叠，非零像素点个数先减少后增加；步骤25)当右脚接触地面，左脚悬空向前移动时，发生第三次重叠，记下此时的时间t
f
；步骤26)令m为一个步态周期，m＝t
f
‑
t
s
。3.根据权利要求1所述的基于步态序列视频的人物轮廓特征提取方法，其特征在于：步骤3)所述水平对齐是指将获取到的一个周期内单人轮廓上半部分相对于其水平质心居中；所述尺寸归一化是指将一个周期内的所有轮廓图像调整到同一比例。4.根据权利要求1所述的基于步态序列视频的人物轮廓特征提取方法，其特征在于：所述步骤5)包括以下步骤：步骤51)在inception模型中分别给每一个3*3和5*5的卷积层之前，加上1*1的卷积层，并设置第一层和第二层的过滤器数量为6和16；步骤52)将学习后的水平特征以及垂直特征这两个特征向量连接，由此获取轮廓共性特征z
t
；5.根据权利要求1所述的基于步态序列视频的人物轮廓特征提取方法，其特征在于：所
述步骤6)包括以下步骤：步骤61)将轮廓共性特征z
t
与设计好的k个子分支相连接，利用softmax激活后，每个轮廓显著性特征的注意权重为：a
k
＝softmax
k
(z
t
)，其中a
k
是和z
t
有相同维度的向量，且k≤k；步骤62)当获取到每个轮廓显著性特征注意权重后，利用公式能够获得每个轮廓显著性特征；步骤63)除了引入注意力机制外，轮廓的显著性特征还受到候选loss的约束，该约束是根据候选模块中k个特定表达式的检测损失得出的平均值；步骤64)将每个轮廓显著性特征检测器与特征向量对齐，其中轮廓显著性特征检测器包含两个全连接层，并以sigmoid层作为输出，因此，每个子分支通过优化以下检测损失来训练，公式如下：其中表示取真值，表示第i个样本为第k个类别的可能性，n是训练的总样本，允许网络为每个轮廓生成特定的特征表达，θ表示实际情况下的轮廓图像；步骤65)对于每个子候选模块中生成的loss，由于候选模块中包含k个子分支，相应的loss定义为k个检测损失的平均值，公式如下：步骤66)通过对候选的loss以及注意力机制的抑制，候选模块获得具有显著判别性的轮廓特征表示

技术总结
本发明公开一种基于步态序列视频的人物轮廓特征提取方法，该发明首先获取一个周期内的步态轮廓序列，在获取到的步态轮廓序列基础之上获取步态能量图，分别对步态能量图进行水平方向和垂直方向特征提取，得到人物轮廓共性特征；利用双流Inception网络进行特征学习，引入注意力机制来获取人物显著性特征，最后将两种特征聚合，获取人物轮廓特征表示。本发明通过对人物步态能量图进行水平方向和垂直方向的特征提取，有助于获取人物行走时的共性特征，通过引入注意力机制可得到人物显著性特征，最后将其聚合有助于获取人物的轮廓特征，得到每个人的个性特征表达，有效提升人物识别的准确性与可靠性。的准确性与可靠性。的准确性与可靠性。


技术研发人员：陈志 周松颖 岳文静
受保护的技术使用者：南京邮电大学
技术研发日：2021.07.14
技术公布日：2021/11/21