一种基于步态序列视频的人物轮廓特征提取方法与流程

1.本发明涉及一种基于步态序列视频的人物轮廓特征提取方法，属于计算机视觉、图像处理、身份识别等交叉技术领域。


背景技术：

2.随着深度学习的发展，视频人物身份识别逐渐成为计算机信息安全领域的研究热点，与面部、指纹以及虹膜等其他生物识别方式不同，人物轮廓因其可以从远距离识别，从远处轻松获取以及不需要用户的配合这些特性，受到国内外学者的重视。其在视频监控、犯罪检测以及访问控制等实际场景中具有广泛的应用，因此一个好的特征提取是实现身份识别的前提。
3.特征提取是指将视频中每帧图像上的点分为不同的子集，而目标特征提取则是指从所有不同的子集中选择一个最好的子集，其可以用来区别于其他对象。在计算机视觉领域中，一般提取的特征为图像特征，其包括颜色、纹理、形状以及空间关系等特征，颜色和纹理是人观察图像时最能直观感受到的特征，这两个特征一般用来表示图像中的外观性质；形状特征可以分为两种：轮廓特征以及区域特征，顾名思义，轮廓指目标对象的边界部分，而区域则指的是边界内的内容区域；空间关系是指图像中目标对象的相对空间位置和相对方向关系，在该条件下又可分为相对和绝对这两种。良好的特征可以准确的描述目标对象，并与其他对象有所区分，可以极大的提高模式识别的准确率。
4.目前，人物轮廓特征提取主要分为两个部分，第一个部分是从输入视频中提取一个周期内的步态轮廓序列，第二个部分则是从一个周期内的步态轮廓序列中提取人物轮廓特征。由于人物行走过程是一个周期性的过程，具有相似外观的步态序列帧会周期性地出现在人物行走过程中，针对输入一整个步态序列视频来提取特征过于冗余且不必要，因此前者将输入的一整个步态序列视频缩小至一个周期内可以减少计算量，后者可以提取出人物的个性特征，从而有利于人物的身份识别。


技术实现要素：

5.技术问题：本发明的目的在于提供一种基于步态序列视频的人物轮廓特征提取方法，该方法提取出一个周期内的步态轮廓序列，并在此基础上提取视频中人物轮廓的个性特征，有助于对人物身份进行识别，提高身份识别的准确率。
6.技术方案：为了实现上述目的，本发明采用以下技术方案：
7.一种基于步态序列视频的人物轮廓特征提取方法，包括以下步骤：
8.步骤1)输入一个视频，所述视频为单人行走视频，逐帧提取视频中的单人轮廓图像；
9.步骤2)当每帧单人轮廓图像提取出来后，对单人步态周期进行提取，提取一个周期内的单人轮廓图像；
10.步骤3)对步骤2)获取到的一个周期内单人轮廓图像进行预处理操作，该操作包括
水平对齐和尺寸归一化；
11.步骤4)计算步态能量图g(x，y)，公式如下：其中b
t
(x，y)是预处理后的单人轮廓图像，m是一个完整人物轮廓图像周期中的总帧数，t指图像帧数即时间，x和y是步态轮廓序列中横纵坐标的值；
12.步骤5)利用sobel算子提取步骤4)所述步态能量图的水平特征z
h
以及垂直特征z
v
，并将这两个特征输入到inception双流模型中，以获取人物轮廓的共性特征z
t
；
13.步骤6)基于步骤3)中预处理后的单人轮廓图像轮廓样本以及步骤5)获得的轮廓共性特征z
t
，设计具有k个子分支的候选模块，其中每个子分支为每个轮廓类别学习一组显著性特征，总共有k个类别；引入softmax注意力机制和候选loss来获取具有判别性的轮廓显著特征表示；
14.步骤7)当获取到轮廓的显著性特征表示后，采用特征向量相加这种模式来获取人物轮廓特征，融合后的特征表示为
15.进一步的，所述步骤2)中提取一个周期内的单人轮廓图像包括以下步骤：
16.步骤21)计算每帧单人轮廓图像的非零像素点个数；
17.步骤22)当人物腿部第一次重叠时，此时非零像素点个数最少，记下此时的时间t
s
；
18.步骤23)当人物开始行走，左脚悬空并再次落在地面上时，非零像素点个数逐渐增加；
19.步骤24)当左脚接触地面，右脚悬空向前移动并再次落在地面上时，发生第二次重叠，非零像素点个数先减少后增加；
20.步骤25)当右脚接触地面，左脚悬空向前移动时，发生第三次重叠，记下此时的时间t
f
；
21.步骤26)令m为一个步态周期，m＝t
f
‑
t
s
。
22.进一步的，步骤3)所述水平对齐是指将获取到的一个周期内单人轮廓上半部分相对于其水平质心居中；所述尺寸归一化是指将一个周期内的所有轮廓图像调整到同一比例。
23.进一步的，所述步骤5)包括以下步骤：
24.步骤51)在inception模型中分别给每一个3*3和5*5的卷积层之前，加上1*1的卷积层，并设置第一层和第二层的过滤器数量为6和16；
25.步骤52)将学习后的水平特征以及垂直特征这两个特征向量连接，由此获取轮廓共性特征z
t
；
26.进一步的，所述步骤6)包括以下步骤：
27.步骤61)将轮廓共性特征z
t
与设计好的k个子分支相连接，利用softmax激活后，每个轮廓显著性特征的注意权重为：a
k
＝softmax
k
(z
t
)，其中a
k
是和z
t
有相同维度的向量，且k≤k；
28.步骤62)当获取到每个轮廓显著性特征注意权重后，利用公式能够获
得每个轮廓显著性特征；
29.步骤63)除了引入注意力机制外，轮廓的显著性特征还受到候选loss的约束，该约束是根据候选模块中k个特定表达式的检测损失得出的平均值；
30.步骤64)将每个轮廓显著性特征检测器与特征向量对齐，其中轮廓显著性特征检测器包含两个全连接层，并以sigmoid层作为输出，因此，每个子分支通过优化以下检测损失来训练，公式如下：
[0031][0032]
其中表示取真值，表示第i个样本为第k个类别的可能性，n是训练的总样本，允许网络为每个轮廓生成特定的特征表达，θ表示实际情况下的轮廓图像；
[0033]
步骤65)对于每个子候选模块中生成的loss，由于候选模块中包含k个子分支，相应的loss定义为k个检测损失的平均值，公式如下：
[0034][0035]
步骤66)通过对候选的loss以及注意力机制的抑制，候选模块获得具有显著判别性的轮廓特征表示
[0036]
有益效果：本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0037]
本发明首先获取一个周期内的步态轮廓序列，在获取到的步态轮廓序列基础之上获取步态能量图，分别对步态能量图进行水平方向和垂直方向特征提取，得到人物轮廓共性特征；利用双流inception网络进行特征学习，引入注意力机制来获取人物显著性特征，最后将两种特征聚合，获取人物轮廓特征表示。
[0038]
具体来说：
[0039]
(1)本发明采用了sobel算子提取步态能量图中的水平特征和垂直特征，有利于获取人物轮廓的共性特征。
[0040]
(2)本发明引入softmax注意力机制和候选loss来获取具有判别性的轮廓显著特征表示。
[0041]
(3)本发明通过基于步态序列视频的人物轮廓特征提取方法，有助于获取每个人的个性特征表达，有效提升人物识别的准确性与可靠性。
附图说明
[0042]
图1是基于步态序列视频的人物轮廓特征提取方法。
[0043]
图2是轮廓共性特征提取框架。
[0044]
图3是轮廓显著性特征提取框架。
具体实施方式
[0045]
下面结合附图对本发明的技术方案做进一步的详细说明：
[0046]
如图1、图2和图3所示，一种基于步态序列视频的人物轮廓特征提取方法，包括以下步骤：
[0047]
步骤1)输入一个视频，所述视频为单人行走视频，逐帧提取视频中的单人轮廓图像；
[0048]
步骤2)当每帧单人轮廓图像提取出来后，对单人步态周期进行提取，提取一个周期内的单人轮廓图像；
[0049]
步骤21)计算每帧单人轮廓图像的非零像素点个数；
[0050]
步骤22)当人物腿部第一次重叠时，此时非零像素点个数最少，记下此时的时间t
s
；
[0051]
步骤23)当人物开始行走，左脚悬空并再次落在地面上时，非零像素点个数逐渐增加；
[0052]
步骤24)当左脚接触地面，右脚悬空向前移动并再次落在地面上时，发生第二次重叠，非零像素点个数先减少后增加；
[0053]
步骤25)当右脚接触地面，左脚悬空向前移动时，发生第三次重叠，记下此时的时间t
f
；
[0054]
步骤26)令m为一个步态周期，可由公式m＝t
f
‑
t
s
获得；
[0055]
步骤3)对步骤2)获取到的一个周期内单人轮廓图像进行预处理操作，该操作包括水平对齐和尺寸归一化，其中水平对齐是指将获取到的单人轮廓上半部分相对于其水平质心居中，尺寸归一化是指将一个周期内的所有轮廓图像调整到同一比例；
[0056]
步骤4)计算步态能量图g(x，y)，公式如下：其中b
t
(x，y)是预处理后的单人轮廓图像，m是一个完整人物轮廓图像周期中的总帧数，t指图像帧数即时间，x和y是步态轮廓序列中横纵坐标的值。
[0057]
步骤5)利用sobel算子提取步骤4)所述步态能量图的水平特征zh以及垂直特征z
v
，并将这两个特征输入到inception双流模型中，以获取人物轮廓的共性特征z
t
；
[0058]
步骤51)在inception模型中分别给每一个3*3和5*5的卷积层之前，加上1*1的卷积层，并设置第一层和第二层的过滤器数量为6和16；
[0059]
步骤52)将学习后的水平特征以及垂直特征这两个特征向量连接，由此获取轮廓共性特征z
t
；
[0060]
步骤6)基于步骤3)中预处理后的单人轮廓图像轮廓样本以及步骤5)获得的轮廓共性特征z
t
，设计具有k个子分支的候选模块，其中每个子分支为每个轮廓类别学习一组显著性特征，总共有k个类别；引入softmax注意力机制和候选loss来获取具有判别性的轮廓显著特征表示；
[0061]
步骤61)将轮廓共性特征z
t
与设计好的k个子分支相连接，利用softmax激活后，每个轮廓显著性特征的注意权重为：a
k
＝softmax
k
(z
t
)，其中a
k
是和z
t
有相同维度的向量，且k≤k。
[0062]
步骤62)当获取到每个轮廓显著性特征注意权重后，利用公式可获得
每个轮廓显著性特征；
[0063]
步骤63)除了引入注意力机制外，轮廓的显著性特征还受到候选loss的约束，该约束是根据候选模块中k个特定表达式的检测损失得出的平均值；
[0064]
步骤64)将每个轮廓显著性特征检测器与特征向量对齐，其中轮廓显著性特征检测器包含两个全连接层，并以sigmoid层作为输出，因此，每个子分支通过优化以下检测损失来训练，公式如下：
[0065][0066]
其中表示取真值，表示第i个样本为第k个类别的可能性，n是训练的总样本，允许网络为每个轮廓生成特定的特征表达，θ表示实际情况下的轮廓图像；
[0067]
步骤65)对于每个子候选模块中生成的loss，由于候选模块中包含k个子分支，相应的loss定义为k个检测损失的平均值，公式如下：
[0068][0069]
步骤66)通过对候选的loss以及注意力机制的抑制，候选模块获得具有显著判别性的轮廓特征表示
[0070]
步骤7)当获取到轮廓的显著性特征表示后，采用特征向量相加这种模式来获取人物轮廓特征，融合后的特征可以表示为