按部分学习解耦表征的步态识别方法与流程

1.本发明涉及步态识别技术领域，特别涉及按部分学习解耦表征的步态识别方法。


背景技术：

2.步态识别是指根据个体的行走方式识别身份，针对含有人的运动图像序列进行分析处理，相对于已有的诸如指纹、视网膜扫描和面像识别等其他生物识别方法，步态识别有显著优势：具有非接触式、不受距离及环境影响等特征。得益于深度学习算法的特征提取机制，无模型的步态识别方法越发流行。相较与基于模型的方法，无模型的方法步态识别方法不需要人工设计特征提取算法，减少特征提取算法所带来的计算成本，但无模型的方法如gei(步态能量图像)，对无关特征如衣物、携带物、视角的变化更加敏感。
3.为了解决无模型方法的弊端，自动编码框架gaitnet采用解耦表示学习方法，利用模型的自我学习能力分离姿态特征和外观特征，实现对无关特征的剔除；但gaitnet中的lstm模型聚合时间特征多，增加训练难度，且容易产生过学习现象，所以不适合聚合具有周期性的步态特征。


技术实现要素：

4.发明目的：针对以上问题，本发明目的是提供一种按部分学习解耦表征的步态识别方法。
5.技术方案：本发明的一种按部分学习解耦表征的步态识别方法，包括如下步骤：
6.(1)通过自编码器将原始图像分解成外观特征、典型特征和姿态特征；
7.(2)利用水平金字塔匹配hpm将典型特征提取为静态步态特征；
8.(3)利用微运动捕捉模块mcm将姿态特征累计成动态步态特征；
9.(4)将静态步态特征和动态步态特征进行拼接实现特征嵌入操作。
10.进一步，步骤(2)中，利用水平金字塔匹配将典型特征提取为静态步态特征包括：
11.(201)将典型特征输入到hpm中进行池化，通过水平金字塔将不同部位的特征图映射到定长向量中，其中典型特征用c表示，水平金字塔个数为s，在第m个金字塔中典型特征图f
c
将被分成2
m
‑1层，总计份，使用全局平均池化gap和全局最大池化gmp得到第i
×
g部分典型特征表达式为：
[0012][0013]
式中，i代表第i个金字塔，g代表金字塔的第g层；avgpool表示全局平均池化，maxpool表示全局最大池化；
[0014]
(202)定义典型统一性损失函数来获取唯一的典型特征，表达式为：
[0015][0016]
式中，代表t时刻条件con下第p部分的典型特征，h表示步态序列的长度；括号中的第一项保证同一序列中典型特征的统一性，第二项保证不同条件下同一主题典型特征的统一性；
[0017]
(203)将水平金字塔池化得到的典型特征c进行均值计算，然后进行1
×
1卷积运算，将典型特征c的维度d降至d，得到静态步态特征f
sta
的表达式为：
[0018][0019]
进一步，步骤(3)中，利用微运动捕捉模块mcm将姿态特征累计成动态步态特征包括：
[0020]
所述姿态特征矩阵p包含t时刻的部分姿态特征，用p
i
表示第j个部分的n个时间片的姿态特征，即
[0021]
(301)微运动捕捉模块mcm使用微运动模板生成器mtb从姿态特征p
j
中提取帧，记为其中t为当前处理的帧，r为最远帧离当前帧的距离，k表示处理帧范围；
[0022]
(302)对提取的帧r
j
(p
j
,r)分别进行压缩和权重重定义和内积，得到微运动特征m
j
，模板函数为一维平均池化和一维最大池化之和，通过一维卷积和sigmoid激活引入通道间的注意力机制；
[0023]
(303)通过时间池化将微运动特征m
j
聚合成为部分姿态特征向量v
j
：
[0024]
假设一个步态周期有n个视频帧，需要有一个函数f作用在n个时间片的特征上的结果和作用在n个视频帧的相同，统计函数均值和最值都满足这个要求，但考虑到步态视频长度的不确定性，视频内的步态周期不同，使用最大值作为时间池化函数，即对于其中m
j
(n)为n个时间片上的特征，m
j
(n)为n个视频帧的特征；
[0025]
(304)将m个部分姿态特征向量v
j
拼接在一起，各部分通过全连接层fc分别映射到另一个分辨率更高的特征空间，组成动态步态特征矩阵f
dyn
，表达式为：
[0026]
f
dyn
＝fc([v1,v2,
…
,v
m
]
‑1)。
[0027]
进一步，步骤(4)中，拼接公式为：f＝[f
sta
,f
dyn
]。
[0028]
有益效果：本发明与现有技术相比，其显著优点是：本发明基于gaitpart框架进行优化，使其更加适应rgb数据集，通过使用水平金字塔匹配和微运动捕捉模块分别提取静态特征和动态特征，显著提升模型在极端角度譬如0
°
和180
°
的识别性能，克服lstm存在的过学习问题。
附图说明
[0029]
图1为本发明流程图；
[0030]
图2为hpm结构示意图；
[0031]
图3为获取动态步态特征流程示意图。
具体实施方式
[0032]
本实施例所述一种按部分学习解耦表征的步态识别方法流程图如图1所示，包括如下步骤：
[0033]
(1)通过自编码器将原始图像分解成外观特征、典型特征和姿态特征；其中外观特征指穿着、背包、携带物品等，典型特征指体型、身高及四肢长度等。
[0034]
(2)利用水平金字塔匹配hpm将典型特征提取为静态步态特征：
[0035]
(201)将典型特征输入到hpm中进行池化，通过水平金字塔将不同部位的特征图映射到定长向量中，其中典型特征用c表示，水平金字塔个数为s，如图2所示的hpm结构示意图，图中的h、w、d分别代表特征图的高度、宽度和深度信息，在第m个金字塔中典型特征图f
c
将被分成2
m
‑1层，总计份，使用全局平均池化gap和全局最大池化gmp得到第i
×
g部分典型特征表达式为：
[0036][0037]
式中，i代表第i个金字塔，g代表金字塔的第g层；avgpool表示全局平均池化，maxpool表示全局最大池化；
[0038]
(202)典型特征是主体的人体特征，不会随帧和条件的不同而改变，即主体k的典型特征，在同一序列的任意时刻t1和t2下是统一的，在条件con1和con2的两段序列下是统一的，还需要单独约束2
s
‑
1个部分，即最终的损失为所有部分的均值。定义典型统一性损失函数来获取唯一的典型特征，表达式为：
[0039][0040]
式中，代表t时刻条件con下第p部分的典型特征，h表示步态序列的长度；括号中的第一项保证同一序列中典型特征的统一性，第二项保证不同条件下同一主题典型特征的统一性；
[0041]
(203)水平金字塔池化得到的典型特征c是定值，将水平金字塔池化得到的典型特征c进行均值计算，然后进行1
×
1卷积运算，将典型特征c的维度d降至d，得到静态步态特征f
sta
的表达式为：
[0042][0043]
(3)利用微运动捕捉模块mcm将姿态特征累计成动态步态特征：
[0044]
所述姿态特征矩阵p包含t时刻的部分姿态特征，用p
j
表示第j个部分的n个时间片的姿态特征，即
[0045]
(301)微运动捕捉模块mcm使用微运动模板生成器mtb从姿态特征p
j
中提取帧，记为其中t为当前处理的帧，r为最远帧离当前帧的距离，k表示处理帧范围；如图3所示，第j个mtb正在处理特征序列的第二帧且r＝1，空白的方块代表用0向量填充。
[0046]
(302)对提取的帧r
j
(p
j
,r)分别进行压缩和权重重定义和内积，得到微运动特征m
j
，模板函数为一维平均池化和一维最大池化之和，通过一维卷积和sigmoid激活引入通道间的注意力机制；
[0047]
(303)通过时间池化将微运动特征m
j
聚合成为部分姿态特征向量v
j
：
[0048]
假设一个步态周期有n个视频帧，需要有一个函数f作用在n个时间片的特征上的结果和作用在n个视频帧的相同，统计函数均值和最值都满足这个要求，但考虑到步态视频长度的不确定性，视频内的步态周期可能不同，使用最大值作为时间池化函数，即对于其中m
j
(n)为n个时间片上的特征，m
j
(n)为n个视频帧的特征；
[0049]
(304)将m个部分姿态特征向量v
j
拼接在一起，各部分通过全连接层fc分别映射到另一个分辨率更高的特征空间，组成动态步态特征矩阵f
dyn
，表达式为：
[0050]
f
dyn
＝fc([v1,v2,
…
,v
m
]
‑1)。
[0051]
(4)将静态步态特征和动态步态特征进行拼接实现特征嵌入操作，拼接公式为：f＝[f
sta
,f
dyn
]。