一种基于增量学习的人体属性分类方法及装置与流程

1.本发明属于计算机视觉技术领域，特别涉及一种基于增量学习的人体属性分类方法及装置。


背景技术：

2.人体属性分类是计算机视觉中的热门研究课题之一，也是基于视觉的模式识别应用的一个重要研究方向，它需要将图像中人的各个属性(性别、年龄、衣服类型等)分类出来，从而为针对人的应用提供更加详细的先验信息，比如：行人重识别、行人检索以及视频监控等，由于自然场景中人体不同属性对应不同的局部特征，因此，人体属性分类方法需要具有对不同属性产生其对应局部特征的能力，同时各个属性任务具有不同的需求，如何通过增量学习的方式准确快速的得到属性的类别，是当前面临的难点。
3.目前对于人体属性分类常用的方法是基于传统手工设计特征的人体属性分类网络以及基于深度学习的人体属性分类方法，其中基于传统手工设计特征的人体属性分类网络针对人体的内容描述力和判别力不足，在人体属性分类这个问题上很难做到较好的效果，而基于深度学习的人体属性分类方法大多采用注意力机制或者网络整体重训练来解决上述问题，这些方法忽略了不同属性对应着不同的局部特征，从而影响方法的识别性能，同时整个网络重训练会增加网络的训练时间。


技术实现要素：

4.鉴于此，本发明提供一种基于增量学习的人体属性分类方法及装置，通过增量学习的方式，快速且准确的获得人体属性分类结果。
5.本发明第一实施例提供一种基于增量学习的人体属性分类方法，包括以下步骤：
6.步骤s1、将人体属性图像输入到深度卷积神经网络中进行特征提取，获得图像原始特征；
7.步骤s2、采用属性transformer网络对图像原始特征进行处理，获得全局信息特征；
8.步骤s3、将全局信息特征进行横向切割，获得各个属性对应的局部信息特征；
9.步骤s4、将全局信息特征和局部信息特征输入到层级分类器中，获得人体属性分类结果；
10.步骤s5、当有新的分类任务时，采用增量学习的方式对深度卷积神经网络进行微调，并执行步骤s1
‑
s4。
11.进一步的，所述步骤s2的属性transformer网络包括transformer编码器以及transformer解码器，所述步骤s2包括以下步骤：
12.步骤s21、transformer编码器对图像原始特征进行处理，获得一维向量z
′
；
13.步骤s22、transformer解码器对一维向量z
′
进行维度重组，获得全局信息特征。
14.进一步的，所述步骤s21的具体步骤包括：
15.步骤s211、将图像原始特征分解成固定大小的特征块；
16.步骤s212、对特征块进行线性投影，获得初始一维向量z∈r
l
×
c
，其中r为实数，l为向量的长度，c为向量的通道数；
17.步骤s213、对初始一维向量z∈r
l
×
c
进行自我注意力计算值，获得自我注意力计算值msa；
18.步骤s214、将自我注意力计算值msa与多层感知机mlp的输出值合并，获得一维向量z
′
，其中多层感知机mlp的输入为自我注意力计算值msa。
19.进一步的，所述步骤s213的具体步骤为：对初始一维向量z∈r
l
×
c
通过自我注意力机制计算来扩大感受野，并获得自我注意力计算初值sa，其计算公式为：
[0020][0021]
其中w
q
/w
k
/w
v
∈r
c
×
d
为可学习参数，通过对一维向量z∈r
l
×
c
经可学习的参数进行处理后得到的query、key以及value来获取，其中d为query、key以及value的维度，query＝zw
q
,key＝zw
k
,value＝zw
v
；
[0022]
获取自我注意力计算初值sa后，根据以下公式获得自我注意力计算值msa：
[0023]
msa＝[sa1；sa2；
…
；sa
m
]；
[0024]
其中m为注意力机制的并联个数。
[0025]
进一步的，所述步骤s214的计算公式为：
[0026]
z
′
＝msa(z
l
‑1) mlp(msa(z
l
‑1))∈r
l
×
c
。
[0027]
进一步的，所述步骤s22的具体步骤为：将一维向量z
′
采用维度重组方式恢复成二维，并使用卷积操作得到全局信息特征，其中维度重组的计算过程为：
[0028][0029]
其中m为维度重组后的向量，h为特征的高度值，w为特征的宽度值。
[0030]
进一步的，所述步骤s3中的局部信息特征的表达式为：
[0031]
f
a
＝d(f)；
[0032]
其中f为全局信息特征，d()表示特征切割方法，f
a
为人体属性对应的局部信息特征。
[0033]
进一步的，所述步骤s4的具体步骤为：将全局信息特征和局部信息特征输入到第一级分类器中，用于区别对应不同区域的属性，第二级分类器将第一级分类器的分类结果进行细化，并获得人体属性分类结果。
[0034]
进一步的，所述步骤s5的具体步骤为：当有新的分类任务时，采用增量学习的方式对深度卷积神经网络的所有全连接层的参数进行微调，并执行步骤s1
‑
步骤s4。
[0035]
本发明的第二实施例提供一种基于增量学习的人体属性分类装置，包括：存储模块，用于存储人体属性图像；
[0036]
处理模块，用于执行第一实施例的基于增量学习的人体属性分类方法；
[0037]
所述存储模块将人体属性图像传输给处理模块。
[0038]
与现有技术相比，本发明的有益效果是：通过属性transformer网络对特征提取后的人体属性图像进行处理后，可以有利于属性的识别，通过切割特征，可以使不同属性获得
其对应的局部信息特征，使网络更加关注感兴趣的区域，减少不相关信息的干扰，在最后进行属性分类时，采用层级分类器进行多级的分类，逐步解析人体属性，可以提升网络的精度，当有新的分类任务进行时，采用增量学习的方式进行网络微调，从而可以快速且准确的获得分类结果，提高分类的效率。
附图说明
[0039]
图1为本发明的一种基于增量学习的人体属性分类方法的流程图；
[0040]
图2为本发明的一种基于增量学习的人体属性分类方法的增量学习示意图；
[0041]
图3为本发明的一种基于增量学习的人体属性分类方法的分类网络总体结构图；
[0042]
图4为本发明的一种基于增量学习的人体属性分类装置的原理图；
[0043]
图中，1为存储模块，2为处理模块。
具体实施方式
[0044]
为使本发明的目的、内容、和优点更加清楚，下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。
[0045]
参照图1
‑
图3，本发明的第一实施例提供一种基于增量学习的人体属性分类方法，包括以下步骤：
[0046]
步骤s1、将人体属性图像输入到深度卷积神经网络中进行特征提取，获得图像原始特征。
[0047]
人体属性图像通过事先采集以及保存，在需要进行人体属性分类的时候，可以直接将保存的人体属性图像输入到深度卷积神经网络中进行特征提取，并获得图像原始特征。
[0048]
步骤s2、采用属性transformer网络对图像原始特征进行处理，获得属性更好的语义表达的全局信息特征；其中属性transformer网络包括transformer编码器(encoder)以及transformer解码器(decoder)，transformer编码器用于执行步骤s21以获得一维向量z
′
，而transformer解码器用于执行步骤s22，并获得全局信息特征。
[0049]
其中步骤s21包括以下步骤：
[0050]
步骤s211、将图像原始特征分解成几个固定大小的特征块，这些特征块的大小为8；
[0051]
步骤s212、对特征块进行线性投影，获得初始一维向量表示z∈r
l
×
c
，其中r为实数，l为向量的长度，c为向量的通道数；
[0052]
步骤s213、对初始一维向量z∈r
l
×
c
通过自我注意力机制计算来扩大感受野，并获得自我注意力计算初值sa，其计算公式为：
[0053][0054]
其中w
q
/w
k
/w
v
∈r
c
×
d
为可学习参数，通过对一维向量z∈r
l
×
c
经可学习的参数进行处理后得到的query、key以及value来获取，其中d为query、key以及value的维度，query＝zw
q
,key＝zw
k
,value＝zw
v
；
[0055]
获取自我注意力计算初值sa后，multi
‑
head self
‑
attention(多头自我注意力机
制)是m个独立的自我注意力机制操作，因此，需要将其进行拼接起来，根据以下公式获得自我注意力计算值msa：
[0056]
msa＝[sa1；sa2；
…
；sa
m
]；
[0057]
其中m为注意力机制的并联个数。
[0058]
步骤s214、将自我注意力计算值msa与多层感知机mlp的输出值合并，获得一维向量z
′
，其中多层感知机mlp的输入为自我注意力计算值msa，一维向量z
′
的计算公式为：
[0059]
z
′
＝msa(z
l
‑1) mlp(msa(z
l
‑1))∈r
l
×
c
。
[0060]
步骤s22、transformer解码器对一维向量z
′
进行维度重组，获得全局信息特征，具体步骤为：将一维向量z
′
采用维度重组方式恢复成二维，并使用卷积操作得到全局信息特征，其中维度重组的计算过程为：
[0061][0062]
其中m为维度重组后的向量，h为特征的高度值，w为特征的宽度值。
[0063]
步骤s3、将全局信息特征进行横向切割，获得各个属性对应的局部信息特征，其中局部信息特征的表达式为：
[0064]
f
a
＝d(f)；
[0065]
其中f为全局信息特征，d()表示特征切割方法，f
a
为人体属性对应的局部信息特征。
[0066]
在步骤s3中，为了更加人性化地描述人体属性对应的局部信息特征，本发明采用特征切割的方法，即属性对应的局部信息特征，比如，对于头部的属性，我们使用整个特征顶部的1/3；上衣纹理的属性使用整个特征的上半部分；下衣衣着的属性使用整个特征的下半部分，通过切割的方式可以使属性获取其更好对应的特征，使属性更好的关注与其感兴趣的特征，同时减少其他相邻特征对其的干扰。
[0067]
步骤s4、将全局信息特征和局部信息特征输入到层级分类器中，获得人体属性分类结果，具体步骤为：将全局信息特征和局部信息特征输入到第一级分类器中，用于区别对应不同区域的属性，第二级分类器将第一级分类器的分类结果进行细化，并获得人体属性分类结果，比如，第一级中的一个分类器对应的是全局特征，它的第二级分类器进一步分类包类别和人员状态。
[0068]
步骤s5、当有新的分类任务时，采用增量学习的方式对深度卷积神经网络的所有全连接层的参数进行微调，主干网络不参与训练，并执行步骤s1
‑
步骤s4，相比于其他增量学习只微调对应的新任务分类器，本发明仅仅使用新任务的样本来训练深度卷积神经网络的全连接层，就可以得到新任务和旧任务的属性识别结果都不错的效果。
[0069]
参照图4所示，本发明的第二实施例提供一种基于增量学习的人体属性分类装置，包括：存储模块1，用于存储人体属性图像；处理模块2，用于执行第一实施例的基于增量学习的人体属性分类方法；所述存储模块1将人体属性图像传输给处理模块2，所述处理模块2进行处理后获得人体属性分类结果。
[0070]
本发明的一种基于增量学习的人体属性分类方法及装置，设计了一种深度的卷积神经网络结构，由深度卷积神经网络、属性transformer网络、特征切割和层级分类器构成，深度卷积神经网络、属性transformer网络、特征切割和层级分类器均是端到端进行联合训
练的，使本发明可以有效产生属性的合适上下文特征并准确快速地得到新任务的人体属性分类结果。
[0071]
其中属性transformer网络可以从图像原始特征中抽取全局语义信息，获得属性更好的语义表达，即获得全局信息特征，特征切割方法使各个属性获得其对应的局部信息特征，通过这种方法，可以减少不相关信息的干扰同时关注自身感兴趣的区域，层级分类器使用由粗到细的方式，逐步解析人体部件，可以提升网络的精度，最终可以快速且准确的获得人体分类结果，并采用增量学习的方式对初始网络进行微调更新，无需对主干网络重新训练，能够准确快速地解析新任务中的人体属性。
[0072]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。