一种基于不变性特征提取的域泛化行人重识别方法

1.本发明属于计算机视觉、图像处理等技术领域，具体地说是一种基于不变性特征提取的域泛化行人重识别方法。


背景技术：

2.行人重识别是指在开放集设置下，在不相交的摄像机视图之间进行行人检索的问题，被认为是图像检索的子问题，能够在海量的监控视频数据中挖掘出有效信息。随着在智慧城市，安防和智能监控系统中的迫切需求，以及在各种场景中监控摄像头数量的不断增加，行人重识别受到越来越广泛的关注。
3.早期的行人重识别研究主要集中在如何设计更好的行人特征和如何对特征进行相似度的度量两个层面。前者比较有代表性的方式是传统特征提取方法：梯度直方图(histogram of oriented gradient，hog)特征和局部最大出现(local maximal occurrence，lomo)特征；后者比较有代表的是基于深度学习的保持简单直接的度量(keep it simple and straightforward metric，kissme)和交叉视图二次判别分析(cross-view quadratic discriminant analysis，xqda)等等。由于传统手提特征 相似度度量的方法无法应对复杂的真实环境，深度学习算法的发展为行人重识别提供了新的思路，使其得到了广泛的发展。
4.行人重识别首先研究的是有监督的方法，有监督的行人重识别是指在单一带标签的数据集下进行训练并在相同数据集下进行测试的方法，在一些公开数据集上的准确率已经取得了巨大的成功，但由于其存在高昂的标注数据集的人工和时间成本，且将在一个数据集上训练的模型直接应用于另一个领域上时，性能会有很大的下降的问题，也就是领域偏移问题，因而限制了行人重识别模型在实际中的应用。为了解决这一问题，领域自适应行人重识别技术应运而生，通过在一个领域上训练行人重识别模型，只需要用很少的目标域数据，迁移到新的领域上，因而距离实用性更近一步。但由于公共隐私以及应用场景的限制，有时候获得目标域数据的成本及其高昂甚至根本无法获取，以及其无法穷尽所有应用场景的固有限制，限制了它在实际中的应用。
5.域泛化行人重识别在源域上训练模型，不经过微调，直接应用在目标域数据上，因而是一种非常符合实际应用的方向。域泛化的行人重识别主要包括元学习，即将源域分成元训练域和元测试域来模拟可见的源域和不可见的目标域；集成学习，即训练多个模型并使其能够推广到广泛的不可见域上，以及通过不变性方法来提取领域不变的特征表示，即使模型能够学习行人最本质的特征，通过最本质的特征使模型能够像人一样举一反三，对不可见域性能优越。


技术实现要素：

6.针对现有技术的不足，本发明所要解决的技术问题是，提出一种基于不变性特征提取的领域泛化行人重识别方法。
7.本发明解决该技术问题所采用的技术方案是：
8.一种基于不变性特征提取的领域泛化行人重识别方法，该方法包括以下内容：
9.构建识别模型，所述识别模型以resnet50网络为主干网络，还包括注意力感知的不变性特征提取模块，所述resnet50网络具有依次串联的n个残差单元，在前n-1个残差单元的输出处均连接一个注意力感知的不变性特征提取模块，最后一个残差单元的输出不接注意力感知的不变性特征提取模块，最后一个残差单元的输出连接平均池化层、批量归一化层和全连接层；
10.所述注意力感知的不变性特征提取模块用于提取领域不变特征，包括：实例归一化层、分组白化层、空间注意力和通道注意力，将残差单元的输出特征进行实例归一化操作in，获得实例归一化特征x(in)，将实例归一化特征x(in)进行空间注意力操作sa，得到相应的空间注意力权重，将空间注意力权重和实例归一化特征二者相乘获得加了权重的空间注意力特征x(in)_sa，再将实例归一化特征x(in)和加了权重的空间注意力特征x(in)_sa相加得到阶段特征；将阶段特征经分组白化层进行分组白化操作gw后获得分组白化特征x(gw)，将白化特征x(gw)进行通道注意力操作，得到相应的通道注意力权重，将分组白化特征x(gw)和通道注意力权重二者相乘，获得加了权重的通道注意力特征x(gw)_ca，再将分组白化特征x(gw)和加了权重的通道注意力特征x(gw)_ca相加，得到最终特征，输入到下个阶段；
11.将多个数据集作为源域数据集进行识别模型训练，在每次迭代中对每个数据集选择一个批次进行一次迭代，将批次图像inputs输入到识别模型中进行训练，完成基于不变性特征提取的领域泛化行人重识别。
12.进一步地，基于不变性特征提取的领域泛化行人重识别方法，以resnet50网络为主干网络，resnet50包括卷积 池化层、以及多个残差块的组合构成的多个残差单元，多个残差单元依次记为stage1，stage2，stage3，stage4，具体步骤是：
13.步骤1，将多个数据集作为源域数据集进行识别模型训练，在每次迭代中对每个数据集选择一个批次进行一次迭代，将批次图像inputs输入到resnet50网络的卷积 池化层中进行处理，处理后得到输入图像的特征表示x0；
14.步骤2，将特征表示x0输入到stage1中得到输出特征x1，对输出特征执行注意力感知的不变性特征提取模块module(
·
)，得到不变性特征f'1；
15.步骤2.1，使用实例归一化层对特征x1进行处理得到实例归一化特征
16.步骤2.2，使用空间注意力模块提取对应的空间注意力权重根据空间注意力权重与实例归一化特征得到空间注意力特征
17.步骤2.3，将实例归一化特征与空间注意力特征相加得到特征
18.步骤2.4，将特征f1输入到分组白化层得到分组白化特征
19.步骤2.5，并使用通道注意力模块提取对应的通道注意力权重根据通道注意力权重与分组白化特征得到通道注意力特征
20.步骤2.6，将分组白化特征与通道注意力特征相加得到特征
21.步骤3，将特征表示f'1输入到stage2中得到输出特征x2，对输出特征执行注意力感知的不变性特征提取模块module(
·
)，得到不变性特征f'2；
22.步骤3.1，使用实例归一化层对特征x2进行处理得到实例归一化特征
23.步骤3.2，使用空间注意力模块提取对应的空间注意力权重根据空间注意力权重与实例归一化特征得到空间注意力特征
24.步骤3.3，将实例归一化特征与空间注意力特征相加得到特征
25.步骤3.4，将特征f2输入到分组白化层得到分组白化特征
26.步骤3.5，使用通道注意力模块提取对应的通道注意力权重根据通道注意力权重与分组白化特征得到通道注意力特征
27.步骤3.6，将分组白化特征与通道注意力特征相加得到特征
28.步骤4，将特征表示f'2输入到stage3中得到输出特征x3，对输出特征执行注意力感知的不变性特征提取模块module(
·
)，得到不变性特征f'2；
29.步骤4.1，使用实例归一化层对特征x3进行处理得到实例归一化特征
30.步骤4.2，使用空间注意力模块提取对应的空间注意力权重根据空间注意力权重与实例归一化特征得到空间注意力特征
31.步骤4.3，将实例归一化特征与空间注意力特征相加得到特征
32.步骤4.4，将特征f3输入到分组白化层得到分组白化特征
33.步骤4.5，使用通道注意力模块提取对应的通道注意力权重根据通道注意力权重与分组白化特征得到通道注意力特征
34.步骤4.6，将分组白化特征与通道注意力特征相加得到特征
35.步骤5，将特征f'3输入stage4中，得到输出特征f'4，将特征f'4进行广义平均池化gem，得到三元组特征f
tri
，计算三元组损失
[0036][0037]
其中，b表示批次内样本的数量，和表示样本b对其最硬正样本和最硬负样
本之间的欧几里得距离，α＝0.3表示阈值，[
·
]

表示max(
·
,0)；
[0038]
步骤6，将三元组特征f
tri
经过批量归一化层和全连接层得到分类特征f
cls
，计算分类损失
[0039][0040]
其中，pb表示预测概率，qb表示样本b的真实标签y与标签labelb∈[1,class]是否相等，class表示类别数量。
[0041]
本发明步骤2.1，3.1，4.1中的实例归一化层表示如下：
[0042][0043]
其中，xi,i∈1,2,3表示stage1、stage2、stage3的输出特征，μ(
·
)和σ(
·
)分别表示每个样本特征在所有通道内所计算的均值和标准差，γ和β表示可学习参数，为实例归一化层的输出。
[0044]
本发明步骤2.2，3.2，4.2中的空间注意力模块包括平均池化操作、最大池化操作、拼接操作和卷积操作，对实例归一化层的输出分别进行平均池化操作、最大池化操作后获得平均池化特征和最大池化特征二者进行拼接操作后再经过卷积操作和sigmoid激活函数处理后获得空间注意力模块的输出特征，最后表示如下：
[0045][0046][0047][0048]
其中，c表示通道维度，表示实例归一化层的输出在通道c上的特征，i∈1,2,3，max(
·
)表示求最大值，concat[
·
,
·
]表示通道串联操作，conv(
·
)表示卷积操作，将两个通道变成一个通道，sigmoid(
·
)表示sigmoid激活函数。
[0049]
本发明步骤2.4，3.4，4.4中的分组白化层表示如下：
[0050][0051][0052][0053][0054][0055]
其中，表示stage1，stage2，stage3对应的实例归一化与空间注意力的相加特征，∏(
·i；g)表示组划分操作，将通道划分为g个组，g表示白化，表
示分组后的特征，计算白化特征；每组c个通道，h表示图像高度，w表示图像宽度，和∑g分别表示每个组内的均值和协方差，1表示所有数为1的列向量，t表示转置，∈表示一个稳定数值的很小正数，i表示单位矩阵。
[0056]
本发明步骤2.5，3.5，4.5中的通道注意力模块包括多层感知机、最大池化层和平均池化层，分组白化特征分别输入最大池化层和平均池化层处理获得最大池化层输出特征和平均池化层输出特征将二者分别经过一个多层感知机mlp处理后的结果进行相加，最后经sigmoid激活函数处理获得通道注意力模块的输出特征，表示如下：
[0057][0058][0059][0060]
其中，maxpool(
·
)和avgpool(
·
)分别表示最大池化层和平均池化层，i∈1,2,3，mlp(
·
)表示多层感知机，结构为：conv-》relu-》conv，多层感知机中两个卷积的放缩参数ratio＝16。
[0061]
本发明还保护一种基于不变性特征提取的领域泛化行人重识别系统，包括存储器、处理器以及存储于存储器上并能够在处理器上运行的计算机程序，当处理器运行该计算机程序时，实现上述的基于不变性特征提取的领域泛化行人重识别方法的过程。
[0062]
与现有技术相比，本发明的有益效果是：
[0063]
(1)本发明提出了一种基于不变性特征提取的域泛化行人重识别方法，针对领域泛化行人重识别提出，利用注意力感知的不变性特征提取模块能够提取不变性特征，具体是利用实例归一化操作来消除光照等样式信息，然后采用分组白化操作来消除颜色等样式信息，为了进一步消除样式信息来提取领域不变特征表示，对实例归一化操作和分组白化操作分别施加空间注意力和通道注意力，具体来说，对输入特征进行实例归一化，将实例归一化特征与其经过空间注意力的特征相加，并对其进行分组白化，将分组白化特征与其经过通道注意力的特征相加，作为输出。在深度网络的浅层的瓶颈层插入这一模块，能够防止插入太多不变性操作造成的判别信息丢失问题。
[0064]
(2)本发明方法对所有源域统一进行处理，减少了模型参数，同时保证能够提取更具泛化性的表示，避免了采用领域专家方式对相对应源域的过拟合，导致其提取领域不变特征表示的性能较低的问题发生。
[0065]
(3)本发明不需要针对特定源域来设计数据增强策略，因此更不容易过拟合源域数据集，也不需要对多个数据增强策略进行对比，因此减少了训练的时间，且同时更具泛化性。
[0066]
(4)本发明应用于领域泛化行人重识别的分类任务，多个数据集一起训练，测试时与训练的数据集完全不一样，对不同领域的特征进行一般化，使其能够通用，即并联实例归一化和分组白化，对两个特征直接进行特定注意力处理，不设置残差操作，能够去除领域特定的信息，保持领域不变信息，使其能够达到有效重识别的目的。
附图说明
[0067]
图1是本发明的整体流程图；
[0068]
图2是本发明的注意力感知的不变性特征提取模块的流程图；
[0069]
图3为本发明的注意力感知的不变性特征提取模块的结构框图；
[0070]
图4为本发明一种实施例的resnet50网络的结构示意图。图4中，conv block表示残差块，stage1表示由三个残差块的组合构成一个残差单元，stage2表示由四个残差块的组合构成一个残差单元，stage3表示由七个残差块的组合构成一个残差单元，stage4表示由三个残差块的组合构成一个残差单元，resnet50网络的输入图像尺寸为(3,384,128)，三个维度分别表示通道、高度、宽度，经过stage0后输出尺寸为(64,96,32)，经过stage1后输出尺寸为(256,96,32)，经过stage2后输出尺寸为(512,48,16)，经过stage3后输出尺寸为(1024,24,8)，经过stage4后输出尺寸为(2048,12,4)。
具体实施方式
[0071]
下面结合具体实施例和附图对本发明的技术方案作进一步详细描述，但并不以此限定本技术的保护范围。
[0072]
本发明为一种基于不变性特征提取的领域泛化行人重识别方法(简称方法，参见图1-2)，将resnet50网络包括卷积 池化层(stage0)、以及若干个残差块的组合构成的多个残差单元(stage1，stage2，stage3，stage4)，利用注意力感知的不变性特征提取模块提取领域不变特征表示，包括：实例归一化层，分组白化层，空间注意力和通道注意力，
[0073]
具体步骤如下：
[0074]
步骤1，将多个数据集作为源域数据集进行模型训练，在每次迭代中对每个数据集选择一个批次进行一次迭代，将批次图像inputs输入到卷积 池化层中进行处理，处理后得到输入图像的特征表示x0。
[0075]
x0＝maxpool(relu(bn(conv3×3(input))))
ꢀꢀꢀꢀꢀ
(1)
[0076]
其中，maxpool(
·
)表示最大池化层，relu(
·
)表示relu激活函数，bn(
·
)表示批量归一化层，conv3×3(
·
)表示3
×
3卷积。
[0077]
步骤2，将特征表示x0输入到stage1中得到输出特征x1，对输出特征执行注意力感知的不变性特征提取模块module(
·
)，得到不变性特征f'1。
[0078]
x1＝stage1(x0)
ꢀꢀꢀꢀ
(2)
[0079]f′1＝module(x1)
ꢀꢀꢀꢀ
(3)
[0080]
其中，stage1表示resnet50的前三个瓶颈层。
[0081]
步骤2.1，使用实例归一化层对特征x1进行处理得到实例归一化特征
[0082]
步骤2.2，使用空间注意力模块提取对应的空间注意力权重根据空间注意力权重与实例归一化特征得到空间注意力特征
[0083]
步骤2.3，将实例归一化特征与空间注意力特征相加得到特征
[0084]
步骤2.4，将特征f1输入到分组白化层得到分组白化特征
[0085]
步骤2.5，并使用通道注意力模块提取对应的通道注意力权重根据通道注意力权重与分组白化特征得到通道注意力特征
[0086]
步骤2.6，将分组白化特征与通道注意力特征相加得到特征
[0087]
步骤3，将特征表示f'1输入到stage2中得到输出特征x2，对输出特征执行注意力感知的不变性特征提取模块module(
·
)，得到不变性特征f'2。
[0088]
x2＝stage2(x1)
ꢀꢀꢀꢀ
(4)
[0089]f′2＝module(x2)
ꢀꢀꢀ
(5)
[0090]
其中，stage2表示resnet50的第四到第七个瓶颈层。
[0091]
步骤3.1，使用实例归一化层对特征x2进行处理得到实例归一化特征
[0092]
步骤3.2，使用空间注意力模块提取对应的空间注意力权重根据空间注意力权重与实例归一化特征得到空间注意力特征
[0093]
步骤3.3，将实例归一化特征与空间注意力特征相加得到特征
[0094]
步骤3.4，将特征f2输入到分组白化层得到分组白化特征
[0095]
步骤3.5，使用通道注意力模块提取对应的通道注意力权重根据通道注意力权重与分组白化特征得到通道注意力特征
[0096]
步骤3.6，将分组白化特征与通道注意力特征相加得到特征
[0097]
步骤4，将特征表示f'2输入到stage3中得到输出特征x3，对输出特征执行注意力感知的不变性特征提取模块module(
·
)，得到不变性特征f'2。
[0098]
x3＝stage3(x2)#(6)
[0099]f′4＝module(x3)#(7)
[0100]
其中，stage3表示resnet50的第八到第十三个瓶颈层。
[0101]
步骤4.1，使用实例归一化层对特征x3进行处理得到实例归一化特征
[0102]
步骤4.2，使用空间注意力模块提取对应的空间注意力权重根据空间注意力权重与实例归一化特征得到空间注意力特征
[0103]
步骤4.3，将实例归一化特征与空间注意力特征相加得到特征
[0104]
步骤4.4，将特征f3输入到分组白化层得到分组白化特征
[0105]
步骤4.5，使用通道注意力模块提取对应的通道注意力权重根据通道注
意力权重与分组白化特征得到通道注意力特征
[0106]
步骤4.6，将分组白化特征与通道注意力特征相加得到特征
[0107]
步骤5，将特征f'3输入stage4中，得到输出特征f'4，将特征f'4进行广义平均池化，得到三元组特征f
tri
，计算三元组损失
[0108][0109]
其中，b表示批次内样本的数量，和表示样本b对其最硬正样本和最硬负样本之间的欧几里得距离，α＝0.3表示阈值，[
·
]

表示max(
·
,0)；
[0110]
步骤6，将三元组特征f
tri
经过批量归一化层和全连接层得到分类特征f
cls
，计算分类损失
[0111][0112]
其中，pb表示预测概率，qb表示样本b的真实标签y与标签labelb∈[1,class]是否相等，class表示类别数量；
[0113]
本发明步骤2.1，3.1，4.1中的实例归一化层表示如下：
[0114][0115]
其中，xi,i∈1,2,3表示stage1，stage2，stage3的输出特征，μ(
·
)和σ(
·
)分别表示每个样本特征在所有通道内所计算的均值和标准差，γ和β表示可学习参数。
[0116]
本发明步骤2.2，3.2，4.2中的空间注意力模块表示如下：
[0117][0118][0119][0120]
其中，c表示通道维度，表示实例归一化层的输出在通道c上的特征，i∈1,2,3，max(
·
)表示求最大值，concat[
·
,
·
]表示通道串联操作，conv(
·
)表示卷积操作，将两个通道变成一个通道，sigmoid(
·
)表示sigmoid激活函数。
[0121]
本发明步骤2.4，3.4，4.4中的分组白化层表示如下：
[0122][0123][0124]
[0125][0126][0127]
其中，表示stage1，stage2，stage3对应的实例归一化与空间注意力的相加特征，∏(
·i；g)表示组划分操作，将通道划分为g个组，g表示白化，表示分组后的特征，计算白化特征；每组c个通道，h表示图像高度，w表示图像宽度，和∑g分别表示每个组内的均值和协方差，1表示所有数为1的列向量，t表示转置，∈表示一个稳定数值的很小正数，i表示单位矩阵。本实施例划分64个组，能避免梯度爆炸现象发生。
[0128]
本发明步骤2.5，3.5，4.5中的通道注意力模块表示如下：
[0129][0130][0131][0132]
其中，maxpool(
·
)和avgpool(
·
)分别表示最大池化层和平均池化层，mlp(
·
)表示多层感知机，即conv-》relu-》conv，其中放缩参数ratio＝16。
[0133]
选择map(meanaverage precision，均值平均精度)和rank-1(匹配正确率)作为神经网络模型识别精度的量化指标；以market-1501、dukemtmc-reid、cuhk02、cuhk03、cuhksysu-person search数据集为源域数据集，计算viper、prid、grid、i-lids四个目标域数据集的平均性能，分别用snr(style normalization and restitution，风格正则化和恢复)、bot(bag of tricks，技巧袋基线)、ramoe(relevance-aware mixture ofexperts,相关感知的专家混合)、mda(metadistributionalignment，多元判别分析)等网络模型和本发明方法进行实验验证，得到表1所示的实验对比结果。
[0134]
表1不同方法的实验对比结果
[0135][0136]
实验结果表明，本发明方法的均值平均精度和匹配正确率均高于其他方法，这是由于本发明的基于注意力感知的领域泛化行人重识别不变性特征提取方法中，实例归一化和分组白化这两种不变性操作能够有效的消除领域特定的特征表示，同时在其上分别施加的空间注意力和通道注意力操作，能够对实例归一化和分组白化进行进一步的增强，有效地提取了领域不变的特征表示。
[0137]
上述实施例是本发明应用的一种，但本发明的实施方案不限于此。其他任何不脱离本发明的原理和精神的情况下的技术改变，都包含在本发明的保护范围之内。
[0138]
本发明未述及之处适用于现有技术。