基于去相机偏差和动态更新记忆模型的无监督行人重识别方法

技术特征：
1.一种基于去相机偏差和动态更新记忆模型的无监督行人重识别方法，其特征是按如下步骤进行：步骤1、获取行人图像数据集(x1，x2，
…
，x
i
，
…
，x
n
)，其中，x
i
表示第i张行人图像，n表示图像总数；获取所述行人图像数据集中每张行人图像的相机标签，其中，第i张行人图像x
i
的相机标签记为y
j
表示第j种标签，m表示标签的种类数；步骤2、构建特征提取器，包括：骨干网络以及通道注意力模块；所述骨干网络以resnet-50网络为基础，并包括r个layer层，每个layer层中包含有不同数量的block块，每个block块中包含s个卷积层；利用imagenet数据集对所述特征提取器进行预训练，得到预训练后的特征提取器；步骤2.1、将所述第i张行人图像x
i
输入到预训练后的特征提取器中，并经过所述骨干网络，输出第i张行人图像的全局特征向量f
i
∈r
h
×
w
×
c
，h表示特征图f
i
的高度，w表示特征图f
i
的宽度，c表示特征图f
i
的通道数；步骤2.2、所述全局特征向量f
i
输入所述通道注意力模块中，并利用式(1)得到通道注意力向量a
i
∈r
c
：a
i
＝σ(w2δ(w1pool(f
i
)))
ꢀꢀꢀꢀꢀ
(1)式(1)中，pool表示全局平均池化操作、w1表示全连接操作、δ表示relu激活函数、w2表示另一个全连接操作、σ表示sigmoid函数；步骤2.3、将通道注意力向量a
i
与全局特征向量f
i
在对应通道维度相乘后得到行人特征c
i
＝a
i
·
f
i
，且c
i
∈r
h
×
w
×
c
，从而得到所有行人图像的行人特征c＝(c1，c2，
…
，c
i
，
…
，c
n
)；步骤2.4、利用dbscan聚类方法对所有行人图像的行人特征c进行聚类，从而得到行人图像数据集的伪标签图像数据集的伪标签表示第i张行人图像x
i
的伪标签，月的伪标签，月k为伪标签类别数目；步骤3、将聚类后的每个类别的伪标签下所有行人特征的均值作为每一类的类别特征并存储在记忆模型中，并记为{q1，q2，
…
，q
j
，
…
，q
k
}；其中，q
j
表示记忆模型中第j类的类别特征；步骤4、特征提取器的训练；步骤4.1、将所述第i张行人图像x
i
输入预训练后的特征提取器中，并得到通道注意力向量a
i
和行人特征c
i
，从而得到第i张行人图像x
i
的相机风格特征i
i
＝(1-a
i
)
·
f
i
；步骤4.2、利用式(2)得到第i张行人图像x
i
的相机预测概率p
i
：p
i
＝softmax(w
×
(gap(i
i
)) b)
ꢀꢀꢀꢀ
(2)式(2)中，softmax表示归一化指数函数，gap表示全局池化操作，w表示全连接层的权重，b表示全连接层的偏置；步骤4.3、利用式(3)得到第i张行人图像x
i
的相机预测损失的相机预测损失步骤4.4、利用所述第i张行人图像x
i
的行人特征c
i
与记忆模型中对应的类别特征构建第i张行人图像x
i
的对比学习损失步骤4.5、利用式(4)得到第i张行人图像x
i
的更新因子m
i
：
式(4)中，表示按批次输入网络的图片中与第i张行人图像x
i
伪标签一致的行人图片的行人特征的均值，σ表示按批次输入网络的图片中与第i张行人图像x
i
伪标签一致的行人图片的行人特征的方差，γ表示放缩因子；步骤4.6、利用式(5)得到记忆模型中更新后的第j类的类别特征步骤4.6、利用式(5)得到记忆模型中更新后的第j类的类别特征步骤4.7、利用式(6)建立全局损失函数l：式(6)中，λ表示的系数，b表示当前批次大小；表示当前批次中第s张行人图像x
s
的相机预测损失，表示当前批次中第s张行人图像x
s
的对比学习损失；步骤4.8、通过随机梯度下降法对预训练后的特征提取器进行优化求解，并计算全局损失函数l后进行梯度反向传播，直到达到全局损失函数l收敛为止，从而得到训练后的特征提取模型；步骤5、行人重识别的查询匹配；将待查询的行人图像输入训练后的特征提取模型并提取行人特征，再将所提取的行人特征与检索库中所有行人特征进行相似度计算，并按照相似度进行降序排序，从而在所得到的排序列表中找到与待查询的行人图像行人身份一致的行人图片。

技术总结
本发明公开了一种基于去相机偏差和动态更新记忆模型的无监督行人重识别方法，其步骤包括：1.基于一个可学习的通道注意力模块可以从特征图中提取出与只和相机相关的特征，从而在全局特征中去除相机偏差，得到能够代表行人的鲁棒性的特征；2.采用一种根据实例特征与类别特征之间的距离实现动态更新记忆模型的方法，使类别特征趋向于真实的特征点。本发明能在全局特征中去除相机偏差，保证类别特征更新的正确性，从而能提升行人重识别的准确率。从而能提升行人重识别的准确率。从而能提升行人重识别的准确率。


技术研发人员：张军 田新梅
受保护的技术使用者：中国科学技术大学
技术研发日：2022.01.17
技术公布日：2022/4/29