一种基于对比特征的行人重识别方法及系统与流程

1.本发明属于计算机视觉与模式识别技术领域，特别涉及一种基于对比特征的行人重识别方法及系统。


背景技术：

2.行人重识别是指给定现实场景中的一张行人图像，在大量的图像集合中找出与给定行人图像具有相同身份标识的行人图像；这类任务在智能安防系统与智能视频监控系统中具有很多有意义的现实应用(示例性的，在不同的摄像头拍摄的大量的行人中查找给定的人员)。
3.目前，传统的行人重识别方法存在以下两方面的缺陷：
4.(1)由于不同的视角、不同的光线条件和背景杂乱导致的外观变化很大，在大量的图像集合中查找具有给定行人身份的图像是具有挑战性的。
5.(2)训练行人重识别的模型密集且昂贵的手工标注过程，如何减小对数据标签的依赖是困难的。
6.具体的，现有无监督行人重识别方法在生成伪标签的过程中，大多依赖于迭代聚类和分类来估计伪标签；其中，宽松的聚类器容易将具有不同标签的样本估计为一个簇，紧凑的聚类器会将具有相同标签的样本估计为不同的簇，忽视了难样本的作用，会损害行人重识别模型的性能。


技术实现要素：

7.本发明的目的在于提供一种基于对比特征的行人重识别方法及系统，以解决上述存在的一个或多个技术问题。本发明提供的基于对比特征的行人重识别方法，具有较好的识别精确度。
8.为达到上述目的，本发明采用以下技术方案：
9.本发明提供的一种基于对比特征的行人重识别方法，包括以下步骤：
10.获取给定的查询图像和无标签行人图像集合，输入预训练好的卷积神经网络中，获得给定的查询图像的特征向量以及给定的无标签行人图像集合的特征向量集合；
11.基于给定的查询图像的特征向量和给定的无标签行人图像集合的特征向量集合，获得行人重识别结果；
12.其中，所述预训练好的卷积神经网络的获取步骤包括：
13.将无标签行人训练图像样本集合中的每个训练图像样本输入预构建的卷积神经网络中，获得训练图像样本特征集合；基于所述训练图像样本特征集合，使用多视角聚类策略挖掘获得具有高置信度伪标签的样本；基于获得的具有高置信度伪标签的样本，将具有相同伪标签的样本作为一个样本簇，生成每个样本簇的特征中心，将样本簇的特征中心记为样本簇的原型向量；
14.将当前训练样本输入预构建的卷积神经网络中，获得当前训练样本特征；基于当
前训练样本特征与每个样本簇之间的关系，为当前训练样本特征生成难原型向量集合；基于挖掘获得的高置信度伪标签，获取当前训练样本特征的高置信度正样本，将所述高置信度正样本转化为难正样本；
15.基于所述难原型向量集合与所述难正样本，采用动态交叉熵损失函数与相对熵损失函数，训练所述预构建的卷积神经网络，获得所述预训练好的卷积神经网络。
16.本发明方法的进一步改进在于，所述基于所述训练图像样本特征集合，使用多视角聚类策略挖掘获得具有高置信度伪标签的样本的步骤具体包括：
17.基于无标签行人训练图像样本集合，使用预设的数据增强方法生成多视角的训练图像样本集合；基于多视角的训练图像样本集合，获得多组不同的特征集合；
18.基于所述多组不同的特征集合，使用多视角聚类策略挖掘获得具有高置信度伪标签的样本。
19.本发明方法的进一步改进在于，所述基于所述训练图像样本特征集合，使用多视角聚类策略挖掘获得具有高置信度伪标签的样本的步骤具体包括：
20.使用不改变语义信息的第一数据转换方式对训练图像进行变换，获得训练图像样本集合，对应提取每个训练图像样本的特征并存入第一特征库中；使用不改变语义信息的第二数据转换方式对训练图像进行变换，获得训练图像样本集合，提取对应的训练图像样本的特征存入第二特征库中；其中，第一特征库和第二特征库分别表示为：式中，n表示训练图像样本集合中图像的个数，m1表示存储的由预构建的卷积神经网络q从由数据强化方式t1转换的训练样本提取的特征，m2表示存储的由预构建的卷积神经网络q由数据强化方式t2转换的训练样本提取的特征，i表示第i个训练图像样本；
21.根据计算获得输入训练图像样本与所有训练图像样本之间的第一余弦相似度列表；基于所述第一余弦相似度列表，使用预设聚类算法为无标签行人训练图像样本分配第一组伪标签y1；根据计算获得输入训练图像样本与所有训练图像样本之间的第二余弦相似度列表；基于所述第二余弦相似度列表，使用预设聚类算法为无标签行人训练图像样本分配第二组伪标签y2；
22.无标签行人训练图像样本的最终伪标签表示为：
[0023][0024]
式中，表示图像样本xi在y1中的伪标签，表示xi在y2中的伪标签，yi表示xi最终的高置信度伪标签。
[0025]
本发明方法的进一步改进在于，所述预设聚类算法为dbscan聚类算法。
[0026]
本发明方法的进一步改进在于，所述基于获得的具有高置信度伪标签的样本，将具有相同伪标签的样本作为一个样本簇，生成每个样本簇的特征中心，将样本簇的特征中心记为样本簇的原型向量中，
[0027]
原型向量的计算表达为：
[0028]
c＝{cj}
[0029][0030]
式中，c表示各个样本簇的原型的集合，cj表示第j个簇的原型向量，cj表示第j个样本簇，j表示所述样本簇的编号。
[0031]
本发明方法的进一步改进在于，所述基于当前训练样本特征与每个样本簇之间的关系，为当前训练样本特征生成难原型向量集合中，
[0032]
难原型向量集合表示为，式中，c*表示生成的难原型向量集合，xi表示当前的查询样本，lc为所使用的动态交叉熵损失函数；
[0033]
采用对抗训练的方式，对-lc使用随机梯度下降算法对原始簇原型进行优化，获得c*，过程表示为式中，η表示难原型的更新率；v表示当前的迭代次数，在经过v次迭代后获得c
(v)
，c
(v)
为查询样本特征生成的难原型向量集合c*；
[0034]
lc(xi；c)＝-logsoftmax(q(t1(xi)
t c/τ))，
[0035]
式中，τ表示模式参数，q表示预构建的卷积神经网络，c表示原型向量，t1表示数据增强方式，xi表示当前训练样本，t为矩阵的转置操作。
[0036]
本发明方法的进一步改进在于，所述基于挖掘获得的高置信度伪标签，获取当前训练样本特征的高置信度正样本，将所述高置信度正样本转化为难正样本的步骤具体包括：
[0037]
根据挖掘获得的高置信度伪标签，为当前训练样本特征随机选取一个具有相同伪标签的样本作为正样本，并生成当前训练样本特征的难正样本，难正样本表示为，式中，表示生成的特定于当前查询样本的难正样本，x
p
表示选取的高置信度简单正样本，lr表示使用的相对熵损失函数；
[0038]
式中，v(f)＝softmax(f
t
·
c/τ)表示特征f与c的相似度分布，t2为与t1不同的另一种数据增强方式，用于保持特征的多样性；
[0039]
采用对抗训练的方式对原样本进行更新获得过程表示为
[0040]
式中，ηd表示难正样本的更新率，z表示当前的迭代次数，在经过z次迭代后得出为所得的特定于当前查询样本的难正样本
[0041]
本发明方法的进一步改进在于，所述基于所述难原型向量集合与所述难正样本，采用动态交叉熵损失函数与相对熵损失函数，训练所述预构建的卷积神经网络，获得所述预训练好的卷积神经网络具体包括：
[0042]
将当前训练样本特征生成的难原型送入原型对比损失函数中，将当前训练样本特征生成的难正样本送入相对熵损失函数中，联合训练所述预构建的卷积神经网络，获得所述预训练好的卷积神经网络：
[0043]
其中，总的损失函数表示为，式中，lc为所使用的
动态交叉熵损失项，lr为所使用的相对熵损失项，c*为生成用于训练过程的难原型，x
p
*表示生成的用于训练过程的难正样本；
[0044]
通过随机梯度下降算法，优化预构建的卷积神经网络，优化目标为式中，θ表示为预构建的卷积神经网络的参数，l为用于优化的总的损失函数；
[0045]
同时更新特征库m：
[0046]
式中，m
(t)
[i]表示在第t个训练迭代时存储在特征库m中的第i个特征向量，x
p
为当前训练样本xi的正样本，m
(t)
[i]为进行标准化操作之后的特征向量，表示为用于更新特征的向量，该特征具有与当前训练样本相同的语义特征，γ表示特征库m的更新率。
[0047]
本发明方法的进一步改进在于，所述基于给定的查询图像的特征向量和给定的无标签行人图像集合的特征向量集合，获得行人重识别结果的步骤具体包括：
[0048]
根据给定的查询图像的特征向量与给定的无标签行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取给定的无标签行人图像集合关于给定的查询图像的排序列表；
[0049]
基于所述排序列表获得行人重识别结果。
[0050]
本发明提供的一种基于对比特征的行人重识别系统，包括：
[0051]
特征获取模块，用于获取给定的查询图像和无标签行人图像集合，输入预训练好的卷积神经网络中，获得给定的查询图像的特征向量以及给定的无标签行人图像集合的特征向量集合；
[0052]
识别结果获取模块，用于基于给定的查询图像的特征向量和给定的无标签行人图像集合的特征向量集合，获得行人重识别结果；
[0053]
其中，所述预训练好的卷积神经网络的获取步骤包括：
[0054]
将无标签行人训练图像样本集合中的每个训练图像样本输入预构建的卷积神经网络中，获得训练图像样本特征集合；基于所述训练图像样本特征集合，使用多视角聚类策略挖掘获得具有高置信度伪标签的样本；基于获得的具有高置信度伪标签的样本，将具有相同伪标签的样本作为一个样本簇，生成每个样本簇的特征中心，将样本簇的特征中心记为样本簇的原型向量；
[0055]
将当前训练样本输入预构建的卷积神经网络中，获得当前训练样本特征；基于当前训练样本特征与每个样本簇之间的关系，为当前训练样本特征生成难原型向量集合；基于挖掘获得的高置信度伪标签，获取当前训练样本特征的高置信度正样本，将所述高置信度正样本转化为难正样本；
[0056]
基于所述难原型向量集合与所述难正样本，采用动态交叉熵损失函数与相对熵损失函数，训练所述预构建的卷积神经网络，获得所述预训练好的卷积神经网络。
[0057]
与现有技术相比，本发明具有以下有益效果：
[0058]
本发明具体提供了一种基于由易入难的对比特征的行人重识别方法，区别于传统的深度学习方法需要大量且密集的手工标注信息，本发明的方法可以在完全不需要手工标
注信息的情况下训练出鲁棒的模型，具有较好的识别精确度。具体的，针对目前无监督方法在进行基于聚类方法预测伪标签时，宽松的聚类方法会向聚类的训练簇中引入大量的噪音，而紧凑的聚类方法通常会将会将多个具有相同标签的图像分为不同的类别，损害模型的性能这一具体技术问题；本发明构建了一种基于由易入难的对比特征的行人重识别方法，将具有高置信度伪标签的简单样本转化为难样本，缓解现有基于聚类方法预测的伪标签的困境。
[0059]
本发明中，使用多视角聚类策略从无监督训练数据集中挖掘隐藏的具有高置信度伪标签的简单样本，将挖掘的高置信度伪标签的简单样本转化为用于模型训练的具有高置信度伪标签的难样本，可避免错误的聚类结果误导模型的训练过程。
[0060]
本发明中，将给定的无标签训练图像集合，使用多视角聚类策略为训练图像分配高置信度伪标签，随后使用难样本生成模块将具有高置信度伪标签的简单样本转换为难样本，最后将生成的难样本用于所述的卷积神经网络的训练，增强特征的表达能力，为解决无监督行人重识别任务中难样本挖掘这个困难任务提供了一种新的思路。
附图说明
[0061]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面对实施例或现有技术描述中所需要使用的附图做简单的介绍；显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0062]
图1是本发明实施例的一种基于由易入难的对比特征的行人重识别方法的流程示意图；
[0063]
图2是本发明实施例中，将原始原型向量集合转化为难原型向量集合的流程示意图；
[0064]
图3是本发明实施例中，将随机选取的具有高置信度伪标签的简单正样本转化为难正样本的流程示意图；
[0065]
图4是本发明实施例中，不同方法在market-1501数据集上对行人重识别随着训练迭代的各项指标变化的示意图；
[0066]
图5是本发明实施例中，不同方法在dukemtmc-reid数据集上对行人重识别随着训练迭代的各项指标变化的示意图。
具体实施方式
[0067]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0068]
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0069]
下面结合附图对本发明做进一步详细描述：
[0070]
请参阅图1，本发明实施的一种基于由易入难的对比特征的行人重识别方法，包括如下步骤：
[0071]
步骤1，采集获取无标签的行人图像。
[0072]
步骤2，初始化两个空的特征库。
[0073]
步骤3，建立卷积神经网络，给出一个包含单一目标的训练图像序列x＝{xi}
i＝1,...,n
，其中xi表示第i张训练图像，将训练图像序列x中的每个图像进行两组不影响语义信息的数据转化，得到两组训练样本，分别输入预构建的卷积神经网络中，用于提取两组行人图像的特征，使用卷积神经网络对行人图像提取特征并将特征存储在特征库。
[0074]
本发明实施例示例性可选的，步骤3具体包括：
[0075]
步骤3.1，将步骤1中采集的图像送入卷积神经网络中，生成对应的特征；示例性可选的，使用resnet50提取图像的特征向量{vi}
i＝1,...,n
，生成2048维的特征。
[0076]
步骤3.2，将步骤3.1中产生的特征按照对应的图像索引存储入特征库中；示例性可选的，生成初始化的特征库表示为：式中，n表示无标签训练集中图像的个数，m1表示存储的由预构建的卷积神经网络q从由数据强化方式t1转换的训练样本提取的特征，m2表示存储的由预构建的卷积神经网络q由数据强化方式t2转换的训练样本提取的特征。
[0077]
步骤4，基于步骤3中生成的两组多视角特征，使用多视角聚类策略根据存储的不同视角的特征库对无标签训练数据分配高置信度的伪标签。
[0078]
本发明实施例示例性可选的，步骤4具体包括：
[0079]
步骤4.1，根据计算获得输入训练图像与所有训练图像之间的余弦相似度列表，使用dbscan聚类算法根据这组相似度为无标签的训练样本分配伪标签y1。
[0080]
步骤4.2，根据计算获得输入训练图像与所有训练图像之间的相似度列表并使用dbscan聚类算法估计第二组伪标签y2。
[0081]
步骤4.3，根据得出的在不同视角的特征下估计的两组伪标签，计算获得最终的高置信度伪标签，所述的最终伪标签表示为：式中，表示图像样本xi在y1中的伪标签，表示xi在y2中的伪标签，yi表示xi最终的高置信度伪标签。
[0082]
步骤5，使用步骤4生成的伪标签，将具有相同伪标签的样本当作一个簇，并生成该簇的特征中心，将簇的特征中心记为簇的原型向量；根据每个查询特征与现有的每个样本簇之间的关系为查询特征生成特定的难原型向量集合。
[0083]
请参阅图2，本发明实施例示例性可选的，步骤5具体包括：
[0084]
步骤5.1，根据步骤4.3中挖掘的高置信度伪标签计算原始的原型向量集合；将具
有相同伪标签的样本当作一个簇，并将求取簇中各个样本特征向量的原型向量，训练簇的原型向量集合的表示为：
[0085]
c＝{cj}
[0086][0087]
式中，c表示各个样本簇的原型的集合，cj表示第j个簇的原型向量，cj表示第j个样本簇，j表示所述样本簇的编号。
[0088]
步骤5.2，使用难样本生成模块将步骤5.1生成的原型向量集合转化为难原型向量集合。
[0089]
难原型表示为：
[0090][0091]
其中，c*表示生成的难原型集合，xi表示当前的查询样本，lc为所使用的损失函数，选用原型对比损失函数作为lc，所述的损失函数表示为：
[0092]
lc(xi；c)＝-logsoftmax(q(t1(xi)
t
c/τ))，其中τ表示模式参数。
[0093]
为了获得c*，采用对抗训练的方式，对-lc使用随机梯度下降算法对所述的原始簇原型进行优化，这个过程可以表示为：式中η表示难原型的更新率，其值是由所述的查询样本与原型之间的关系决定的，当该关系为正时，η＝η
p
；否则，η＝ηn。v表示当前的迭代次数，在经过v次迭代后，得出c
(v)
，即为所得的特定于当前查询样本的难原型向量集合c*。
[0094]
步骤6，使用步骤4生成的伪标签，为每个查询样本挑选一个高置信度的简单正样本。随后使用难样本生成模块将该高置信度的简单正样本转化为难正样本。
[0095]
请参阅图3，本发明实施例示例性可选的，步骤6具体包括：
[0096]
步骤6.1，根据步骤4.3中挖掘的高置信度伪标签，随机选取与给定查询图像具有相同伪标签的正样本；
[0097]
步骤6.2，将步骤6.1选取的高置信度的简单正样本，使用难样本生成模块将选取的正样本转化为难正样本。难正样本可以表示为：
[0098][0099]
式中，表示生成的特定于当前查询样本的难正样本，x
p
表示选取的高置信度简单正样本，lr表示使用的损失函数，选用相对熵损失作为样本之间的对比损失函数，所述的损失函数表示为：式中v(f)＝softmax(f
t
·
c/τ)表示特征f与c的相似度分布。
[0100]
为了获得我们采用对抗训练的方式对原样本进行更新，这个过程可以表示为：
[0101]
式中，ηd表示难正样本的更新率，z表示当前的迭代次数，在经过z次迭代后，得出即为所得的特定于当前查询样本的难正样本
[0102]
步骤7中，训练卷积神经网络并同时更新已有特征库。
[0103]
本发明实施例示例性可选的，步骤7的具体步骤包括：
[0104]
步骤7.1，根据步骤5.2生成的特定于查询样本的难原型向量集合以及步骤6.2生成的特定于查询样本的难正样本计算损失函数，计算如下损失函数：
[0105]
步骤7.2，通过随机梯度下降算法，优化预构建的卷积神经网络。优化目标为，式中，θ表示为预构建的卷积神经网络的参数，l为所述的损失函数。
[0106]
同时更新特征库m1：
[0107][0108]
以及更新特征库m2：
[0109][0110]
式中，表示为用于更新特征的向量，该特征具有与当前查询样本相同的语义特征。γ表示特征库m1以及m2的更新率。
[0111]
针对目前无监督方法在进行基于聚类方法预测伪标签时，宽松的聚类方法会向聚类的训练簇中引入大量的噪音，而紧凑的聚类方法通常会将会将多个具有相同标签的图像分为不同的类别，损害模型的性能这一具体技术问题。本发明实施例构建了一种基于由易入难的对比特征的行人重识别方法，将具有高置信度伪标签的简单样本转化为难样本，缓解现有基于聚类方法预测的伪标签的困境。本发明中，使用术语“正样本”表示与给定查询样本具有相同伪标签的样本，使用术语“负样本”表示给定查询样本具有不同伪标签的图像。本发明中，将给定的无标签训练图像集合是使用多视角聚类策略为训练图像分配高置信度伪标签，随后使用难样本生成模块将具有高置信度伪标签的简单样本转换为难样本，最后将生成的难样本用于所述的卷积神经网络的训练，增强特征的表达能力，为解决无监督行人重识别任务中难样本挖掘这个困难任务提供了一种新的思路。
[0112]
请参阅图1至图5，本发明实施例的一种基于由易入难的对比特征的行人重识别方法，要实现的目标是已知一组无序的大型行人图像集合以及一张给定的查询图像，从这个给定的大型行人图像集合中找出与查询图像具有相同身份标识的图像。
[0113]
本发明实施例的行人重识别方法，具体步骤包括：
[0114]
首先，使用卷积神经网络(为方便探索示例性优选的，本发明采用的卷积神经网络为深度残差网络(resnet50)，后卷积神经网络均指代深度残差网络)提取查询图像的特征向量以及对给定的大型行人图像集合计算一组特征向量集合。更具体地，将查询图像输入卷积神经网络中，得到2048维的查询特征，随后将给定的大型行人图像集合中的每一个图像输入同样的卷积神经网络中，计算一组2048维的特征集合。
[0115]
随后，根据查询特征与特征集合中的各个特征之间的欧式距离获取该图像特征集合关于查询图像的排序列表，并可认为该排序列表的前k位图像与给定的查询图像具有相同的身份标识。
[0116]
本发明实施例中，为了实现上述的目标，需要依据训练算法对卷积神经网络进行优化。值得注意的是，与主流的深度学习训练方法需要大量的且充分的标注信息不同，本发明实施例的训练过程中不需要任何手工标注数据就能训练出良好的模型，极大的节省了标注成本。
[0117]
更具体的，本发明实施例的卷积神经网络的训练过程包括以下步骤：
[0118]
步骤1，给定一组无标签行人训练图像，仅仅知道这组图像的总个数，而不知道这组训练图像包含的行人标识的个数。
[0119]
步骤2，初始化两个空的特征库，该特征库用于存储所有行人训练图像的特征。
[0120]
步骤3，将步骤1中所有的无标签行人图像进行两组不影响语义信息的数据转化，得到两组训练样本，分别输入预构建的卷积神经网络中，用于提取两组行人图像的特征，在第一次执行步骤3时，将所述的两组特征分别存入不同的初始特征库中。
[0121]
步骤4，基于步骤3中生成的两组多视角特征，使用多视角聚类策略根据存储的不同视角的特征库对无标签训练数据分配高置信度的伪标签。
[0122]
步骤5，使用步骤4生成的伪标签，将具有相同伪标签的样本当作一个簇，并生成该簇的特征中心，将簇的特征中心记为簇的原型向量。使用设计的难样本生成模块根据每个查询特征与现有的每个样本簇之间的关系为查询特征生成特定的难原型向量集合。
[0123]
步骤6，使用步骤4生成的伪标签，为每个查询样本挑选一个高置信度的简单正样本。随后使用难样本生成模块将该高置信度的简单正样本转化为难正样本。
[0124]
步骤7，使用步骤5生成的特定于给定查询样本的难原型集合以及步骤6生成的特定于查询样本的难正样本输入对比损失函数中，联合对构建的卷积神经网络进行训练，在训练神经网络的同时，对模型的特征库进行更新。
[0125]
返回步骤3，重复步骤3-7，直至步骤7中卷积神经网络的损失值收敛。
[0126]
本发明实施例的步骤3中，所述将特征存储在特征库中的具体步骤包括：
[0127]
步骤3.1，将步骤1给出的图像进行两组不影响语义的数据变化，生成对应的两组特征集合；这两组特征集合表示为：式中，n表示无标签训练集中图像的个数。t1与t2表示两组不同的数据增强方式。xi表示当前的查询样本。
[0128]
步骤3.2，将步骤3.1中产生的特征按照对应的图像索引存储入初始的特征库中。该特征库表示为：式中，n表示无标签训练集中图像的个数。m1表示存储的由预构建的卷积神经网络q从由数据强化方式t1转换的训练样本提取的特征。类似地，m2表示存储的由预构建的卷积神经网络q由数据强化方式t2转换的训练样本提取的特征。
[0129]
本发明实施例的步骤4中，生成高置信度伪标签的具体步骤包括：
[0130]
步骤4.1，根据计算获得输入训练图像与所有训练图像之间的余弦相似度列表，使用dbscan聚类算法根据这组相似度为无标签的训练样本分配伪标签y1。
[0131]
步骤4.2，根据计算获得输入训练图像与所有训练图像之间的相似度列表并使用dbscan聚类算法估计第二组伪标签y2。
[0132]
步骤4.3，根据得出的在不同视角的特征下估计的两组伪标签，计算获得最终的高置信度伪标签，所述的最终伪标签表示为：式中，表示图像样本xi在y1中的伪标签，表示xi在y2中的伪标签，yi表示xi最终的高置信度伪标签。
[0133]
本发明实施例的步骤5中，根据估计的高置信度伪标签生成难原型向量集合的具体步骤包括：
[0134]
步骤5.1，根据步骤4.3中挖掘的高置信度伪标签计算原始的原型向量集合；将具有相同伪标签的样本当作一个簇，并将求取簇中各个样本特征向量的原型向量，训练簇的原型向量集合的表示为：
[0135]
c＝{cj}
[0136][0137]
式中，c表示各个样本簇的原型的集合，cj表示第j个簇的原型向量，cj表示第j个样本簇，j表示所述样本簇的编号。
[0138]
步骤5.2，使用难样本生成模块将步骤5.1生成的原型向量集合转化为难原型向量集合。
[0139]
难原型表示为：
[0140]
其中，c*表示生成的难原型集合，xi表示当前的查询样本，lc为所使用的损失函数，选用原型对比损失函数作为lc，所述的损失函数表示为：lc(xi；c)＝-logsoftmax(q(t1(xi)
t
c/τ))，其中τ表示模式参数。
[0141]
为了获得c*，采用对抗训练的方式，对-lc使用随机梯度下降算法对所述的原始簇原型进行优化，这个过程可以表示为：式中，η表示难原型的更新率，其值是由所述的查询样本与原型之间的关系决定的，当该关系为正时，η＝η
p
；否则，η＝ηn。v表示当前的迭代次数，在经过v次迭代后，得出c
(v)
，即为所得的特定于当前查询样本的难原型向量集合c*。
[0142]
本发明实施例的步骤6中，随机选取与给定查询图像具有相同伪标签的正样本，并使用难样本生成模块将所述的正样本转化为特定于给定查询样本的难正样本的具体步骤包括：
[0143]
步骤6.1，根据步骤4.3中挖掘的高置信度伪标签，随机选取与给定查询图像具有相同伪标签的正样本；
[0144]
步骤6.2，将步骤6.1选取的高置信度的简单正样本，使用难样本生成模块将选取的正样本转化为难正样本。难正样本可以表示为：式中，表示生成的特定于当前查询样本的难正样本，x
p
表示选取的高置信度简单正样本，lr表示使用的损失函数，选用相对熵损失作为样本之间的对比损失函数，所述的损失函数表示为：
[0145]
式中，v(f)＝softmax(f
t
·
c/τ)表示特征f与c的相似度分布。
[0146]
为了获得采用对抗训练的方式对原样本进行更新，这个过程可以表示为：
[0147]
式中，ηd表示难正样本的更新率，z表示当前的迭代次数，在经过z次迭代后，得出即为所得的特定于当前查询样本的难正样本
[0148]
本发明实施例的步骤7中，训练预构建的卷积神经网络的具体步骤包括：
[0149]
步骤7.1，根据步骤5.2生成的特定于查询样本的难原型向量集合以及步骤6.2生成的特定于查询样本的难正样本计算损失函数，计算如下损失函数：
[0150][0151]
步骤7.2，通过随机梯度下降算法，优化预构建的卷积神经网络。优化目标为：
[0152]
式中，θ表示为预构建的卷积神经网络的参数，l为所述的损失函数。
[0153]
更新特征库m1：
[0154]
以及更新特征库m2：
[0155]
式中，表示为用于更新特征的向量，该特征具有与当前查询样本相同的语义特征。γ表示特征库m1以及m2的更新率。
[0156]
请参阅图4和图5，表1a、1b分别是本发明实施例的定量的实验结果，表1a为在market-1501数据集下该发明的实验结果，表1b为在dukemtmc-reid数据集下该发明的实验结果。
[0157]
rank-1，rank-5，rank-10与map都是衡量生成图像的质量常用的指标，数值越大表示算法的性能越高。从表1a中可以看到，在market-1501数据集上，用本发明生成的指标上rank-1，rank-5，rank-10与map均达到了最高。从表1b中可以看到，在dukemtmc-reid数据集上，用本发明生成的指标上rank-1，rank-5，rank-10与map均达到了最高。综上所述，与其他方法相比较，本发明的方法在无监督行人重识别问题上获得了较大的提升。
[0158]
表1a.在market-1501数据集下该方法的实验结果
[0159][0160]
表1b.在dukemtmc-reid数据集下该方法的实验结果
[0161][0162]
综上，本发明适用于无监督训练行人重识别框架，通过在大型图像集合中找出与给定图像相同身份的图像。本发明的由易入难的特征对比学习的行人重识别方法，首先利用多视角聚类方法为无标签训练图像分配高置信度的伪标签。根据这些高置信度的伪标签，难样本生成模块将具有高置信度伪标签的简单样本转化为针对与给定查询标签的难原型向量集合以及难正样本。最后，将生成的难本用于构建的卷积神经网络的训练过程，同时更新现有的特征库。本发明可以在完全不需要训练标签的情况下为行人重识别模型生成高
质量的伪标签，最终使得重识别性能得到较大提升。
[0163]
下述为本发明的装置实施例，可以用于执行本发明方法实施例。对于装置实施例中未纰漏的细节，请参照本发明方法实施例。
[0164]
本发明实施例的一种基于由易入难的对比特征的行人重识别系统，包括：
[0165]
特征获取模块，用于将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；
[0166]
高置信度伪标签挖掘模块，用于通过多视角聚类方法为给定的无标签训练图像集合分配高置信度的伪标签，减小簇中的噪声标签对模型优化过程的影响；
[0167]
难样本生成模块，用于将具有高置信伪标签的简单训练样本转化为难样本。更具体的，根据给定的查询样本与各个簇之间的关系，生成特定于所述查询样本的难原型向量集合，并随机选取一个具有与所述查询样本具有相同高置信度伪标签的样本作为简单正样本，并将该正样本转化为难正样本。
[0168]
识别结果获取模块，用于根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果；
[0169]
其中，所述特征获取模块中，训练好的卷积神经网络的获取步骤包括：
[0170]
将无标签行人训练图像样本集合中的每个训练图像样本均输入预构建好的卷积神经网络中，对应获得每个训练图像样本的特征并存入特征库中；
[0171]
在训练的每次迭代过程之前，使用不同的数据增强方法生成多视角的训练图像，生成两组不同的特征库。随后基于这两组存储不同视角的特征库使用多视角聚类策略挖掘具有高置信度伪标签的样本。
[0172]
在训练的每次迭代过程中，将具有相同伪标签的样本当作一个簇，并生成该簇的特征中心，将簇的特征中心记为簇的原型向量。首先，难样本生成模块根据每个查询特征与现有的每个样本簇之间的关系为查询特征生成特定的难原型向量集合。随后，根据挖掘的高置信度伪标签，为每个查询样本挑选一个高置信度的正样本。难样本生成模块将该高置信度的简单正样本转化为难正样本。
[0173]
基于由难样本生成模块生成的难原型向量集合和难正样本，采用对比损失函数，训练所述的卷积神经网络。
[0174]
综上所述，本发明实施例公开了一种基于由易入难的对比特征的行人重识别方法及系统，所述方法具体包括以下步骤：将给定的查询图像和行人图像集合输入预训练好的卷积神经网络中，获得所述给定的查询图像的特征向量以及给定的行人图像集合的特征向量集合；根据所述查询图像的特征向量与所述行人图像集合的特征向量集合中的各个特征之间的欧式距离，获取所述给定的行人图像集合关于所述查询图像的排序列表；基于所述排序列表获得行人重识别结果。本发明提出的由易入难的特征对比学习的行人重识别方法，通过将具有高置信度伪标签的样本转化为具有高置信度伪标签的难原型向量集合以及难正样本，缓解了目前通用的聚类算法面临的无法为高质量的难训练样本分配高置信度伪标签的困境。
[0175]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0176]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0177]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0178]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0179]
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。