一种基于联合训练策略的无监督行人重识别方法与流程

本发明属于人工智能与行人重识别领域，特别涉及一种基于联合训练策略的无监督行人重识别方法。


背景技术：

行人重识别主要是对行人图像进行匹配，针对给定的行人图像找出与其同一类别的行人图像。行人重识别技术在智慧城市，智能安保等领域发挥着至关重要的作用，可应用的领域如犯罪嫌疑人的跟踪，失踪人口的搜寻，人流量的统计等等。近年来，有监督行人重识别任务已经取得了很大的进步，但是由于大规模监控系统的需求量大，监控数据不断增加，加上昂贵的标记成本，对大量人工标注的依赖大大限制了它的应用。因此，无监督行人重识别任务逐渐受到越来越多的关注，它可以直接从未标记数据中学习，具有更强的可扩展性，而且在工业领域中具有很大应用价值。目前无监督行人重识别任务研究的主要方法一般分为三类，(1)使用无监督域自适应方法来调整源域和目标域之间的特征分布。(2)利用摄像机感知方法使模型可以学习到区分不同摄像机下样本特征的能力。(3)通过聚类方法在目标域上生成用于训练的伪标签，并给相似图像分配相同的伪标签。第一类把无监督行人重识别任务定义为迁移学习任务，这类任务通常使用源域和目标域两个数据集，并采用源域上有标记的数据集来辅助训练。后两类是在完全无监督的情况下训练行人重识别模型。相对比无监督域自适应行人重识别方法，完全无监督行人重识别方法更具应用价值。这是因为当源域和目标域的特征分布差别较大时，很难获得高质量的伪标签，往往会因为标签噪声太多而影响性能。而且现实应用中，有标签的样本获取难度较大，这样也限制了无监督域自适应方法的应用。完全无监督行人重识别方法可以只利用未标记的图像来训练深度模型，因此在工业领域上更具实用价值，且应用更为广泛。本发明主要针对完全无监督行人重识别领域，并提出一种基于联合训练策略的无监督行人重识别方法。近年来流行的无监督行人重识别方法主要是采用聚类算法对未标记样本分配伪标签，然后对实例特征库进行更新并计算质心，最后利用对比学习损失来优化模型。对比学习在无监督行人重识别领域中表现出了良好的性能。ge等人提出了一种自步对比学习框架，该框架通过动态更新包含源域和目标域数据集特征的混合特征库，然后进行对比学习(yixiao ge,feng zhu,dapeng chen,rui zhao,et al.self-paced contrastive learning with hybrid memory for domain adaptive object re-id.[c]//advances in neural information processing systems,neurips.2020:11309
–
11321)。由于视点、照明条件和背景等的变化，人的外观在不同摄像机视图中有所不同。通常，相同类型的行人在同一摄像机视图中相似度较高，在不同摄像机下外观差异较大，因此如何降低摄像机产生的域间隙也是无监督行人重识别的研究热点之一。目前的研究的方向通常在训练层面上让模型学习到摄像机间的不变性特征。yang等人提出了一种摄像机感知元学习来减轻噪声样本的负面影响，并学习了摄像机间不变性特征(fengxiang yang,zhun zhong,zhiming luo,
et al.joint noise-tolerant learning and meta camera shift adaptation for unsupervised person re-identification[c]//in proceedings of the ieee conference on computer vision and pattern recognition,cvpr.2021:4855
–
4864)。尽管现有方法是有效的，但忽略了两个重要因素。(1)标签噪声的影响。在每一次迭代的过程中，实例特征是不断被更新的，这不可避免地会引入标签噪声，因此准确的更新实例特征能够有效的优化实例特征的聚类分布，降低标签噪声的影响。(2)摄像机间不变性特征的学习。摄像机间的不变性特征是每个摄像机中最难区分相同身份的样本，具有较大的摄像机间域间隙。聚类算法很难将所有摄像机中具有相同身份的难例样本聚类到同一个集合中，而且在无监督行人重识别中缺乏真实标签，无法进行真正的有监督学习，这让模型无法有效的学习到摄像机间不变性特征。本发明旨在于解决上述两个关键的无监督行人重识别问题。对于第一个问题，本发明专利提出一种集中式动量更新策略，旨在于优化聚类分布来降低标签噪声的影响。对于第二个问题，本发明提出了一种摄像机间不变性特征学习方法，旨在让模型学习到可以区分不同摄像机下的不变性特征样本的能力，因此来降低摄像机间的域间隙并提升无监督行人重识别的性能。


技术实现要素：

为了解决上述技术问题，本发明的目的是提供一种基于联合训练策略的无监督行人重识别方法。该方法可以利用集中式动量更新策略来优化全局聚类分布，并且利用摄像机间不变性特征学习方法来让模型学习到可以区分不同摄像机下的不变性特征样本的能力，因此降低了标签噪声的影响和摄像机间的域间隙，提升无监督行人重识别的性能。一种基于联合训练策略的无监督行人重识别方法，包括以下步骤：步骤1：对行人图像进行划分，分成训练集和测试集；步骤2：使用加载预训练模型的cnn网络提取训练集的行人特征；步骤3：计算行人特征之间的相似度,并利用密度聚类算法对特征之间相似度进行聚类并生成伪标签；步骤4：去掉离群特征，利用伪标签和对应的行人特征构建新的行人训练集；步骤5：提取步骤4构建的行人训练集来初始化行人质心和摄像机质心。计算具有相同伪标签的行人特征的算数平均值作为行人质心，计算具有相同摄像机id的行人特征的算数平均值作为摄像机质心。步骤6：使用resnet50网络提取步骤4构建的行人训练集中的行人特征。接着执行集中式动量更新策略，该策略的具体内容为：计算具有相同伪标签的行人特征与步骤5得到的行人质心之间的相似度，把相似度最小的行人特征表示为边缘特征。利用边缘特征更新所属相同伪标签下的全部行人实例特征。然后进行摄像机间不变性特征学习，该方法的具体内容为：首先计算具有相同摄像机id的行人特征与步骤5得到的摄像机质心的相似度，把相似度最大的行人特征表示为摄像机不变性特征，然后利用该特征更新所属相同伪标签下的全部行人实例特征和所属相同摄像机id下的摄像机质心。最后利用更新后的行人实例特征计算行人质心。
步骤7：使用步骤4构建的行人训练集提取行人查询样本，并利用该样本和步骤6得到的行人质心计算对比学习损失并更新模型的参数。
[0017]
步骤8：将测试集图像输入步骤7经过训练得到的最佳cnn模型来提取图像的行人特征。通过计算查询集和测试集中行人图像的特征距离，即可得到无监督行人重识别结果。进一步地，步骤2的具体过程如下：选定的cnn为加载imagenet预训练模型的resnet50，并删除其最后一层分类层。把训练集所有图像输入到resnet50中，假设提取第i幅图像的行人特征φ(xi)，则形成的特征空间v(φ(x1),φ(x2),...,φ(xn))。进一步地，步骤3的具体过程如下：使用jaccard相似度公式计算行人特征之间的相似度，计算公式如下：其中，si和sj分别表示第i和第j个行人特征，j(si,sj)表示行人特征si和sj之间的相似度，∩表示交集，∪表示并集。得到行人特征之间的相似度之后利用密度聚类为每一个行人特征x＝{x1,x2,...,xm,x
m 1
,...,xn}分配伪标签y＝{y1,y2,...,ym,y
m 1
,...,yn}。进一步地，步骤4的具体过程如下：经过步骤3得到伪标签y＝{y1,y2,...,ym,y
m 1
,...,yn}和对应训练集中行人特征x＝{x1,x2,...,xm,x
m 1
,...,xn}，其中y＝{y
m 1
,...,yn}是聚类产生的离散值伪标签，对应的离散值特征为x＝{x
m 1
,...,xn}，最后去除掉离散值的训练集为x＝{x1,x2,...,xm}，对应的伪标签为y＝{y1,y2,...,ym}。进一步地，步骤5的具体过程如下：经过步骤4得到去除掉离散值的训练集x＝{x1,x2,
…
,xm}和伪标签y＝{y1,y2,
…
,ym}，提取第i类伪标签的行人特征xi＝{x1,x2,...,xn}，并计算该特征集合的平均值作为第i类行人质心，计算公式如下：其中，是一个d维向量，属于第i个聚类集合中的第n个行人实例特征。αi表示第i个聚类集合下的所有行人实例特征,|
·
|表示该聚类集合下的所有行人实例特征的数量，vi是第i类行人质心。提取第k个摄像机下的行人特征yk＝{y1,y2,...,ym}，并计算该特征集合的平均值作为第k个摄像机质心，计算公式如下：其中是一个d维向量，属于第k个摄像机集合中的第n个实例。βk表示第k个摄像机集合下的所有摄像机实例特征,|
·
|表示该摄像机下的所有摄像机实例特征的数量，ck是第k个摄像机质心。进一步地，步骤6的具体过程如下：经过步骤5得到的行人质心v和摄像机质心c，经过步骤4得到去除掉离散值的行人
特征x。把行人特征x输入到resnet50网络进行特征提取，然后执行集中式动量更新策略：首先计算提取后的特征与所属相同伪标签的行人质心之间的相似度，并选择相似度最小的边缘特征来更新所属相同伪标签下的全部行人实例特征。接着进行摄像机间不变性特征学习：首先计算相同摄像机id下的行人特征与摄像机质心的相似度，选择相似度最大的行人特征表示为摄像机不变性特征，并利用该特征更新所属相同伪标签下的全部行人实例特征和所属相同摄像机id的摄像机质心。最后利用更新后的行人实例特征计算行人质心，计算公式如下：公式如下：ck←
mcck (1-mc)pkꢀꢀ
(6)其中，vi是第i类行人质心，ck是第k个摄像机质心。m是动量更新参数，mc是摄像机动量更新参数。αi表示第i类聚类集合下的所有行人实例特征，βk表示第k个摄像机集合下的所有摄像机实例特征。pk表示第k个摄像机集合的不变性特征，表示第i类聚类集合的边缘特征。是一个d维向量，属于第i个聚类集合中的第n个行人实例特征，表示第i类聚类集合下的任意一个特征。进一步地，步骤7的具体过程如下：使用步骤5得到的行人质心与步骤4提取的训练集x中的行人查询样本进行对比学习计算损失，计算公式如下：其中，τ是温度超参数，f是行人查询样本，v

是正样本行人质心，k是聚类类别的数量，该损失函数对模型参数优化的目标是提高行人查询实例与对应相同伪标签行人质心的相似度，降低行人查询实例与不同伪标签行人质心的相似度。本发明的有益效果是：本发明通过采用行人质心来挖掘边缘特征，并利用该特征更新行人实例特征，这样可以降低标签噪声对聚类分布的影响。本发明通过采用摄像机质心来挖掘摄像机间不变性特征，并利用该特征去更新所属相同伪标签下的全部行人实例特征，这样可以降低聚类分布的摄像机间域间隙，提升模型分辨不同摄像机下具有相同行人身份的能力。最后通过对比学习损失优化模型参数，有效的提高了行人重识别的准确率。
附图说明
图1为本发明的基于联合训练策略的无监督行人重识别方法流程图；图2为本发明具体实施例的训练步骤流程图；图3为本发明具体实施例的测试步骤流程图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明，本发明包括但不仅限于下述实施例。如图1所示，本发明提供了一种基于联合训练策略的无监督行人重识别方法，其具体实现过程如下：1、行人图像特征提取如图2所示，利用cnn提取训练集特征，假设提取第i幅图像的行人特征φ(xi)，则形成的特征空间v(φ(x1),φ(x2),...,φ(xn))，选定的cnn为加载imagenet预训练模型的resnet50，然后删除其最后一层分类层。2、聚类分配伪标签使用jaccard相似度公式计算步骤2提取的行人特征之间的相似度，计算公式如下：其中，si和sj表示第i和第j个行人，j(si,sj)表示行人特征si和sj之间的相似度，∩表示交集，∪表示并集。得到行人特征之间的相似度之后利用密度聚类为每一个行人特征x＝{x1,x2,...,xm,x
m 1
,...,xn}分配伪标签y＝{y1,y2,...,ym,y
m 1
,...,yn}。3、生成伪标签训练集经过步骤3得到伪标签y＝{y1,y2,...,ym,y
m 1
,...,yn}和对应的行人特征x＝{x1,x2,...,xm,x
m 1
,...,xn}，去除掉离散值的训练集为x＝{x1,x2,...,xm}，对应的伪标签为y＝{y1,y2,...,ym}。4、质心初始化与摄像机质心和行人实例特征的更新提取步骤4构建的行人训练集x＝{x1,x2,...,xn}，提取第i类伪标签下的行人特征xi＝{x1,x2,...,xn}，并初始化计算行人质心v＝{v1,v2,...,vn}。提取第k个摄像机下的行人特征yk＝{y1,y2,...,ym}，并初始化计算摄像机质心c＝{c1,c2,...,cn}。质心计算公式如下：下：其中是一个d维向量，属于第i个聚类集合中的第n个行人实例特征。αi表示第i个聚类集合下的所有行人实例特征,|
·
|表示该聚类集合下的所有行人实例特征的数量。是一个d维向量，属于第k个摄像机集合中的第n个实例。βk表示第k个摄像机集合下的所有摄像机实例特征。vi是第i类行人质心，ck是第k个摄像机质心。经过步骤4得到行人特征输入到resnet50网络进行特征提取，计算经过步骤5得到的行人质心v和所属相同伪标签下的行人特征的相似度，把相似度最小的行人特征表示为边缘特征，利用该特征更新所属相同伪标签下的全部行人实例特征。同时计算相同摄像机
id下的行人特征与摄像机质心的相似度，把相似度最大的行人特征表示为摄像机不变性特征，利用该特征更新所属相同伪标签下的全部行人实例特征和所属相同摄像机id的摄像机质心。最后利用行人实例特征计算行人质心。计算公式如下：质心。最后利用行人实例特征计算行人质心。计算公式如下：ck←
mcck (1-mc)pkꢀꢀ
(14)其中，vi是第i类行人质心，ck是第k个摄像机质心。m是动量更新参数，mc是摄像机动量更新参数。αi表示第i个聚类集合下的所有行人实例特征，βk表示第k个摄像机集合下的所有摄像机实例特征。pk表示第k个摄像机集合的不变性特征，表示第i类聚类集合的边缘特征。是一个d维向量，属于第i个聚类集合中的第n个行人实例特征。5、对比损失训练网络使用步骤6更新后的行人质心与步骤4提取的训练集x中的行人查询样本进行对比学习计算损失，计算公式如下：其中，τ是温度超参数，f是行人查询样本，v

是正样本行人质心，k是聚类类别的数量。该损失函数对模型参数优化的方向是提高行人查询实例与对应相同伪标签行人质心的相似度，降低行人查询实例与不同伪标签行人质心的相似度。6、测试集行人检索如图3所示，把测试集行人图像输入到步骤7经过训练得到的最佳resnet50进行特征提取，通过计算查询集和测试集中行人特征之间的距离，即可得到无监督行人重识别结果。比如采用欧氏距离来衡量行人特征之间的距离，如果特征之间的欧氏距离越小说明两个行人图像越相似，归属为同一类行人的概率越大，最后得到无监督行人重识别结果。综上所述，本发明公开了一种基于联合训练策略的无监督行人重识别方法。本发明通过摄像机质心和行人质心来联合挖掘边缘特征和摄像机间不变性样本，并利用挖掘的特征来更新行人实例特征，然后通过对比学习优化模型参数。这样降低了标签噪声和摄像机间的域间隙对聚类分布的影响，使模型可以学习到区分摄像机间不变性特征样本的能力，并提升无监督行人重识别的性能。首先利用行人质心来挖掘处于聚类边缘的特征，并利用该特征更新行人实例特征，这样降低了标签噪声并提升了聚类效果。其次采用摄像机质心来挖掘摄像机间不变性特征，并利用该特征来更新所属相同伪标签下的全部行人实例特征。这样可以让模型学习到摄像机间不变性特征的分布，降低了摄像机间的域间隙。最后在边缘特征和摄像机间不变性特征联合更新行人实例特征的过程中使其逐
渐达到最佳的全局聚类分布，并通过对比学习使模型学习到更鲁棒的特征，有效的提高了行人重识别的准确率。