基于联合局部特征判别性学习的无监督目标行人重识别方法与流程

1.本发明涉及一种基于联合局部特征判别性学习的无监督目标行人重识别方法，属于计算 机视觉领域。


背景技术：

2.在基于深度学习的行人重识别研究中，局部特征的好坏对行人重识别模型学习无标签数 据特征也有一定的影响。为了学习更有效的局部特征，提出一种基于联合局部特征判别性学 习的无监督目标行人重识别方法。通过联合局部特征提取网络对行人特征进行水平动态划分 并提取对应区域特征得到两种局部特征组，减少行人姿态变化和摄像头角度对局部特征对齐 的影响。采用局部特征判别损失函数指导局部特征进行判别性学习，用以提高无监督行人重 识别模型对局部特征的学习能力。为了减少不同行人相似外形的局部特征对模型学习的影响， 用级联特征判别损失函数计算特征之间的相对距离和绝对距离，拉近相似特征，推远不同特 征，进一步增强无监督行人重识别模型的识别性能。
[0003][0004]


技术实现要素：

[0005]
为了解决背景技术中存在的一些问题，本发明提供了一种基于联合局部特征判别性学习 的无监督目标行人重识别方法。
[0006]
1.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：联合局 部特征提取网络；
[0007]
为了使网络根据图像中行人姿态角度变化提取出不同区域的局部特征，减少局部特征不 能很好对齐问题，在resnet50网络后加入了两个并行的空间变换器进行局部区域的划分并 使用简单的卷积神经网络进行特征提取将图像的中间特征映射送入多个定位网络中，对特征 映射进行空间变换与原图像相比，减少了网络计算复杂度；定位网络由核大小为3
×
3卷积 层和两个全连接层组成，使用relu作为该网络激活函数，最后一个全连接层初始化偏置， 为了得到两种划分方式的局部采样网格，利用定位网络分别预测出两组空间位置参数 θ＝{θ1，θ2，...，θm}和η＝{η1，η2，...，ηn}；
[0008]
为了使预测的空间位置能够获取有效的细粒度特征并在空间中对齐，这里根据人体垂直 方向的各部位对两个空间变换器中的位置参数进行预测；人体可以分为头部、上身和下身三 部分，通常人体为上身短下身长，其头部占比最小，其次是上身，然后是下身，但是在摄像 头下，由于摄像头角度的变化和行人姿态的变化，得到的图像中行人比例就会发生变化，比 如出现上身长下身短的问题，同一行人划分出来的局部区域可能会出现无法对齐的情况；
[0009]
定位网络首先预测三组空间位置参数对行人进行水平方向不等比例的划分得到纵向宽 比接近为1:2:3的三块局部区域，从上往下得到的局部特征，使头部所占比例最小，
中间接 近正常视角上身的大小，最后包含行人臀部以下的特征信息，网络可以根据图像中行人的变 化具体情况对图像空间中行人划分出不同的局部区域，可以很好地应对行人比例、姿态等变 化造成的局部特征不能对齐问题；
[0010]
另外行人上身部分和下身部分又包含较为详细的行人信息，可分为胸部、腹部、大腿、 小腿及脚等部位，其不同的部位可能包含的特征信息不同，精细的局部区域划分得到的特征 信息可以更好地使模型提取图像中的细粒度特征，因此，又考虑根据人体包含的几个部位预 测六组空间位置参数将图像划分出六块局部区域，便于网络挖掘行人局部区域的更有效的细 粒度特征信息，结合两种局部特征信息有利于提高模型的鲁棒性和识别精确度，这里位置参 数采用大小为2
×
3的仿射变换，通过对特征映射进行裁剪操作获取局部区域；区域；其中a
θ
，a
η
分别表示两组定位网络中的未知参数，通过预测参数a,b,c,d对图像 进行局部剪裁；
[0011]
根据预测的参数对对特征映射进行裁剪，使其根据图像中行人的空间位置，划分出不同 位置和尺度的局部采样网格，生成过程为其中，对于定位网络参 数化的每个空间位置，表示输入的空间位置坐标，表示输出的空间位置坐标；最后 得到两组不同划分方式的局部采样网格参数，用采样器进行采样，上式在同一图像中分别得 到了纵向宽比接近1:2:3的三块局部区域和六块局部区域，由于不同的局部区域包含行人 不同部分的特征信息，最后将得到的局部区域分别送入简单的卷积神经网络中编码得到局部 特征；该卷积神经网络由自适应平均池化函数、卷积层、bn层、两个全连接层组成，其中， 使用自适应平均池化函数保证输入到卷积层中的特征区域为特定大小2048
×1×
1的局部特 征映射，然后通过卷积层、bn层和两个全连接层对局部区域分别进行特征提取，同时连接 局部特征信息可以得到图像局部拼接的特征信息，使模型获得图像中行人的整体重要信息， 减少不同行人局部特征相似造成的匹配不准问题。
[0012]
2.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：局部特 征判别学习；
[0013]
通过联合局部特征提取网络中两种局部区域的划分，对同一张图像可以提取到不同位置 和尺度的局部特征，然后在无标签局部特征中进行比较，在基于小批优化的深度学习中是很 难处理的，因此，这里采用特征存储器对无监督样本特征进行存储并更新；根据欧式距离度 量准则判断输入图像的每块局部特征与其他图像相似位置特征之间的相似性进行局部 特征学习，表示第i张图像的第m个局部特征；特征存储器用来存放局部特 征，n为图像数量，其更新方法是利用样本特征的的相似性作为监督信息辅助聚类，训练样 本特征找出与其最近的相似特征，并进行判断伪标签的类别是否一致来对特征进行相应的更 新；其动态更新过程为：其中为更新的速率 为0.1，为更新的最新的局部特征，p为训练周期，当p＝0时，为训练之前对未标记 数据库初始化特征库，更新时使存储器中的特征无限接近
[0014]
我们通过计算每个局部特征与特征存储器中的样本特征之间的欧氏距离找到距离 最近的k个局部特征得到集合，然后计算这k个局部特征与特征之间相似度的和， 与和特征存储器中所有第m个局部特征得到局部特征判别(lfd)损失函数为：
[0015][0016][0017]
其中，m表示图像被划分的局部特征数，这里分别为3和6，||
·
||2表示欧式距离。
[0018]
3.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：级联特 征判别学习；
[0019]
在数据没有类别标签的情况下，提取的局部特征中可能会出现外形相似但含有不同身份 信息的局部特征进行聚类时，容易出现相同行人局部特征被分离，不同行人局部特征被拉近 的问题，造成同一行人局部特征不能配准，降低模型局部特征学习能力，因此为了提高模型 学习样本特征鲁棒性，采用了一种级联特征判别损失函数(cfd)优化模型，通过将无标签 图像输出的局部特征连接起来得到该图像所有局部特征信息的和，通过最大化类间距离和最 小化类内距离来学习局部级联特征的判别性，利用样本的最难正样本和最难负样本学习样本 特征有利于加强模型的特征学习能力，提高模型的鲁棒性和精确度，因此提出了对应的四元 组损失函数来引导级联特征的学习，在级联特征判别损失函数中使用最难正样本和最难负样 本有利于提高模型对特征的学习，因此，需要通过不同的方式找到样本的最难正样本与最难 负样本对；
[0020]
首先给定一小批量样本对输入的图像xi进行一系列简单的随机变换，包含图像 的裁剪，对比度，饱和度以及亮度，通过图像处理操作得到伪正样本x
pi
与标记身份标识与 输入图像一样作为最难正样本，将所有图像样本送到网络中进行实验，使用随机生成的伪正 样本有利于无监督模型对特征判别性学习；然后，在批量样本中身份相似的样本，它们可能 互为最近邻，那么可以说如果他们不是最近邻，则样本之间的身份不相似不属于同一类，可 以通过样本之间的相似度来确定是否是最近邻，用循环排序相似度结果来确定最难负样本对， 因此，根据欧氏距离来度量两两样本之间的欧式距离得到每个样本xi的度量结果生成一个排 序列表ni，通过度量结果进行排序，若样本xj距离越远表示与样本xi的相似度越低，不是xi的 最近邻top-n，因此可以认定xj是xi的负样本，为了挖掘最难负样本对，选择排名列表中前 两个负样本x
mi
和x
ni
作为最难负样本对，其中x
mi
排名在x
ni
之前；最后通过得到的四种样本 对模型进行特征学习，其级联特征判别(cfd)损失函数表示为：
[0021]
l
cfd
＝(||x
i-x
pi
||
2-||x
ai-x
mi
||2) α)

(||x
ai-x
pi
||
2-||x
mi-x
ni
||2 β)

[0022]
其中x
ai
表示输入图像，x
pi
表示伪正样本，x
mi
，x
ni
分别表示最难负样本对，()

表示取最大 值，参数α，β为阈值。
[0023]
4.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：特征联 合判别学习；
[0024]
局部特征判别损失函数主要针对图像中每个局部特征进行判别性学习，拼接特征
判别损 失函数主要对每张图像的全部局部特征判别性进行学习，因此，以合理的方式联合两种特征 的损失函数得到级联特征判别损失函数，可以提高行人重识别模型对无标签数据特征的学习 能力，特征联合判别(fjd)损失函数表示为：
[0025][0026]
其中，λ表示权重。
附图说明
[0027]
图1参数k在不同数据集中实验结果。
[0028]
图2参数n在不同数据集中实验结果。
[0029]
图3参数λ在数据集market-1501中取值结果。
[0030]
图4参数λ在数据集dukemtmc-reid中取值结果。
[0031]
图5方法结构模型。
具体实施方式
[0032]
本发明包括如下的技术方案：
[0033]
1.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：联合局 部特征提取网络；
[0034]
为了使网络根据图像中行人姿态角度变化提取出不同区域的局部特征，减少局部特征不 能很好对齐问题，在resnet50网络后加入了两个并行的空间变换器进行局部区域的划分并 使用简单的卷积神经网络进行特征提取将图像的中间特征映射送入多个定位网络中，对特征 映射进行空间变换与原图像相比，减少了网络计算复杂度；定位网络由核大小为3
×
3卷积 层和两个全连接层组成，使用relu作为该网络激活函数，最后一个全连接层初始化偏置， 为了得到两种划分方式的局部采样网格，利用定位网络分别预测出两组空间位置参数 θ＝{θ1，θ2，...，θm}和η＝{η1，η2，...，ηn}；
[0035]
为了使预测的空间位置能够获取有效的细粒度特征并在空间中对齐，这里根据人体垂直 方向的各部位对两个空间变换器中的位置参数进行预测；人体可以分为头部、上身和下身三 部分，通常人体为上身短下身长，其头部占比最小，其次是上身，然后是下身，但是在摄像 头下，由于摄像头角度的变化和行人姿态的变化，得到的图像中行人比例就会发生变化，比 如出现上身长下身短的问题，同一行人划分出来的局部区域可能会出现无法对齐的情况；
[0036]
定位网络首先预测三组空间位置参数对行人进行水平方向不等比例的划分得到纵向宽 比接近为1:2:3的三块局部区域，从上往下得到的局部特征，使头部所占比例最小，中间接 近正常视角上身的大小，最后包含行人臀部以下的特征信息，网络可以根据图像中行人的变 化具体情况对图像空间中行人划分出不同的局部区域，可以很好地应对行人比例、姿态等变 化造成的局部特征不能对齐问题；
[0037]
另外行人上身部分和下身部分又包含较为详细的行人信息，可分为胸部、腹部、大
腿、 小腿及脚等部位，其不同的部位可能包含的特征信息不同，精细的局部区域划分得到的特征 信息可以更好地使模型提取图像中的细粒度特征，因此，又考虑根据人体包含的几个部位预 测六组空间位置参数将图像划分出六块局部区域，便于网络挖掘行人局部区域的更有效的细 粒度特征信息，结合两种局部特征信息有利于提高模型的鲁棒性和识别精确度，这里位置参 数采用大小为2
×
3的仿射变换，通过对特征映射进行裁剪操作获取局部区域；区域；其中a
θ
，a
η
分别表示两组定位网络中的未知参数，通过预测参数a,b,c,d对图像 进行局部剪裁；
[0038]
根据预测的参数对对特征映射进行裁剪，使其根据图像中行人的空间位置，划分出不同 位置和尺度的局部采样网格，生成过程为其中，对于定位网络参 数化的每个空间位置，表示输入的空间位置坐标，表示输出的空间位置坐标；最后 得到两组不同划分方式的局部采样网格参数，用采样器进行采样，上式在同一图像中分别得 到了纵向宽比接近1:2:3的三块局部区域和六块局部区域，由于不同的局部区域包含行人 不同部分的特征信息，最后将得到的局部区域分别送入简单的卷积神经网络中编码得到局部 特征；该卷积神经网络由自适应平均池化函数、卷积层、bn层、两个全连接层组成，其中， 使用自适应平均池化函数保证输入到卷积层中的特征区域为特定大小2048
×1×
1的局部特 征映射，然后通过卷积层、bn层和两个全连接层对局部区域分别进行特征提取，同时连接 局部特征信息可以得到图像局部拼接的特征信息，使模型获得图像中行人的整体重要信息， 减少不同行人局部特征相似造成的匹配不准问题。
[0039]
2.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：局部特 征判别学习；
[0040]
通过联合局部特征提取网络中两种局部区域的划分，对同一张图像可以提取到不同位置 和尺度的局部特征，然后在无标签局部特征中进行比较，在基于小批优化的深度学习中是很 难处理的，因此，这里采用特征存储器对无监督样本特征进行存储并更新；根据欧式距离度 量准则判断输入图像的每块局部特征与其他图像相似位置特征之间的相似性进行局部 特征学习，表示第i张图像的第m个局部特征；特征存储器用来存放局部特 征，n为图像数量，其更新方法是利用样本特征的的相似性作为监督信息辅助聚类，训练样 本特征找出与其最近的相似特征，并进行判断伪标签的类别是否一致来对特征进行相应的更 新；其动态更新过程为：其中为更新的速率 为0.1，为更新的最新的局部特征，p为训练周期，当p＝0时，为训练之前对未标记 数据库初始化特征库，更新时使存储器中的特征无限接近
[0041]
我们通过计算每个局部特征与特征存储器中的样本特征之间的欧氏距离找到距离 最近的k个局部特征得到集合，然后计算这k个局部特征与特征之间相似度的和， 与和特征存储器中所有第m个局部特征得到局部特征判别(lfd)损失函数为：
[0042][0043][0044]
其中，m表示图像被划分的局部特征数，这里分别为3和6，||
·
||2表示欧式距离。
[0045]
3.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：级联特 征判别学习；
[0046]
在数据没有类别标签的情况下，提取的局部特征中可能会出现外形相似但含有不同身份 信息的局部特征进行聚类时，容易出现相同行人局部特征被分离，不同行人局部特征被拉近 的问题，造成同一行人局部特征不能配准，降低模型局部特征学习能力，因此为了提高模型 学习样本特征鲁棒性，采用了一种级联特征判别损失函数(cfd)优化模型，通过将无标签 图像输出的局部特征连接起来得到该图像所有局部特征信息的和，通过最大化类间距离和最 小化类内距离来学习局部级联特征的判别性，利用样本的最难正样本和最难负样本学习样本 特征有利于加强模型的特征学习能力，提高模型的鲁棒性和精确度，因此提出了对应的四元 组损失函数来引导级联特征的学习，在级联特征判别损失函数中使用最难正样本和最难负样 本有利于提高模型对特征的学习，因此，需要通过不同的方式找到样本的最难正样本与最难 负样本对；
[0047]
首先给定一小批量样本对输入的图像xi进行一系列简单的随机变换，包含图像 的裁剪，对比度，饱和度以及亮度，通过图像处理操作得到伪正样本x
pi
与标记身份标识与 输入图像一样作为最难正样本，将所有图像样本送到网络中进行实验，使用随机生成的伪正 样本有利于无监督模型对特征判别性学习；然后，在批量样本中身份相似的样本，它们可能 互为最近邻，那么可以说如果他们不是最近邻，则样本之间的身份不相似不属于同一类，可 以通过样本之间的相似度来确定是否是最近邻，用循环排序相似度结果来确定最难负样本对， 因此，根据欧氏距离来度量两两样本之间的欧式距离得到每个样本xi的度量结果生成一个排 序列表ni，通过度量结果进行排序，若样本xj距离越远表示与样本xi的相似度越低，不是xi的 最近邻top-n，因此可以认定xj是xi的负样本，为了挖掘最难负样本对，选择排名列表中前 两个负样本x
mi
和x
ni
作为最难负样本对，其中x
mi
排名在x
ni
之前；最后通过得到的四种样本 对模型进行特征学习，其级联特征判别(cfd)损失函数表示为：
[0048]
l
cfd
＝(||x
i-x
pi
||
2-||x
ai-x
mi
||2 α)

(||x
ai-x
pi
||
2-||x
mi-x
ni
||2 β)

[0049]
其中x
ai
表示输入图像，x
pi
表示伪正样本，x
mi
，x
ni
分别表示最难负样本对，()

表示取最大 值，参数α，β为阈值。
[0050]
4.一种基于联合局部特征判别性学习的无监督目标行人重识别方法，其特征在于：特征联 合判别学习；
[0051]
局部特征判别损失函数主要针对图像中每个局部特征进行判别性学习，拼接特征判别损 失函数主要对每张图像的全部局部特征判别性进行学习，因此，以合理的方式联合两种特征 的损失函数得到级联特征判别损失函数，可以提高行人重识别模型对无标签数据特征的学习 能力，特征联合判别(fjd)损失函数表示为：
[0052][0053]
其中，λ表示权重。
[0054]
实验结果与分析
[0055]
为了验证联合局部特征提取网络对行人局部特征对齐的影响，分别在在 dukemtmc-reid数据集和market-1501数据集上进行验证，通过评价指标平均精度值map 和匹配率top-k进行性能评价，联合两种局部特征分支时，模型的map和top-1值都优于单 一使用一种局部特征分支，联合局部特征判别性学习方法由于对同一行人图像进行不同尺度 和位置的局部特征提取，因此使得网络更精细地获取行人有效的局部特征信息，提高局部特 征在对齐比较时的准确性，从而进一步提高无监督行人重识别模型对局部特征的学习能力。 具体实验结果如下表所示。
[0056]
表1在market-1501中局部特征分支对模型性能影响结果
[0057][0058]
表2在dukemtmc-reid中局部特征分支对模型性能影响结果
[0059][0060]
使用本发明的实验方法与近几年较新的主流方法进行对比分析，其中与paul无监督 局部特征方法相比，通过使用联合的局部特征分支且根据人体部位结构划分，因此可以得到 含有有效特征信息更多的局部特征进行有效的局部特征对比。另外还设计使用判别学习能力 更好的fjd损失函数来学习局部特征。从表中可以看出在两个数据集中，map和top-1的 结果高于paul，在market-1501数据集中，map值提高到了41.4％，top-1值提高到了70.2％； 在dukemtmc-reid数据集中，map值提高到了54.1％，top-1值提高到了73.9％。
[0061]
表3在market-1501数据集中与最新方法比较
[0062][0063]
表4在dukemtmc-reid数据集中与最新方法比较
[0064][0065]
为了更好地分析模型中局部特征判别(lfd)损失函数和级联特征判别(cfd)损失函 数对模型学习局部特征判别性的影响，以预训练网络jlfen的结果作为实验的基准，分别 在典型数据集market-1501和dukemtmc-reid中进行实验分析，从实验结果可以看出当使 用lfd损失函数学习后评价指标平均精度值map和匹配率top-k的值有明显提高，当使用cfd损失函数后，map和top-k值也有所提高，表明cfd损失函数对行人图像中外形相似 的不同行人的局部特征的有效判别。最后将两种损失函数进行合理的联合使用，发现map 和top-k的结果明显优于其他两种结合方式，其中，在market-1501数据集中map值提升了 8.7％，top-1值提升了8.3％，top-5值提升了6.3％，top-15值提升了5.5％；在dukemtmc-reid 数据集中map值提升了7.2％，top-1值提升了7.5％，top-5值提升了2.8％，top-15值提升 了1.7％。
[0066]
表5在market-1501数据集中损失函数消融实验结果
[0067][0068]
表6在dukemtmc-reid数据集中损失函数消融实验结果
[0069][0070]
损失函数中参数的取值对模型的性能也产生一定的影响。通过在不同数据集中实验分析 了fjd损失函数中权重参数λ的取值，lfd损失函数中参数k的选取以及cfd损失函数 中参数n的选取分别对模型性能的影响。实验方法控制其他参数不变，分别探究另一参数的 取值，采用首次命中率top-1做为评价指标进行分析。实验发现k＝15时，top-1值相对较好。
[0071]
cfd损失函数对模型学习特征判别性也有着重要作用，其中找到较好的最难负样本可 以有效提升模型学习特征，增强无监督模型鲁棒性，因此，这里通过实验分析样本中最近邻 top-n中的参数n的选择对级联特征判别损失函数的影响。由于cfd损失函数学习时需要 两个负样本，所以当n值过小时会出现得到的样本不足，损失函数误把正样本作为负样本学 习导致模型学习性能下降，当n值逐渐增大后，模型性能出现先增加后减小，表明n值越大， 由于学习到的样本足够多，使模型很容易找到最难样本，降低了模型学习难度，当n＝6时， 模型可以得到良好的性能。
[0072]
根据上述结果使参数k＝15，n＝6来控制变量，对参数λ进行实验分析，在图3中可以 看出在不同的数据集中，当λ值逐渐增加时，平均精度值map和首次命中率top-1的结果 先增加后减小，其中，在λ＝2出模型性能最好。