一种基于密度聚类的无监督域适应人物重识别方法及系统与流程

1.本发明属于图像处理技术领域，涉及人物重识别技术，特别涉及一种基于密度聚类的无监督域适应的人物重识别方法及系统，更具体地，涉及一种利用有标签数据集的信息，设计在无标签的目标数据上基于dbscan密度聚类算法下增强聚类可靠性的无监督跨域人物重识别方法。


背景技术：

2.人物重识别在智能视频监控和公共安全中发挥着重要的作用。近年来人物重识别在计算机视觉领域得到了非常广泛的研究，目标是给定一张待检索的人物图片，在几个互不重叠的摄像头拍摄的视频中检索该人并输出。传统的人物重识别方法可以分为两类:特征提取和度量学习。近年来，随着深度学习的快速发展，有监督人物重识别在性能方面取得了显著的提升。然而，这需要大量的成对标记数据，严重限制了在实际应用中的可扩展性。因为对数据集中的大量图像进人工标记是非常耗时和昂贵的。在人物重识别数据中，不同数据集通常没有重叠的类并且环境背景存在很大的差异，所以将在某个数据集训练好的模型迁移到其他数据域上，模型的性能会大幅度下降。为了解决这个问题，可以采用无监督重识别学习方法，主要包括：直接用未标注的目标数据对模型进行微调，即全无监督的方式；将有标注的源域中训练好的模型迁移到未标注的目标数据上，然后再进行微调，即采用无监督域适应的方式。
3.目前，无监督跨域人物重识别方法大致可以分为两种类型：1) 基于聚类的学习方法，即通过交替进行伪标签生成和基于伪标签的模型优化，例如，基于密度的dbscan (density
‑
based spatial clustering of applications with noise) 算法和基于距离的k
‑
means算法等。2) 基于域不变学习方法，常见的有借助生成对抗性网络或者对抗性训练减轻两个数据域之间的域间差距对训练的影响。其中，基于聚类的方法常常取得不错的结果，极大地促进了无监督域适应的发展。但是因为复杂的重识别数据以及聚类算法本身的局限性，常常会使得由聚类结果中包含不正确的伪标签。
4.现有的基于聚类的无监督人物重识别方法通常对卷积神经网络提取的特征进行聚类，然后根据聚类所得的伪标签对模型进行迭代训练，如此交替进行。但是，由于聚类算法的局限性和重识别数据本身的复杂性，基于聚类的方法获得的伪标签不可避免地会产生一些错误的伪标签，称之为噪声伪标签，如果将这些伪标签投入到模型的训练中，将严重地影响最终模型的性能。
5.对于基于密度的聚类算法dbscan，其关键思想是对于簇中的每个核心点，给定半径（eps）的邻域必须至少包含最小数量的样本（minpts，通常设置为4）。所以eps作为最重要的参数之一将会影响最终的聚类结果，如果eps取值过大，则会很多本身不属于同一个类的样本划分到同一个簇中，聚类簇中会包含太多的噪声样本点，如果过小的话，则会将同类的样本划分为到不同的簇中，使得过多的正确样本没有聚类到所属簇中。重识别中训练数据来源丰富多变，采用固定的聚类半径，难以适应所有数据集。
6.此外，相机配置是影响重识别域内差距的一个重要因素，这常常导致同一相机下下不同行人的相似度高于不同相机下的同一行人的相似度，从而使得无监督密度聚类下错误地将同一相机下不同行人分到同一个簇中，形成噪声伪标签。


技术实现要素：

7.针对现有技术存在的不足，本发明提供一种基于密度聚类的无监督域适应的人物重识别方法及系统，针对基于密度聚类的dbscan算法，设计了自适应动态聚类模块，在模型的迭代优化中动态更新eps的取值；本发明还设计跨相机相似性评估模块，为聚类后的簇样本寻找跨相机下的近邻样本，通过判断该样本与其近邻样本的伪标签是否一致来过滤掉噪声伪标签，最终将挖掘的可靠伪标签利用三元组损失来进一步优化模型，通过挖掘利用合理可靠的伪标签来提升模型的可区分性。
8.为了解决上述技术问题，本发明采用的技术方案是：一种基于密度聚类的无监督域适应的人物重识别方法，包括以下步骤：步骤1、有监督学习：在有监督学习中，使用交叉熵损失和困难三元组损失来优化模型；步骤2、特征动态存储：采用特征存储机制进行特征的动态存储，同时将该存储器称为特征存储器，借助步骤1中预训练的模型对特征存储器进行初始化，然后在每次迭代时候进行更新；步骤3、自适应动态聚类：设计自适应动态聚类模块，所述自适应动态聚类模块首先借助特征存储器获取目标域中稳定的距离度量，接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径eps；然后在模型的迭代优化中，动态更新eps的取值，获取更加合理的聚类结果；步骤4、跨相机相似性评估：设计跨相机相似性评估模块，为聚类后的簇样本寻找跨相机下的最近邻簇样本，通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签，保留可靠伪标签；步骤5、损失优化：分别对步骤3由自适应动态聚类模块获取的聚类结果使用全局对比损失进行优化、对步骤4挖掘的可靠伪标签利用三元组损失来进一步优化模型；重复训练步骤2
‑
步骤5。
9.进一步的，步骤1中，交叉熵损失函数表达式为：困难三元组损失函数表达式为：模型的损失函数l
s
=l
sid
l
stri ，其中，已知：有标注的源数据，其中和分
别表示第i个训练样本及其身份标签，n
s
是样本数，身份数是m； 为未标注的目标数据，其样本总数为n
t ，表示所选图像x
i
在所选骨干网的最后一个全连接层前输出的特征图；为模型的批次大小，如果，则，否则，为经验值， 是属于身份j的预测概率，表示和同一身份的图像中最不像的图像，两者的特征距离最远，表示和不同身份的图像中最像的图像，两者的特征距离最近，图像对之间采用l2距离度量，m
s
表示数据集中总的身份数。
10.进一步的，步骤2中，用m
j
表示存储器中第j列特征向量，根据源域已知的身份和目标域索引来按序存储源数据的源域类心和目标数据实例，所以目标域中样本对应的特征向量为；特征存储器初始化：首先是源域对应的特征向量，根据源域的身份标签获取其类心进行初始化，其中，k
j
表示样本类别j的样本集合，表示该类的样本数，表示该类的类心；存储器中目标特征向量直接由预训练的模型获得的特征进行初始化，其表达为，特征存储器动态更新：源域和目标域对应的特征向量动态更新，具体地，（1）源域对应的特征向量更新，有，（2）目标域对应的特征向量的更新，有，其中是动量系数。
11.进一步的，步骤3中，自适应计算eps的方法如下：（1）从模型中提取的源特征向量和从特征存储器中获得的目标特征向量来获得更可靠的距离度量：首先，根据特征存储器为目标数据计算k倒数相似矩阵，计算公式如下：其中，和分别是样本、在特征存储器中的值，是在目标域中的精炼k倒数集；
然后，计算样本对的 jaccard 距离：接着为目标数据从源域中寻找最近邻来提升相似度，相应地，计算公式为，其中，是在源域的最近邻，最终用来聚类的距离度量为，其中， 是平衡因子；（2）在获得稳定的距离度量后，使用基于它的k
‑
distance在模型的迭代优化中动态获取合适的eps，其中，n是可能对的总数， p是百分比，sd是将距离度量d按元素从小到大排序所得的一维数组；通过计算数组sd前pn对的平均值，可为特定目标数据集获取自适应的eps。
12.更进一步的，步骤3中，在迭代优化过程中，在后续的训练轮数中放宽聚类标准，执行动态地从紧到松的自适应聚类，使聚类可以包含更多的信任样本；具体来说，通过计算有序数组sd前2pn的均值作为放宽聚类标准的eps取值，动态更新后的取值为： 。
13.进一步的，步骤4中，跨相机相似性评估时，针对所有的簇样本，为其寻找所有跨相机下的最近邻簇样本，并判断两者标签是否一致，如果一致，则表明此时的伪标签是可靠的，否则丢弃该样本；寻找最近邻簇样本的方法是计算由不同相机收集的簇样本之间的距离，计算公式为，其中cam是目标域中已知的相机集合，是样本在特征存储器中的取值，q为对应的相机信息；通过距离度量，为找到最近的跨相机簇样本并将其表示为，只有当和之间的伪标签相同时，认为的伪标签是可靠的，否则，将其视为噪声伪标签。
14.进一步的，针对步骤3由自适应动态聚类模块获取的聚类结果，使用全局对比损失对整体训练数据进行统一优化，计算公式为，
其中，n
c
、n
o
分别是目标域聚类后的簇样本数和非簇样本数，是目标域中第k个聚类的类心，， 是第k个聚类的样本集合；如果x
i
是源域样本，则z

是x
i
所属类在特征存储器中的特征向量，如果x
i
是聚类样本，则z

是该样本所属的聚类质心，如果x
i
是非聚类样本，则z

是x
i
在特征存储器中对应的取值；τ是调节因子。
15.进一步的，针对步骤4中的可靠的聚类样本，用三元组损失进一步优化模型，强化可靠簇的可区分性，计算公式为，其中， 为模型的批次大小，表示和最不像的正样本对，表示和最像的负样本对。
16.本发明还提供一种基于密度聚类的无监督域适应的人物重识别系统，包括特征存储器、自适应动态聚类模块、跨相机相似性评估及损失优化模块；所述特征存储器用于动态存储特征，根据源域已知的身份和目标域索引来按序存储源域类心和目标数据实例；所述自适应动态聚类模块用于动态更新dbscan聚类算法的聚类半径，首先借助特征存储器获取目标域中稳定的距离度量，接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径eps；然后在模型的迭代优化中，动态更新eps的取值，获取更加合理的聚类结果；所述跨相机相似性评估模块用于过滤噪声伪标签，为聚类后的簇样本寻找跨相机下的最近邻簇样本，通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签，保留可靠伪标签；所述损失优化模块包括两部分，一部分是针对自适应动态聚类模块获取的聚类结果，使用全局对比损失对整体训练数据进行统一优化；另一部分是针对跨相机相似性评估模块筛选出的可靠的聚类样本，使用三元组损失进一步优化模型，强化可靠簇的可区分性。
17.与现有技术相比，本发明优点在于：（1）针对基于密度聚类的无监督域适应人物重识别，本发明提出一种自适应动态聚类模块，该模块首先借助特征存储器获取目标域中稳定的距离度量，接着基于该距离度量为不同的目标数据自适应地获取合适的初始聚类半径eps，最终获得更合理的聚类结果，从而获取相对可靠的伪标签。然后在模型的迭代优化中，考虑到样本在特征空间中不断进行调整，在模型的迭代优化中动态更新eps的取值。
18.（2）针对聚类算法可能将同一相机下不同身份的样本分类到同一个集群中而形成噪声伪标签，本发明设计跨相机相似性评估模块，为聚类后的簇样本寻找跨相机下的近邻样本，通过判断该样本与其近邻样本的伪标签是否一致来过滤掉噪声伪标签，并使用可靠的伪标签进一步提高模型的判别能力，将挖掘的可靠伪标签利用三元组损失来进一步优化
模型。
附图说明
19.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例1的基于密度聚类的无监督域适应的人物重识别方法流程示意图；图2为本发明实施例1的跨相机相似性评估模块示意图。
具体实施方式
21.下面结合附图及具体实施例对本发明作进一步的说明。
22.实施例1结合图1所示，基于密度聚类的无监督域适应的人物重识别方法，包括：有监督学习、特征动态存储、自适应动态聚类、跨相机相似性评估和损失优化五个部分。本实施例中，已知：有标注的源数据，其中和分别表示第i个训练样本及其身份标签，n
s
是样本数，身份数是m； 为未标注的目标数据，其样本总数为n
t
，表示所选图像x
i
在所选骨干网的最后一个全连接层前输出的特征图，本发明采用resnet
‑
50模型作为基准模型。
23.下面分别介绍各步骤：步骤1、有监督学习：在有监督学习中，使用交叉熵损失和困难三元组损失来优化模型。
24.交叉熵损失函数表达式为：困难三元组损失函数表达式为：模型的损失函数l
s
=l
sid
l
stri ，其中，已知：有标注的源数据，其中和分别表示第i个训练样本及其身份标签，n
s
是样本数，身份数是m； 为未标注的目标数据，其样本总数为n
t ，表示所选图像x
i
在所选骨干网的最后一个全连接层前输出的特征图；为模型的批次大小，如果，则，否则，为经
验值， 是属于身份j的预测概率，表示和同一身份的图像中最不像的图像（两者的特征距离最远），表示和不同身份的图像中最像的图像（两者的特征距离最近），图像对之间采用l2距离度量，m
s
表示数据集中总的身份数。
25.步骤2、特征动态存储：为了获取稳定的特征表示，采用特征存储机制进行特征的动态存储，同时将该存储器称为特征存储器，借助步骤1中预训练的模型对特征存储器进行初始化，然后在每次迭代时候进行更新。
26.用m
j
表示存储器中第j列特征向量，考虑源域中身份信息已知，根据源域已知的身份和目标域索引来按序存储源数据的源域类心和目标数据实例，所以目标域中样本对应的特征向量为。
27.特征存储器初始化：首先是源域对应的特征向量，根据源域的身份标签获取其类心进行初始化，其中，k
j
表示样本类别j的样本集合，表示该类的样本数，表示该类的类心；存储器中目标特征向量直接由预训练的模型获得的特征进行初始化，其表达为，特征存储器动态更新：源域和目标域对应的特征向量动态更新。由于样本的特征会随模型的迭代优化发生变化，所以，无论是源域还是目标域，其对应的特征向量是随着迭代动态变化的，具体地，（1）源域对应的特征向量更新，有，（2）目标域对应的特征向量的更新，有，其中是动量系数。
28.步骤3、自适应动态聚类：本发明针对基于dbscan聚类的重识别方法，提出一种自适应动态聚类的模块。考虑到重识别数据本身存在严重的域间差距及训练样本在特征空间中不断地调整，该模块可以在模型的迭代优化中为特定的目标数据计算合适的eps，从而获取更加合理的聚类结果。所述自适应动态聚类模块首先借助特征存储器获取目标域中稳定的距离度量，接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径eps；然后在模型的迭代优化中，动态更新eps的取值，获取更加合理的聚类结果。
29.自适应计算eps，具体实施方法如下：（1）从模型中提取的源特征向量和从特征存储器中获得的目标特征向量来获得更可靠的距离度量。
30.首先，根据特征存储器为目标数据计算k倒数相似矩阵，计算公式如下：
其中，和分别是样本、在特征存储器中的值，是在目标域中的精炼k倒数集。
31.然后，计算样本对的 jaccard 距离：接着为目标数据从源域中寻找最近邻来提升相似度，相应地，计算公式为，其中，是在源域的最近邻，最终用来聚类的距离度量为，其中， 是平衡因子，设为0.1。
32.（2）在获得稳定的距离度量后，使用基于它的k
‑
distance在模型的迭代优化中动态获取合适的eps，即，其中，n是可能对的总数，p是百分比，sd是将距离度量d按元素从小到大排序所得的一维数组；通过计算数组sd前pn对的平均值，可为特定目标数据集获取自适应的eps。
33.动态更新eps。虽然模型在源域上进行了预训练，但由于域间差距严重，将其迁移到目标域上通常表现出较差的性能。此外，特征空间中的样本在迭代优化过程中不断调整。在这些情况下，最初得到的eps往往是不完美的。基于模型的迭代优化动态地更新eps，以适应不断变化的特征空间。由于特征空间中同一簇的样本在迭代优化过程中变得越来越紧凑，样本之间的区分性越来越强，本发明在后续的训练轮数中适当放宽了聚类标准，使聚类可以包含更多的信任样本。也就是说，执行动态地从紧到松的自适应聚类，使聚类可以包含更多的信任样本。具体来说，作为一个优选的实施例，通过计算有序数组sd前2pn的均值作为放宽聚类标准的eps取值，动态更新后的取值为：通过这种自适应动态的方法，可以在模型的迭代训练中针对具体的数据计算出合适的eps，最终得到更合理的聚类结果。
34.步骤4、跨相机相似性评估：在重识别数据中，常常存在同一相机下不同身份样本差异较小，而不同相机下相同身份样本差异较大的样本，这可能会导致一些不同身份样本的相似度大于相同身份样本的相似度，最终会混淆聚类算法使得生成的伪标签不可避免地包含噪音。但是如果在跨相机下进行相似性度量，则不会出现该问题的困扰。因此，本发明对聚类后的簇样本设计一种跨相机相似性评估模块来有效地过滤掉噪声伪标签。所述跨相机相似性评估模块，为聚类后的簇样本寻找跨相机下的最近邻簇样本，通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签，保留可靠伪标签。
35.具体来说，针对所有的簇样本，为其寻找所有跨相机下的最近邻簇样本，并判断两者标签是否一致，如果一致，则表明此时的伪标签是可靠的，否则丢弃该样本；寻找最近邻簇样本的方法是计算由不同相机收集的簇样本之间的距离，计算公式为，其中cam是目标域中已知的相机集合，是样本在特征存储器中的取值，q为对应的相机信息；通过距离度量，为找到最近的跨相机簇样本并将其表示为，只有当和之间的伪标签相同时，认为的伪标签是可靠的，否则，将其视为噪声伪标签。
36.图2所示的是跨相机相似性评估模块示意图，左侧图显示的是初始聚类结果，初始距离的判断是针对同一查询样本；右侧图显示的是跨相机相似性评估模块处理示意图，图中，“c
‑
1”是摄像机id，“c
‑
n”表示其他摄像机的统称，最后一步距离的判断也是针对同一查询样本，通过跨相机评估模块，可以有效地缩短了来自同一簇的可靠样本之间的距离。
37.步骤5、损失优化：鉴于在步骤4中可能会误将仅由一个相机下收集的样本形成的聚类结果直接误判为噪声，我们分别从两个优化分支分别进行优化步骤3和步骤4的结果。分别对步骤3由自适应动态聚类模块获取的聚类结果使用全局对比损失进行优化、对步骤4挖掘的可靠伪标签利用三元组损失来进一步优化模型。
38.具体来说，针对步骤3由自适应动态聚类模块获取的聚类结果，使用全局对比损失对整体训练数据进行统一优化，计算公式为，其中，n
c
、n
o
分别是目标域聚类后的簇样本数和非簇样本数，是目标域中第k个聚类的类心，， 是第k个聚类的样本集合；如果x
i
是源域样本，则z

是x
i
所属类在特征存储器中的特征向量，如果x
i
是聚类样本，则z

是该样本所属的聚类质心，如果x
i
是非聚类样本，则z

是x
i
在特征存储器中对应的取值；τ是调节因子，其值越高，概率分布越软。通过该全局损失优化，有效地推动源域样本靠近所属类中心，目标域的聚类样本向其所属的聚类中心靠近，而且未聚类的样本不会被丢弃，而是接近内存中的相应值。
39.针对步骤4中的可靠的聚类样本，用三元组损失进一步优化模型，强化可靠簇的可区分性，计算公式为，
其中， 为模型的批次大小，表示和最不像的正样本对，表示和最像的负样本对。
40.重复训练步骤2
‑
步骤5。
41.实施例2作为本发明另一实施例，提供一种基于密度聚类的无监督域适应的人物重识别系统，包括特征存储器、自适应动态聚类模块、跨相机相似性评估及损失优化模块。
42.所述特征存储器用于动态存储特征，根据源域已知的身份和目标域索引来按序存储源域类心和目标数据实例；所述自适应动态聚类模块用于动态更新dbscan聚类算法的聚类半径，首先借助特征存储器获取目标域中稳定的距离度量，接着基于该距离度量为不同的目标数据自适应地计算合适的初始聚类半径eps；然后在模型的迭代优化中，动态更新eps的取值，获取更加合理的聚类结果；所述跨相机相似性评估模块用于过滤噪声伪标签，为聚类后的簇样本寻找跨相机下的最近邻簇样本，通过判断该样本与其最近邻样本的伪标签是否一致来过滤掉噪声伪标签，保留可靠伪标签；所述损失优化模块包括两部分，一部分是针对自适应动态聚类模块获取的聚类结果，使用全局对比损失对整体训练数据进行统一优化；另一部分是针对跨相机相似性评估模块筛选出的可靠的聚类样本，使用三元组损失进一步优化模型，强化可靠簇的可区分性。
43.本实施例中各模块的功能实现及实施方法可参见实施例1部分的介绍，此处不再赘述。
44.综上所述，为了更加有效获取可靠的伪标签进行模型优化，本发明提出一种基于密度聚类的无监督域适应人物重识别方法及系统。针对基于dbscan聚类的无监督域适应人物重识别，本发明从dbscan聚类算法本身出发，通过为不同的数据域计算合适的聚类半径eps来获取更合理聚类结果。同时对于由同一相机收集的不同身份的图像之间差异小而引起的不正确的伪标签，本发明借助相机信息过滤掉这些不正确的伪标签，然后用更加可靠的伪标签提高模型的判别能力，从而更好地应用于真实场景。
45.当然，上述说明并非是对本发明的限制，本发明也并不限于上述举例，本技术领域的普通技术人员，在本发明的实质范围内，做出的变化、改型、添加或替换，都应属于本发明的保护范围。