基于全局-局部图卷积网络的跨域行人重识别方法及系统

1.本发明属于计算机视觉技术领域，具体涉及一种基于全局-局部图卷积网络的跨域行人重识别方法及系统。


背景技术：

2.行人重识别的目标是从不同的摄像机中检索行人的图像。先进的技术在深度学习领域已经取得了不错的成绩。但是现在仍然存在一些复杂的挑战，比如行人姿势的变化，衣服颜色的变化，灯光的变换，遮挡和一些背景的噪声，这些情况在复杂场景中经常出现，而解决域差异是解决上述问题最关键的手段。
3.这里主要有两种方法解决这个问题，一个是无监督领域自适应uda和单纯的无监督学习usl。前者使用带有标签的源域数据和不带有标签的目标与数据训练神经网络。后者完全依靠没有标签的数据训练神经网络。
4.在uda方法中，spcl提出了一个自步学习的方法和对比学习的方法去创造依赖性更强的聚类，这样可以更好地分辨离群样本和可靠性的样本。mdif方法基于多余信息融合设计了一个图卷积网络的方法，这个方法可以通过特征融合不同域之间的距离，进而减少域之间的差异。hga方法提出了一个粗粒度-细粒度的图对其网络去从粗粒度的角度和细粒度的角度提取特征。然而局部细粒度的信息是解决域差异的关键，细粒度的信息并没有很好的被挖掘。此外即使很多监督的方法中都是用了细粒度的信息，但是他们缺少了局部特征和全局特征之间的关系。


技术实现要素：

5.本发明的目的在于提供一种基于全局-局部图卷积网络的跨域行人重识别方法及系统，该方法及系统有利于提高跨域行人重识别的准确性。
6.为实现上述目的，本发明采用的技术方案是：一种基于全局-局部图卷积网络的跨域行人重识别方法，包括以下步骤：
7.a.利用特征提取器提取源域和目标域图像的全局特征gi；
8.b.将全局特征进行水平切分得到上半身特征ui和下半身特征li，并使用仿射变换映射得到细粒度更高的局部特征fi；
9.c.使用dbscan聚类方法对不带有标签的目标域图像生成伪标签，再利用自步学习的策略生成可靠标签；
10.d.使用图卷积网络将同一张图像的全局特征、上半身特征、下半身特征以及细粒度更高的局部特征进行特征融合；
11.e.将全局特征、细粒度更高的局部特征分别存储于全局特征存储库、局部特征存储库；
12.f.使用对比学习损失函数训练网络模型，并利用训练好的网络模型对图像进行重识别。
13.进一步地，所述步骤a的实现方法为：
14.构造特征提取器：对resnet-50网络进行修改，保留其基础网络模块，将基础网络后面的池化移除并将第四层残差块中步长为2的卷积修改为步长为1；
15.然后将源域和目标域图像一起输入修改后的resnet-50中提取特征，获得第i个全局特征gi∈r
2048
×
24
×8，其中2048、24、8分别表示通道数量、图像宽度和图像高度。
16.进一步地，所述步骤b的实现方法为：
17.首先，将全局特征水平切割得到行人的上半身特征和下半身特征，这两种特征的维度都是2048x12x8；其次，为了获得第i个图像中细粒度更高的局部特征其中p表示在全局特征中的第p个局部特征，对上半身特征和下半身特征使用仿射变换操作，从而让映射的局部特征更加准确，对于上半身特征ui，f
ip
的映射公式如下：
[0018][0019]
其中表示细粒度特征f
ip
的坐标系矩阵；(xu,yu)表示上半身特征ui的坐标系矩阵；a
θ
是仿射变换的系数映射矩阵；θ
ij
是系数，i＝{1,2}且j＝{1,2}，b
l
是偏执量，l＝{0,1}；对于下半身特征li，采用同样的方法将特征映射成细粒度更高的局部特征；然后对特征的维度进行平均池化操作，降低到256维。
[0020]
进一步地，所述步骤c的实现方法为：
[0021]
采用resnet-50作为网络骨架提取目标域图像的特征，并对该些特征进行聚类，获得相应的伪标签；
[0022]
首先使用dbscan聚类方法对特征进行聚类，使得不带标签的特征获得伪标签；然后，计算独立性得分和紧凑性得分，以进一步生成更可靠的伪标签，独立性得分的计算公式如下所示：
[0023][0024]
其中是在标准簇半径下与目标域特征在同一个簇内的样本集合；代表将聚类半径扩大后与目标域图像在同一个簇内的样本集合；如果独立性得分高代表将簇的半径扩大后没有更多的样本被包括进来；紧凑性得分的计算公式如下所示：
[0025][0026]
其中，是将聚类半径缩小后与目标域图像在同一个簇内的样本集合；更高的紧凑性得分代表如果将簇的半径缩小，则产生更多的簇；根据独立性和紧凑性得分，分别设置两个阈值α和β，如果s
indep
＞α并且s
comp
＞β，则该簇进行保留，否则该簇内的所有样本被判别为不可靠的离群点；一个簇内的所有特征被赋予相同的伪标签；通过上述策略得
到更加可靠的簇，进而赋予各个特征更加可靠的伪标签。
[0027]
进一步地，所述步骤d中，所述图卷积网络中包含四种特征x＝{g
′
,u
′
,l
′
,f
′
}，即降维后的256维的全局特征上半身特征下半身特征以及细粒度更高的局部特征全局特征、上半身特征、下半身特征、局部特征分别对应三层图卷积网络中的节点；所述图卷积网络表示为graph＝(x,e)，其中x表示节点的集合，e表示边的集合；
[0028]
所述图卷积网络中边的集合表示为邻接矩阵a
(l)
的形式，使用0-1值以及欧几里得距离来分别作为边值的权重；则邻接矩阵表示如下：
[0029][0030]
其中i和j分别表示两个不同的样本；d(i,j)表示两个样本之间的欧式距离；
[0031]
所述图卷积网络第l层的前向传播公式表示如下：
[0032][0033]
其中表示在第l-1层的一个可学习的参数矩阵；表示一个已经被归一化的邻接矩阵；i表示单位矩阵，ρ表示leakyrelu函数的非线性映射；和分别表示第l层的输入特征和输出特征，d
l-1
和d
l
是特征的维度。
[0034]
进一步地，所述步骤e的实现方法为：
[0035]
将第k个簇中所有第p个部位的特征以簇中心即平均值的形式保存在局部特征存储库，即则局部特征存储库中每个簇中心表示如下：
[0036][0037]
其中ck表示第k个簇内的样本集合；随着模型的训练，局部特征存储库中的特征也不断更新；如果第k个簇的第p个局部特征对应的簇中心为则该簇中心被更新如下：
[0038][0039]
其中，表示一个训练批次中第k个簇内所有样本的集合；m为动态更新系数；
[0040]
对于全局特征来说，将所有的全局特征都保存到一个全局特征存储库中，即该存储库中保存每一个簇的全局中心特征并随着模型的训练，全局特征库中的特征也会不断动态更新。
[0041]
进一步地，所述步骤f的实现方法为：
[0042]
计算每个局部样本与簇中心特征的余弦相似度作为损失函数，所有细粒度特征的局部损失函数定义如下：
[0043][0044]
其中，nf是细粒度特征的总个数；是特征所在簇的中心，t为设置的参数；局部对比学习损失越小代表该样本越靠近其所在簇的簇中心，并且越远离其他簇中心；
[0045]
通过引入全局损失函数l
global
来指导神经网路学习更加鲁棒的全局特征；
[0046]
为了平衡全局和局部损失函数的关系，引入一个超参数λ，则整个损失函数表示如下：
[0047]
l＝l
global
λl
local
。
[0048]
本发明还提供了一种基于全局-局部图卷积网络的跨域行人重识别系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0049]
与现有技术相比，本发明具有以下有益效果：本发明提供了一种基于全局-局部图卷积跨域行人重识别方法及系统来解决基于无监督学习的跨域行人重识别问题，以学习更加鲁棒的局部特征。为了更好地切分行人的全局特征本发明使用了水平分割和仿射变换两种方式得到细粒度的局部特征；同时，本发明提出了一个全局-局部的图卷积网络去融合全局和局部的特征信息；为了更好的利用融合的特征信息，本发明将每一个簇的特征信息以簇中心的形式保存在存储库中，并且使用对比学习损失函数进行特征和特征之间的比较，最终达到训练网络的目的。相比较一些著名的行人重识别方法，本发明提供的全局-局部图卷积网络在多个跨域行人重识别数据集上获得了更优异的性能。
附图说明
[0050]
图1是本发明实施例的方法实现流程框图。
[0051]
图2是本发明实施例中本发明方法与其他跨域行人重识别方法的对比结果表。
具体实施方式
[0052]
下面结合附图及实施例对本发明做进一步说明。
[0053]
应该指出，以下详细说明都是示例性的，旨在对本技术提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本技术所属技术领域的普通技术人员通常理解的相同含义。
[0054]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
[0055]
如图1所示，本实施例提供了一种基于深度相互学习的跨域行人重识别方法，包括以下步骤：
[0056]
a.利用特征提取器提取源域和目标域图像的全局特征gi。
[0057]
构造特征提取器：对resnet-50网络进行修改，保留其基础网络模块，将基础网络后面的池化移除并将第四层残差块中步长为2的卷积修改为步长为1。
[0058]
然后将源域和目标域图像一起输入修改后的resnet-50中提取特征，获得第i个全局特征gi∈r
2048
×
24
×8，其中2048、24、8分别表示通道数量、图像宽度和图像高度。
[0059]
b.将全局特征进行水平切分得到上半身特征ui和下半身特征li，并使用仿射变换映射得到细粒度更高的局部特征fi。
[0060]
首先，将全局特征水平切割得到行人的上半身特征和下半身特征，这两种特征的维度都是2048x12x8；其次，为了获得第i个图像中细粒度更高的局部特征其中p表示在全局特征中的第p个局部特征，对上半身特征和下半身特征使用仿射变换操作，从而让映射的局部特征更加准确，对于上半身特征ui，f
ip
的映射公式如下：
[0061][0062]
其中表示细粒度特征f
ip
的坐标系矩阵；(xu,yu)表示上半身特征ui的坐标系矩阵；a
θ
是仿射变换的系数映射矩阵；θ
ij
是系数(i＝{1,2}且j＝{1,2})，b
l
是偏执量，l＝{0,1}；对于下半身特征li，采用同样的方法将特征映射成细粒度更高的局部特征；然后对特征的维度进行平均池化操作，降低到256维。
[0063]
c.使用dbscan聚类方法对不带有标签的目标域图像生成伪标签，再利用自步学习的策略生成可靠标签。
[0064]
采用resnet-50作为网络骨架提取目标域图像的特征，并对该些特征进行聚类，获得相应的伪标签。
[0065]
首先使用dbscan聚类方法对特征进行聚类，使得不带标签的特征获得伪标签；然后，计算独立性得分和紧凑性得分，以进一步生成更可靠的伪标签，独立性得分的计算公式如下所示：
[0066][0067]
其中是在标准簇半径下与目标域特征在同一个簇内的样本集合；代表将聚类半径扩大后与目标域图像在同一个簇内的样本集合；如果独立性得分高代表将簇的半径扩大后没有更多的样本被包括进来；紧凑性得分的计算公式如下所示：
[0068][0069]
其中，是将聚类半径缩小后与目标域图像在同一个簇内的样本集合；更高的紧凑性得分代表如果将簇的半径缩小，则产生更多的簇；根据独立性和紧凑性得分，分别设置两个阈值α和β，如果s
indep
＞α并且s
comp
＞β，则该簇进行保留，否则该簇内的所有样本被判别为不可靠的离群点；一个簇内的所有特征被赋予相同的伪标签；通过上述策略得
到更加可靠的簇，进而赋予各个特征更加可靠的伪标签。
[0070]
d.使用图卷积网络将同一张图像的全局特征、上半身特征、下半身特征以及细粒度更高的局部特征进行特征融合。
[0071]
图卷积网络中包含四种特征x＝{g
′
,u
′
,l
′
,f
′
}，即降维后的256维的全局特征上半身特征下半身特征以及细粒度更高的局部特征全局特征、上半身特征、下半身特征、局部特征分别对应三层图卷积网络中的节点；所述图卷积网络表示为graph＝(x,e)，其中x表示节点的集合，e表示边的集合。
[0072]
所述图卷积网络中边的集合表示为邻接矩阵a
(l)
的形式，使用0-1值以及欧几里得距离来分别作为边值的权重；则邻接矩阵表示如下：
[0073][0074]
其中i和j分别表示两个不同的样本；d(i,j)表示两个样本之间的欧式距离。
[0075]
所述图卷积网络第l层的前向传播公式表示如下：
[0076][0077]
其中表示在第l-1层的一个可学习的参数矩阵；表示一个已经被归一化的邻接矩阵；i表示单位矩阵，ρ表示leakyrelu函数的非线性映射；和分别表示第l层的输入特征和输出特征，d
l-1
和d
l
是特征的维度。
[0078]
e.将全局特征、细粒度更高的局部特征分别存储于全局特征存储库、局部特征存储库。
[0079]
将第k个簇中所有第p个部位的特征以簇中心即平均值的形式保存在局部特征存储库，即则局部特征存储库中每个簇中心表示如下：
[0080][0081]
其中ck表示第k个簇内的样本集合；随着模型的训练，局部特征存储库中的特征也不断更新；如果第k个簇的第p个局部特征对应的簇中心为则该簇中心被更新如下：
[0082][0083]
其中，表示一个训练批次中第k个簇内所有样本的集合；m为动态更新系数。
[0084]
与局部特征相似，对于全局特征来说，将所有的全局特征都保存到一个全局特征存储库中，即该存储库中保存每一个簇的全局中心特征并随着模型的训练，全局特征库中的特征也会不断动态更新。
[0085]
f.使用对比学习损失函数训练网络模型，并利用训练好的网络模型对图像进行重识别。
[0086]
计算每个局部样本与簇中心特征的余弦相似度作为损失函数，所有细粒度特征的局部损失函数定义如下：
[0087][0088]
其中，nf是细粒度特征的总个数；是特征所在簇的中心，t为设置的参数；局部对比学习损失越小代表该样本越靠近其所在簇的簇中心，并且越远离其他簇中心。
[0089]
类似地，通过引入全局损失函数l
global
来指导神经网路学习更加鲁棒的全局特征。
[0090]
为了平衡全局和局部损失函数的关系，引入一个超参数λ，则整个损失函数表示如下：
[0091]
l＝l
global
λl
local
。
[0092]
本发明还提供了一种基于全局-局部图卷积网络的跨域行人重识别系统，包括存储器、处理器以及存储于存储器上并能够被处理器运行的计算机程序指令，当处理器运行该计算机程序指令时，能够实现上述的方法步骤。
[0093]
在本实施例中，对本发明提出的方法与其他跨域行人重识别方法识别结果进行了比较。图2所示的表1示出了在personx-to-market-1501任务中本发明提出的方法与其他跨域行人重识别方法的对比结果。从表1中可以看到，本发明方法相较于现有的跨域行人重识别方法具有更优的识别效果。
[0094]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0095]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0096]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0097]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0098]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等
效实施例。但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。