基于渐进性的全局-局部特征行人重识别方法及系统

1.本发明涉及计算机视觉技术领域，尤其涉及一种基于渐进性的全局-局部特征行人重识别方法及系统。


背景技术：

2.在行人重识别任务中，学习有辨别力和丰富的特征是一个重要的步骤人员重新识别的重要研究任务。以前的方法试图提取在网络的最后一层以非交互的方法同时提取行人的全局和局部特征，但是，这样的策略学习会导致模型的高度相似性，并进一步导致模型的性能缺陷。


技术实现要素：

3.有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于渐进性的全局-局部特征行人重识别方法及系统，以解决行人的全局特征和局部学习在训练阶段缺乏交互而引起的高相似度问题。
4.为实现上述目的，本发明提供了一种基于渐进性的全局-局部特征行人重识别方法，包括步骤：
5.步骤1、准备输入数据，输入图片数据，所述图片数据来自随机挑选的行人id；
6.步骤2、特征提取，提取输入数据的全局特征fg和局部特征f
l
；
7.步骤3、对所述全局特征fg和局部特征f
l
计算损失函数，以交叉熵损失函数、困难三元组损失函数和达到最小化为目标去优化训练模型。
8.进一步的，所述提取输入数据的全局特征fg和局部特征f
l
，具体步骤是：
9.步骤2-1、使用resnet50作为全局特征的网络结构，并用其在imagenet数据集上预训练的模型初始化网络权重；
10.步骤2-2、修改全局特征分支，移除其第四个阶段中的下采样层，使得特征图的宽和高增加一倍；
11.步骤2-3、全局特征分支遵循resnet50的网络结构前向传播特征，在经过四个阶段之后分别得到96
×
32
×
256(f1)，48
×
16
×
512(f2)，24
×8×
1024(f3)，24
×8×
2048(f4)大小的特征图，将第四阶段得到的特征图经过池化层，输出一个1024维的特征向量fg；
12.步骤2-4、利用得到的f2，f3，f4特征图作为局部特征分支的输入；局部特征分支由两个特征细化模块和一个特征软分块操作组成；
13.步骤2-5、在局部特征分支中，将f3，f4送入第一个frm中，将f4视为相邻高层特征，f3视为相邻低层特征，对f4进行下采样操作使其具有和f3相同的尺寸；
14.步骤2-6、分别将f3，f4进行通道注意力操作，通过senet中的通道注意力实现：然后通过一个1
×
1的卷积操作将特征的通道数降为128；接着得到乘性指导因子a和加性指导因子b；
15.步骤2-7、利用乘性指导因子a和加性指导因子b以及f3，f4得到第一个frm的输出：
[0016][0017]
步骤2-8、将f2，送入第二个frm中，将视为相邻高层特征，f2视为相邻低层特征，重复第五至七步，得到第二个frm的输出：
[0018][0019]
步骤2-9、对执行spo，具体为，使用一个与相同的高度和宽度，通道数为1，值为1的模板z，在网络的训练阶段，随机使一块矩形区域值为0，其中0代表丢弃当前位置特征值，1代表保留当前位置特征值；全零矩形与具有相同的宽度，高度为的三分之一，全零矩形出现的位置随机但不能超出的合法区域；将代表软分块局部特征图，将其通过池化层得到局部特征向量f
l
；
[0020]
步骤2-10、得到输入图像的两种深度特征表达，即全局特征表达和模态特征表达。
[0021]
进一步的，所述对提取得到的全局特征fg和局部特征f
l
，计算特征损失函数，步骤是：
[0022]
步骤3-1、对于行人全局特征fg计算交叉熵损失函数，该损失函数用于判别行人身份特征是否对输入图片的行人身份进行正确的表达，具体形式为：
[0023][0024]
其中，n代表一个batch内的训练图片个数，xm,ym代表需要计算损失的全局特征和对应的真值标签；
[0025]
步骤3-2、对于行人全局特征fg计算带困难样本挖掘的三元组损失函数，该损失函数使行人的全局特征以id为划分标准更加类内聚集和类间分散，具体形式为：
[0026][0027]
其中，是当前batch内第m个行人的全局特征，是与具有相同身份的全局特征，是与具有不同身份的全局特征，α是控制正负样本对之间的超参数；
[0028]
步骤3-3、对于行人布局特征f
l
计算交叉熵损失函数，该损失函数用于判别行人身份特征是否对输入图片的行人身份进行正确的表达，具体形式为：
[0029][0030]
其中，n代表一个batch内的训练图片个数，xm,ym代表需要计算损失的局部特征和对应的真值标签；
[0031]
步骤3-4、对于行人局部特征f
l
计算带困难样本挖掘的三元组损失函数，该损失函数使行人的全局特征以id为划分标准更加类内聚集和类间分散，具体形式为：
[0032][0033]
其中，是当前batch内第m个行人的全局特征，是与具有相同身份的局部特征，是与具有不同身份的局部特征，α是控制正负样本对之间的超参数；
[0034]
步骤3-5、将全局特征和局部特征相加，得到网络最后的整体损失函数：
[0035][0036]
其中，λ是控制全局特征学习和局部特征学习的平衡超参数。
[0037]
本发明还提供一种基于渐进性的全局-局部特征行人重识别系统，包括：
[0038]
数据输入模块，用于准备输入数据，输入图片数据，所述图片数据来自随机挑选的行人id；
[0039]
特征提取模块，用于提取输入数据的全局特征fg和局部特征f
l
；
[0040]
损失函数计算模块，对所述全局特征fg和局部特征f
l
计算损失函数，以交叉熵损失函数、困难三元组损失函数和达到最小化为目标去优化训练模型。
[0041]
本发明的有益效果是：
[0042]
1、本文的方法强调两种特征学习时的时序先后性和交互性，在网络模型中先对全局特征进行提取，然后在全局特征的约束下进行局部特征的学习。此外，还设计了一种改进局部特征学习的细化改善模块。该模块包含动态性和渐进性两个属性，动态性允许此模块自适应调整网络根据输入的图像内容的不同。由于加入了全局特征的约束，缓解了特征内部的语义间隔现象。
[0043]
2、在四个数据集上进行了大量的实验，包括market1501，cuhk03、dukemtmcreid和msmt17。实验的结果表明，本发明的特征学习学习策略可以有效地提高行人特征的表达能力以及在多个数据集上的强力性能。
[0044]
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
[0045]
图1是本发明方法的网络结构图。
[0046]
图2是本发明方法的细化模块结构图。
具体实施方式
[0047]
本发明提供了一种基于渐进性的全局-局部特征行人重识别方法，包括步骤：
[0048]
步骤1、准备输入数据，输入图片数据，图片数据来自随机挑选的行人id；
[0049]
步骤2、特征提取，提取输入数据的全局特征fg和局部特征f
l
；
[0050]
步骤3、对全局特征fg和局部特征f
l
计算损失函数，以交叉熵损失函数、困难三元组损失函数和达到最小化为目标去优化训练模型。
[0051]
本实施例中，提取输入数据的全局特征fg和局部特征f
l
，具体步骤是：
[0052]
步骤2-1、使用resnet50作为全局特征的网络结构，并用其在imagenet数据集上预
训练的模型初始化网络权重；
[0053]
步骤2-2、修改全局特征分支，移除其第四个阶段中的下采样层，使得特征图的宽和高增加一倍；
[0054]
步骤2-3、全局特征分支遵循resnet50的网络结构前向传播特征，在经过四个阶段之后分别得到96
×
32
×
256(f1)，48
×
16
×
512(f2)，24
×8×
1024(f3)，24
×8×
2048(f4)大小的特征图，将第四阶段得到的特征图经过池化层，输出一个1024维的特征向量fg；
[0055]
步骤2-4、利用得到的f2，f3，f4特征图作为局部特征分支的输入；局部特征分支由两个特征细化模块和一个特征软分块操作组成；
[0056]
步骤2-5、在局部特征分支中，将f3，f4送入第一个frm中，将f4视为相邻高层特征，f3视为相邻低层特征，对f4进行下采样操作使其具有和f3相同的尺寸；
[0057]
步骤2-6、分别将f3，f4进行通道注意力操作，通过senet中的通道注意力实现：然后通过一个1
×
1的卷积操作将特征的通道数降为128；接着得到乘性指导因子a和加性指导因子b；
[0058]
步骤2-7、利用乘性指导因子a和加性指导因子b以及f3，f4得到第一个frm的输出：
[0059][0060]
步骤2-8、将f2，送入第二个frm中，将视为相邻高层特征，f2视为相邻低层特征，重复第五至七步，得到第二个frm的输出：
[0061][0062]
步骤2-9、对执行spo，具体为，使用一个与相同的高度和宽度，通道数为1，值为1的模板z，在网络的训练阶段，随机使一块矩形区域值为0，其中0代表丢弃当前位置特征值，1代表保留当前位置特征值；全零矩形与具有相同的宽度，高度为的三分之一，全零矩形出现的位置随机但不能超出的合法区域；将代表软分块局部特征图，将其通过池化层得到局部特征向量f
l
；
[0063]
步骤2-10、得到输入图像的两种深度特征表达，即全局特征表达和模态特征表达。
[0064]
本实施例中，对提取得到的全局特征fg和局部特征f
l
，计算特征损失函数，步骤是：
[0065]
步骤3-1、对于行人全局特征fg计算交叉熵损失函数，该损失函数用于判别行人身份特征是否对输入图片的行人身份进行正确的表达，具体形式为：
[0066][0067]
其中，n代表一个batch内的训练图片个数，xm,ym代表需要计算损失的全局特征和对应的真值标签；
[0068]
步骤3-2、对于行人全局特征fg计算带困难样本挖掘的三元组损失函数，该损失函数使行人的全局特征以id为划分标准更加类内聚集和类间分散，具体形式为：
[0069]
[0070]
其中，是当前batch内第m个行人的全局特征，是与具有相同身份的全局特征，是与具有不同身份的全局特征，α是控制正负样本对之间的超参数；
[0071]
步骤3-3、对于行人布局特征f
l
计算交叉熵损失函数，该损失函数用于判别行人身份特征是否对输入图片的行人身份进行正确的表达，具体形式为：
[0072][0073]
其中，n代表一个batch内的训练图片个数，xm,ym代表需要计算损失的局部特征和对应的真值标签；
[0074]
步骤3-4、对于行人局部特征f
l
计算带困难样本挖掘的三元组损失函数，该损失函数使行人的全局特征以id为划分标准更加类内聚集和类间分散，具体形式为：
[0075][0076]
其中，是当前batch内第m个行人的全局特征，是与具有相同身份的局部特征，是与具有不同身份的局部特征，α是控制正负样本对之间的超参数；
[0077]
步骤3-5、将全局特征和局部特征相加，得到网络最后的整体损失函数：
[0078][0079]
其中，λ是控制全局特征学习和局部特征学习的平衡超参数。
[0080]
本发明还提供一种基于渐进性的全局-局部特征行人重识别系统，包括：
[0081]
数据输入模块，用于准备输入数据，输入图片数据，图片数据来自随机挑选的行人id；
[0082]
特征提取模块，用于提取输入数据的全局特征fg和局部特征f
l
；
[0083]
损失函数计算模块，对全局特征fg和局部特征f
l
计算损失函数，以交叉熵损失函数、困难三元组损失函数和达到最小化为目标去优化训练模型。
[0084]
如图1所示，展示了本发明的整体网络结构和输入图片前向传播计算流程。
[0085]
1.准备输入数据。在网络训练阶段，一次共输入64张图片，其中64张图来自随机挑选的4个行人id，每个行人随机挑选16张图片，对于输入照片的视角并不做任何限制。并将所有的图像固定为384
×
128。
[0086]
2.我们使用resnet50作为全局特征的网络结构，并用其在imagenet数据集上预训练的模型初始化网络权重；
[0087]
3.修改全局特征分支，移除其第四个阶段中的下采样层，使得特征图的宽和高增加一倍；
[0088]
4.全局特征分支遵循resnet50的网络结构前向传播特征，在经过四个阶段之后分别得到96
×
32
×
256(f1)，48
×
16
×
512(f2)，24
×8×
1024(f3)，24
×8×
2048(f4)大小的特征图，将第四阶段得到的特征图经过池化层，输出一个1024维的特征向量fg；
[0089]
5.利用得到的f2，f3，f4特征图作为局部特征分支的输入，局部特征分支由两个特征细化模块(feature refinement module，简称frm)和一个特征软分块操作
(softpartition operation，简称spo)组成，经过两个frm和sop得到局部特征图，再经过池化操作后得到局部特征向量f
l
。
[0090]
6.得到输入图像的两种深度特征表达，即全局特征表达和模态特征表达，进行损失函数监督训练。
[0091]
如图2所示，展示了本发明的细化模块的结构图。
[0092]
1.利用全局特征分支得到的f2，f3，f4特征图作为局部特征分支的输入；局部特征分支由两个特征细化模块(feature refinement module，简称frm)和一个特征软分块操作(soft partition operation，简称spo)组成。
[0093]
2.在局部特征分支中，将f3，f4送入第一个frm中，将f4视为相邻高层特征，f3视为相邻低层特征，对f4进行下采样操作使其具有和f3相同的尺寸；
[0094]
3.分别将f3，f4进行通道注意力操作，可通过senet中的通道注意力实现：然后通过一个1
×
1的卷积操作将特征的通道数降为128(至此，f3和f4的尺寸均为24
×8×
128)；接着通过两个结构相同参数不共享的“conv-bn-relu-conv”得到乘性指导因子a和加性指导因子b；
[0095]
4.利用乘性指导因子a和加性指导因子b以及f3，f4得到第一个frm的输出：
[0096][0097]
5.将f2，送入第二个frm中，将视为相邻高层特征，f2视为相邻低层特征，重复第五至七步，得到第二个frm的输出：
[0098][0099]
对执行spo，具体为，使用一个与相同的高度和宽度，通道数为1，值为1的模板z，在网络的训练阶段，我们随机使一块矩形区域值为0，其中0代表丢弃当前位置特征值，1代表保留当前位置特征值。全零矩形与具有相同的宽度，高度为的三分之一，全零举行出现的位置随机但不能超出的合法区域。将代表软分块局部特征图，将其通过池化层得到局部特征向量f
l
。
[0100]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。