一种基于多粒度遮挡感知的遮挡行人重识别方法与流程

1.本发明属于计算机视觉领域，涉及一种行人重识别方法，尤其涉及一种基于多粒度遮挡感知的遮挡行人重识别方法。


背景技术：

2.行人重识别(reid)也称行人再识别，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术。广泛被认为是一个图像检索的子问题。给定一个监控行人图像，检索跨设备下的该行人图像。旨在弥补固定的摄像头的视觉局限，并可与行人检测行人跟踪技术相结合，可广泛应用于智能视频监控、智能安保等领域。
3.由于人们很容易会被一些障碍物(如行李、柜台、人群、汽车、树木)遮挡，或者由于部分身体走出了摄像机拍摄区域而造成遮挡。因此，有必要去准确匹配只具有局部可观测的行人图片，这就是所谓的遮挡行人重识别(occluded person re-ldentification)问题。行人重识别(reid)任务的目标是去匹配不同摄像机拍摄到的同一个人的图像，虽然人们近年来提出了多种针对reid的方法，其中，常见的一种针对reid的方法是基于多粒度感知。然而，现有的基于多粒度感知解决行人重识别问题大多侧重于人的全身图像，忽略了更具挑战性且也是实际应用中经常出现的行人遮挡问题。对于遮挡行人重识别问题，现有技术存在三个限制因素，首先，现有技术提取到的特征受到固定分割和单一级别的限制，这导致了特征多样性较弱。其次，沿高度维度的均匀水平分割与语义信息的实际分布相冲突，即遮挡信息并非全部水平分布，这导致了一致性问题。最后，由于现有方法通常在单一级别上进行一步预测，因此遮挡区域无法被精确删除。


技术实现要素：

4.为解决以上现有技术问题，本发明提出了一种基于多粒度遮挡感知的遮挡行人重识别方法，该方法实时获取待重识别的行人图像数据；将该数据输入到训练好的基于多粒度遮挡感知的遮挡行人重识别模型中，输出遮挡行人重识别结果；
5.对基于多粒度遮挡感知的遮挡行人重识别模型进行训练的过程包括：
6.s1：获取原始行人图像数据；对获取的数据进行预处理，将预处理后的数据进行划分，得到训练集和测试集；
7.s2：将训练集的数据输入到模型的多粒度特征提取器中提取行人的特征，得到不同尺度的特征映射，将不同尺度的特征映射输入到不同分支；
8.s3：根据特征映射计算注意力遮挡感知，得到增强后的上一分支行人特征；
9.s4：利用多粒度信息传递，将上一分支的特征映射传递到当前分支；
10.s5：根据传递特征映射和当前分支的特征映射计算注意力遮挡感知，得到增强后的当前分支行人特征，实现遮挡由粗到细的擦除；
11.s6：将经过所有分支处理得到的行人特征concat拼接在一起，输出基于多粒度遮挡感知的遮挡行人重识别模型擦除遮挡后的行人特征；
12.s7：根据得到的行人特征构建模型的损失函数；
13.s8：将测试集中的数据输入到模型中，不断调整模型的参数，当损失函数值最小时完成模型的训练。
14.进一步的，多粒度特征提取器提取行人的特征包括：采用单帧提取器在不同阶段对数据进行提取，得到不同尺度的特征映射，将不同尺度的特征映射输入到不同分支前部的卷积层，每个分支前部的卷积层对不同尺度的特征映射进行调整，得到调整好的特征映射。
15.进一步的，根据特征映射计算注意力遮挡感知的过程包括：
16.将分支的特征映射分别沿水平方向和竖直方向划分进行划分，得到分区；
17.计算每个分区的注意力分数；
18.根据注意力分数，获取注意力掩膜；
19.根据注意力掩膜，得到增强后的行人特征。
20.进一步的，计算每个分区的注意力分数的过程为：分区中的映射特征通过多个3
×
3卷积滤波器和1
×
1卷积滤波器处理后，再经过批处理归一化处理，从通道和空间位置的角度计算各个分区中的像素与整个图像中所有像素的关系，根据各个分区中的像素与整个图像中所有像素的关系计算出每个分区的注意力分数。
21.优选的，利用多粒度信息传递，将上一分支的特征映射传递到当前分支的过程包括：
22.对上一分支的特征映射和当前分支的特征映射作初步处理，使得两个特征映射保持一样的维度；
23.将初步处理后的两个特征映射进行concat拼接；
24.完成对拼接在一起的特征映射的聚合；
25.将聚合的特征映射输入给当前分支。
26.进一步的，初步处理的过程包括：
27.使用1
×
1卷积滤波器调整上一分支特征映射的通道c数量使得上一分支特征映射的通道c数量与当前分支特征映射的通道c数量一致；
28.使用双线性插值对上一分支特征映射和当前分支特征映射进行采样，使得上一分支特征映射的大小与当前分支特征映射的大小一致。
29.进一步的，对拼接在一起的特征映射的聚合过程包括：将特征映射经过一个1
×
1卷积滤波器和批处理归一化，最后利用relu激活后完成聚合。
30.进一步的，多粒度特征提取器为共享权重的单帧特征提取器resnet-50。
31.优选的，基于多粒度遮挡感知的遮挡行人重识别模型的损失函数表达式为：
[0032][0033][0034]
[0035]
其中，l为模型的总损失，l
tr
为硬采样三重组损失，l
ce
为平滑标签的交叉熵损失，f
ta
、f
tp
、f
tn
分别表示目标、正样本、负样本的特征映射；l
tr
(fi)表示分支的硬采样三重组损失，l
ce
(vi)表示分支的平滑标签的交叉熵损失，n示样本个数，m表示边界距离；表示模型输出的特征嵌入，w
t
、b
t
、bk表示可学习参数矩阵，y
t
为对应的真实身份标签，c表示训练集的标签种类数。
[0036]
本发明的有益效果：
[0037]
本发明通过定位和去除遮挡来改进特征表示；首先，利用多粒度特征提取器提取行人特征；其次，设计注意力感知遮挡擦除，沿水平和垂直方向分别划分特征映射学习局部特征表示；最后，考虑到粒度之间的相关性，通过信息传递来建立粒度间的关系，实现遮挡由粗到细的擦除；本发明对比固定分割和单一级别的方法，增强了特征多样性；对比仅使用沿高度维度水平分割的方法，添加垂直划分以应对任意分布的语义信息；对比一步预测的方法，在多个级别上进行多步预测以提升精度，实现更精确的遮挡行人重识别。
附图说明
[0038]
图1为本发明多粒度遮挡感知示意图；
[0039]
图2为本发明注意力感知遮挡擦除流程图；
[0040]
图3为本发明单帧图像的多粒度感兴趣区域示例展示；
[0041]
图4为本发明所有输入图像的感兴趣区域示例展示；
[0042]
图5为多粒度信息传递伪代码图。
具体实施方式
[0043]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0044]
本发明提出了一种基于多粒度遮挡感知的遮挡行人重识别方法，如图1所示，该方法实时获取待重识别的行人图像数据；将该数据输入到训练好的基于多粒度遮挡感知的遮挡行人重识别模型中，输出遮挡行人重识别结果；
[0045]
对基于多粒度遮挡感知的遮挡行人重识别模型进行训练的过程包括：
[0046]
s1：获取原始行人图像数据；对获取的数据进行预处理，将预处理后的数据进行划分，得到训练集和测试集；
[0047]
s2：将训练集的数据输入到模型的多粒度特征提取器中提取行人的特征，得到不同尺度的特征映射，将不同尺度的特征映射输入到不同分支；
[0048]
s3：根据特征映射计算注意力遮挡感知，得到增强后的上一分支行人特征；
[0049]
s4：利用多粒度信息传递，将上一分支的特征映射传递到当前分支；
[0050]
s5：根据传递特征映射和当前分支的特征映射计算注意力遮挡感知，得到增强后的当前分支行人特征，实现遮挡由粗到细的擦除；
[0051]
s6：将经过所有分支处理得到的行人特征concat拼接在一起，输出基于多粒度遮挡感知的遮挡行人重识别模型擦除遮挡后的行人特征；
[0052]
s7：根据得到的行人特征构建模型的损失函数；
[0053]
s8：将测试集中的数据输入到模型中，不断调整模型的参数，当损失函数值最小时完成模型的训练。
[0054]
进一步的，得到不同尺度的特征映射的过程为：
[0055]
对输入的视频进行随机采样t帧，利用多粒度特征提取器提取行人的特征，利用多粒度特征提取器提取行人的特征包括：采用单帧提取器在不同阶段对数据进行提取，得到不同尺度的特征映射，将不同尺度的特征映射输入到不同分支前部的卷积层，每个分支前部的卷积层对不同尺度的特征映射进行调整，得到调整好的特征映射，每种尺度的特征映射对应一个分支的输入，并将对应的特征映射输入给每个分支；特征映射表示为fi＝{f
t
|t＝1,2,...,t}，其中f
t
∈rh×w×c为单帧特征映射，h、w、c分别表示宽度，高度和通道数。
[0056]
进一步的，注意力感知遮挡擦除(aa-oe)流程如图2所示，根据特征映射计算注意力遮挡感知，得到增强后的行人特征的过程为：将分支的特征映射分别沿水平方向和竖直方向划分为一定数量的分区，计算每个分区的注意力分数；根据注意力分数，获取注意力掩膜；根据注意力掩膜，得到增强后的行人特征。
[0057]
具体过程为：在不同的分支中，将输入的特征映射f
t
∈rh×w×c分别沿水平方向和竖直方向划分为一定数量的分区pi，以全面探索行人特征，分区的大小即为粒度，大分区为粗粒度，小分区为细粒度，每个分支的分区的数量固定，例如，将第一个分支的分区划分为2个，第二个分支的分区划分为4个，
…
；由于受到图像在内存中存储方式的限制，故而将f
t
进行转置再划分，以实现竖直划分。划分表示如下：
[0058]
xh＝[x1,x2,
…
,x
p
]
[0059]
xv＝[y1,y2,
…
,y
p
]
[0060]
其中，xi和yi分别为f
t
和f
tt
，最终的xh与xv均包含d＝t
×
p个分区；
[0061]
对于xh与xv中的像素，即特征映射，通过多个3
×
3卷积滤波器和1
×
1卷积滤波器处理后，再经过批处理归一化处理，从通道和空间位置的角度计算各个分区中的像素与整个图像中所有像素的关系，根据各个分区中的像素与整个图像中所有像素的关系计算出每个分区的注意力分数；
[0062]
根据注意力分数，使用sigmoid函数来获取注意力掩膜；所述注意力掩膜为为注意力分数矩阵，记为同时获得水平注意力掩膜和竖直注意力掩膜后，将水平注意力掩膜和竖直注意力掩膜相加聚合到初始的特征映射中，得到增强后的行人特征，即完整的特征映射，输出的完整的特征映射表示为ai∈rh×w×c，大小与fi相同，具体公式为：
[0063][0064]
单帧图像的多粒度感兴趣区域示例展示如图3所示，所有输入图像的感兴趣区域示例展示如图4所示。
[0065]
进一步的，多粒度特征提取器为共享权重的单帧特征提取器resnet-50。
[0066]
优选的，利用多粒度信息传递，将上一分支的特征映射传递到当前分支的过程包
括：
[0067]
对上一分支的特征映射和当前分支的特征映射作初步处理，使得两个特征映射保持一样的维度；
[0068]
将初步处理后的两个特征映射进行concat拼接；
[0069]
完成对拼接在一起的特征映射的聚合；
[0070]
将聚合的特征映射输入给当前分支。
[0071]
多粒度信息传递伪代码如图5所示，表明该模块通过将两个输入图像进行聚合，以实现从粗到细的传递过程。
[0072]
进一步的，初步处理的过程包括：由于输入为上一分支的fi和当前分支的fj，fi的通道c均为fi的两倍，本发明使用1
×
1卷积滤波器调整上一分支特征映射的通道c数量，使得上一分支特征映射的通道c的数量与当前分支特征映射的通道c的数量一致；使用双线性插值对上一分支特征映射和当前分支特征映射进行采样，使得上一分支特征映射的大小与当前分支特征映射的大小一致；优选的，双线性插值的系数为2。
[0073]
进一步的，对拼接在一起的特征映射的聚合过程包括：将特征映射经过一个1
×
1卷积滤波器和批处理归一化，最后利用relu激活后完成聚合。
[0074]
进一步的，利用损失函数监督基于多粒度遮挡感知的遮挡行人重识别模型输出的行人特征，确认模型输出的行人身份。
[0075]
共使用两种损失，分别为硬采样的三重组损失l
tr
和标签平滑的交叉熵损失l
ce
，公式如下：
[0076][0077][0078]
其中，l
tr
为硬采样三重组损失，f
ta
、f
tp
、f
tn
分别表示目标、正样本、负样本的特征映射；n示样本个数，m表示边界距离，用于设置正负样本间的绝对距离，||f
ta-f
tp
||2表示目标和正样本间的距离，||f
ta-f
tn
||2表示目标和负样本间的距离，通过计算硬采样三重组损失计算目标与正负样本之间的距离来缩小目标与正样本之间的距离和扩大目标与负样本之间的距离，达到评价模型生成特征是否属于正样本的作用。
[0079]
l
ce
为平滑标签的交叉熵损失，其中，表示模型输出的特征嵌入，w
t
、b
t
、bk表示可学习参数矩阵，y
t
为对应的真实身份标签，c表示训练集的标签种类数，通过计算平滑标签的交叉熵损失计算模型预估的目标身份与真实身份标签的差距，达到评价模型生成目标身份是否正确的作用。
[0080]
为了监督每个分支，在每个分支上都添加损失，最终的损失函数为：
[0081][0082]
其中，l为模型的总损失，l
tr
(fi)表示分支的硬采样三重组损失，l
ce
(vi)表示分支的平滑标签的交叉熵损失。
[0083]
本发明通过定位和去除遮挡来改进特征表示；首先，利用多粒度特征提取器提取行人特征；其次，设计注意力感知遮挡擦除，沿水平和垂直方向分别划分特征映射学习局部特征表示；最后，考虑到粒度之间的相关性，通过信息传递来建立粒度间的关系，实现遮挡由粗到细的擦除；本发明对比固定分割和单一级别的方法，增强了特征多样性；对比仅使用沿高度维度水平分割的方法，添加垂直划分以应对任意分布的语义信息；对比一步预测的方法，在多个级别上进行多步预测以提升精度，实现更精确的遮挡行人重识别。
[0084]
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。