一种遮挡驱动的行人再识别方法、系统及可存储介质与流程

1.本发明涉及图像处理技术领域，更具体的说是涉及一种遮挡驱动的行人再识别方法、系统及可存储介质。


背景技术：

2.传统的行人属性识别方法通常侧重于从手工特征、强大的分类器或属性关系等角度来建立稳健的特征表示，其中包括hog、sift、svm或crf模型等，这些传统算法的性能远远不能满足实际应用的要求。现在大多数用于行人属性识别的深度学习方法都使用了浅层卷积网络。使用卷积神经网络，即可以使用随机梯度下降学习特征及分类减轻的端到端学习，并限制一些支持向量机和手工特征相关的方法。提取特征是通过直接卷积滤波器中的训练数据学习得到的，主要好处有：用非常简单便捷的端到端方式优化特征提取器和分类器参数，提取的特征针对特定的属性进行自适应的优化。多标签的卷积神经网络优于支持向量机，因为它们能够更加全面的学习属性之间的关系。
3.行人重识别旨在非重叠视角域多摄像头网络下进行行人匹配，即确认不同位置的摄像头在不同的时刻所拍摄的行人目标是否为一个人。基于深度学习的方法一直以来主导着重识别领域。这些方法可以大致分为两类：第一类主要集中于从图像中提取不变特征，以提高判别能力；第二类是通过将时间线整合到空间特征中，将特征搜索从图像扩展到视频序列。
4.行人重识别技术早期的小数据集(viper等)仅通过两个摄像机进行图像采集，每个行人仅有一个正确的检索目标，无法提供全面评估，实际应用效果并不明显。现有的行人重识别数据集(duke，cuhk03，market-1501等等)都是在实际的校园中用摄像机采集图像，最大的数据集也就几万张图片。面对不同场景拍摄角度，通过对特征变化进行学习得到摄像机视角转化函数模型的过程较为复杂。
5.目前行人重识别技术对无遮挡条件下的行人识别准确度较高，但在遮挡场景下会损失部分特征信息，导致识别难度加大；而且在数据集的图像质量低、图片模糊且有噪声的情况下，对图像中行人特征的提取难度加大，全景数据集中因为采用鱼眼摄像头，导致镜头的边缘处扭曲，更会进一步导致识别的准确度降低。因此，如何在不同遮挡场景及图片模糊、质量差的情况下，还能准确识别行人的特征是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种遮挡驱动的行人再识别方法、系统及可存储介质，在不同遮挡场景及图片模糊、质量差的情况下，还能准确识别行人的特征，提高了识别的准确率。
7.为了实现上述目的，本发明提供了一种遮挡驱动的行人再识别方法，包括以下步骤：
8.获取全景视频并构建全景数据集；
9.通过数据增强的方法对所述全景数据集进行扩充，得到增强后的全景数据集，作为训练集；
10.构建遮挡分类模型，将所述训练集输入所述遮挡分类模型中进行训练，直至模型收敛，得到训练完成的遮挡分类模型；
11.构建重识别模型，基于遮挡程度的不同，将所述训练集输入所述重识别模型中对应不同遮挡程度的子模型中进行训练，直到各个子模型的识别准确率达到预设值时停止训练，得到训练完成的重识别模型；
12.将待检测图片输入所述训练完成的遮挡分类模型中，获取所述待检测图片的遮挡程度，并将所述待检测图片输入所述训练完成的重识别模型的相应的子模型中进行识别，得到所述待检测图片的行人特征识别结果。
13.上述的技术方案中公开了本发明中行人再识别方法的具体步骤，通过对全景视频进行处理，尽可能减弱镜头扭曲对行人识别的影响，对于不同遮挡场景下的图片均能较好地识别行人特征。
14.可选的，获取全景视频并构建全景数据集，具体包括以下步骤：
15.通过全景摄像机拍摄全景视频；
16.对所述全景视频进行剪辑，获取每帧均有行人的视频；
17.对所述每帧均有行人的视频进行截断帧操作，将视频数据转换为图片数据，并采用没有丰富运动特征但人像清晰的图片构建全景数据集。
18.可选的，通过数据增强的方法对所述全景数据集进行扩充，具体为：采用opencv对图片数据进行亮度增强、色度增强及锐度增强，得到增强后的全景数据集，可以解决数据集处理过程中存在的数据数量不足、图片质量较低、比较模糊的问题。
19.可选的，构建的遮挡分类模型为resnet18模型；得到训练完成的遮挡分类模型，具体包括以下步骤：
20.采用数据集函数对训练集和对应标签进行处理，获取训练集长度；
21.通过对数据迭代器中的训练集进行迭代，获取相应的图片张量和标签张量；
22.将resnet18模型迁移到gpu上，获得预测遮挡程度；
23.通过交叉熵损失函数对resnet18模型进行训练，采用优化器对网络参数进行优化，直至交叉熵损失函数收敛，得到训练完成的遮挡分类模型。
24.上述的技术方案公开了对遮挡分类模型进行训练的具体过程，根据交叉熵损失函数更新网络权重使得输出的照片分类级别更准确，能够使得训练完成的遮挡分类模型对遮挡程度的判断更加准确。
25.可选的，所述交叉熵损失函数为：
26.h(p,q)＝-∑(p(x)logq(x))；
27.其中：p(x)表示输入数据的特征x的真实概率分布，q(x)表示输入数据的特征x的预测概率分布。
28.可选的，基于转化器模型构建重识别模型，所述重识别模型包括无遮挡子模型、小遮挡子模型、严重遮挡子模型。
29.可选的，子模型的训练包括两个阶段：特征提取与监督学习；
30.在特征提取阶段，将图片切割成若干块，每个块为一个序列，并输入转化器模型的
编码器中，获取具有重叠像素的块；
31.在监督学习阶段，通过全局分支和图像块重组分支两个独立的变换器层分别对全局特征和局部特征进行编码；其中，通过所述图像块重组分支中的图像块重组模块将所有图像块重新分组后输入共享的变换器层中，获取本地特征。
32.上述的技术方案公开了对重识别模型进行训练的具体过程，根据遮挡程度的不同将重识别模型划分为三个子空间训练，对于输入集，先通过遮挡分类模型进行分类，再使用对应类型的子空间中训练出来的子模型进行识别，可减少遮挡对人脸识别结果的干扰。
33.本发明还提供了一种遮挡驱动的行人再识别系统，包括：
34.获取模块，用于采集全景视频并构建全景数据集；
35.图像增强模块，用于通过数据增强的方法对所述全景数据集进行扩充，得到增强后的全景数据集，作为训练集；
36.第一构建模块，用于构建遮挡分类模型；
37.第一训练模块，通过将所述训练集输入所述遮挡分类模型中进行训练，直至模型收敛，得到训练完成的遮挡分类模型；
38.第二构建模块，用于构建重识别模型；
39.第二训练模块，基于遮挡程度的不同，将所述训练集输入所述重识别模型中对应不同遮挡程度的子模型中进行训练，直到各个子模型的识别准确率达到预设值时停止训练，得到训练完成的重识别模型；
40.检测模块，通过将待检测图片输入所述训练完成的遮挡分类模型中，获取所述待检测图片的遮挡程度，并将所述待检测图片输入所述训练完成的重识别模型的相应的子模型中进行识别，得到所述待检测图片的行人特征识别结果。
41.本发明还提供了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以上行人再识别方法的步骤。
42.经由上述的技术方案可知，与现有技术相比，本发明公开提供了一种遮挡驱动的行人再识别方法、系统及可存储介质，具有以下有益效果：
43.(1)本发明中的行人再识别方法，首先通过遮挡分类模型进行分类，判断遮挡程度，再将其输入重识别模型的对应类型的子模型进行识别，可以减少遮挡对人脸识别的影响；
44.(2)本发明中的行人再识别方法，对全景视频进行处理，可以尽可能地减弱镜头扭曲对行人识别的影响；
45.(3)本发明中的行人再识别方法，对数据集中分辨率低、模糊、有噪声特征的图片进行增强处理，可以实现在不同遮挡场景及图片模糊、质量差的情况下，还能准确识别行人的特征，提高了识别的准确率。
附图说明
46.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
47.图1为本发明的行人再识别方法的流程图；
48.图2(a)-图2(b)分别为数据增强前和数据增强后的图像；
49.图3为遮挡分类模型的结构示意图；
50.图4为重识别模型的训练过程示意图；
51.图5为本发明的行人再识别系统的结构图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.实施例1
54.本发明实施例公开了一种遮挡驱动的行人再识别方法，如图1所示，包括以下步骤：
55.获取全景视频并构建全景数据集；
56.通过数据增强的方法对全景数据集进行扩充，得到增强后的全景数据集，作为训练集；
57.构建遮挡分类模型，将训练集输入遮挡分类模型中进行训练，直至模型收敛，得到训练完成的遮挡分类模型；
58.构建重识别模型，基于遮挡程度的不同，将训练集输入重识别模型中对应不同遮挡程度的子模型中进行训练，直到各个子模型的识别准确率达到预设值时停止训练，得到训练完成的重识别模型；
59.将待检测图片输入训练完成的遮挡分类模型中，获取待检测图片的遮挡程度，并将待检测图片输入训练完成的重识别模型的相应的子模型中进行识别，得到待检测图片的行人特征识别结果。
60.进一步地，关于全景数据集的采集与构建：采用insta 360全景摄像机采集数据。采集环境的人流量大，视频不稳定，如果长时间持续采集数据，很多数据是无效的。为了解决这个问题，通过短时高频的采集方法，来保证每个数据段的高有效性。为了获得更好的实验结果，采集分辨率为1080*1920、平均每秒30帧的视频，同时将每段视频的持续时间控制在20秒左右。全景数据集角度更多，范围更大，更接近于摄像头采集到的数据。这样的数据集较为自然，但是由于采用鱼眼摄像头会导致镜头的边缘处存在扭曲，且光线明暗和分辨率高低也会对训练和测试带来影响。因此在制作全景数据集之前先使用insta 360studio来剪辑全景视频，尽量确保每一帧均有行人；接着，使用cv2.videocapture来截断帧，以此将视频数据转换为图片。当全景视频中有多个角度有效时进行保存，并采用其中一些没有丰富运动特征但人像清晰的图片作为全景数据集。
61.进一步地，由于数据集的处理过程中，存在某些数据的数量不足、图片的质量较低、比较模糊的情况，因此，为了提高数据集的大小和质量，通过数据增强的方法来扩充数据集。在本实施例中利用opencv对图片数据进行增强，opencv中有很多对图片进行数据增强的方法，比如改变亮度、改变色度以及改变锐度。如图2(a)所示为数据增强前的图像，在
增强时，将图片的亮度增加0.2，将图片的色度增加0.8，将图片的锐度增加3.0，会得到如图2(b)所示增强后的图像。
62.进一步地，构建的遮挡分类模型为resnet18模型，参见图3。首先将训练集和对应标签读入数据集函数中处理，将每一次读入的图片加到列表中，得到列表长度即数据集长度，从列表中读取每一张图片将其转换成张量；然后，加载训练集并放入数据迭代器中，设置学习率为0.001，加载resnet18模型，分成三种遮挡类型即resnet(3,3)，将该模型迁移到gpu上训练，选择交叉熵损失函数，利用optim.adam()优化器更新其内部的可学习参数params(iterable)，随机数选择1000，然后开始训练。训练时先前向传播，对数据迭代器中的数据进行迭代，分别获取相应的图片张量和标签张量，将其迁移到gpu上，获得预测值即输入照片的预测遮挡程度，计算交叉熵损失函数，然后清空优化器参数对loss进行反向传播，依据交叉熵损失函数更新网络中权重使得该网络输出的照片分类级别更准确，然后使用优化器对模型参数进行优化，直至模型收敛，得到训练完成的遮挡分类模型。
63.具体地，交叉熵损失函数为：
64.h(p,q)＝-∑(p(x)logq(x))；
65.其中：p(x)表示输入数据的特征x的真实概率分布，q(x)表示输入数据的特征x的预测概率分布。
66.进一步地，如图4所示为重识别模型的训练过程示意图，基于转化器模型提出重识别模型，包括：无遮挡子模型、小遮挡子模型和严重遮挡子模型。由于这三个模型是在根据遮挡程度而划分的子空间内训练的，所以每个子模型均侧重于不同的遮挡程度，即无遮挡、小遮挡和严重遮挡。对于输入的图片来说，先通过遮挡分类模型进行分类，判断遮挡程度，再使用对应类型的子空间中训练出来的子模型进行识别，以减少遮挡对人脸识别结果的干扰。
67.子模型的训练分为两个阶段，特征提取与监督学习。在特征提取阶段，输入该模块的图像将被切割成若干块，每个块成为一个序列，并输入转化器模型的编码器中。通过滑动窗口生成具有重叠像素的块，以避免丢失块周围的局部相邻结构。此外还引入二维双线性插值作为可学习的位置编码来处理任何分辨率的输入图像。同时，在监督学习阶段，使用全局分支和图像块重组分支两个独立的变换器层分别对全局特征和局部特征进行编码。图像块重组分支包含图像块重组模块，该模块将所有图像块洗牌并重新分组，然后输入到共享的变换器层中，获取本地特征。
68.此外，还可以对子模型进行测试时，对每一个子空间中的模型都进行测试，测试数据和结果见表1。首先，在经遮挡分类模型分类后形成的子空间中，对测试集的图片逐个使用对应的子模型进行识别，并输出识别结果。然后，统计各个子模型的准确率与首尾命中率，以判断使用各个子模型对相应遮挡程度的行人的重识别是否更为准确。
69.表1子模型的测试数据及结果
[0070][0071]
实施例2
[0072]
本实施例提供了一种遮挡驱动的行人再识别系统，如图5所示，包括：
[0073]
获取模块，用于采集全景视频并构建全景数据集；
[0074]
图像增强模块，用于通过数据增强的方法对全景数据集进行扩充，得到增强后的全景数据集，作为训练集；
[0075]
第一构建模块，用于构建遮挡分类模型；
[0076]
第一训练模块，通过将训练集输入遮挡分类模型中进行训练，直至模型收敛，得到训练完成的遮挡分类模型；
[0077]
第二构建模块，用于构建重识别模型；
[0078]
第二训练模块，基于遮挡程度的不同，将训练集输入重识别模型中对应不同遮挡程度的子模型中进行训练，直到各个子模型的识别准确率达到预设值时停止训练，得到训练完成的重识别模型；
[0079]
检测模块，通过将待检测图片输入所述训练完成的遮挡分类模型中，获取所述待检测图片的遮挡程度，并将所述待检测图片输入所述训练完成的重识别模型的相应的子模型中进行识别，得到所述待检测图片的行人特征识别结果。
[0080]
本发明还提供了一种计算机可存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1中所述行人再识别方法的步骤。
[0081]
本发明提出了一个全景摄像头中遮挡驱动的行人再识别方法，该方法结构的组成部分包括图像增强、遮挡分类模型和重识别模型。本方案有利于在开放式校园拍摄图像的测试阶段。与普通图像相比，在开放式校园拍摄的图像会有更多的干扰，如遮蔽和光线。因此，首先对图像的亮度、色度和清晰度进行增强处理，然后根据遮挡程度将图像分为3种类型，构成三个子空间，将图像输入相应的子模型进行训练。本发明的技术方案能够在不同遮挡场景下，例如部分遮挡、严重遮挡和行人的自遮挡，以及图片模糊、质量差的情况下，依然能准确识别行人的特征，提高了行人识别的准确率。
[0082]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说
明即可。
[0083]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。