一种基于深层残差网络多尺度特征融合的行人重识别方法与流程

1.本发明涉及行人重识别领域，特别涉及一种基于深层残差网络多尺度特征融合的行人重识别方法。


背景技术：

2.行人重识别指的是利用行人在某一设备下的图像，在跨设备的图像库中检索出该行人，其与行人检测、行人跟踪技术相结合，可广泛应用于智能视频监控、办案区人员定位等领域。其技术路线可以总结为：输入一张图像或一段视频，首先采用人体检测器对图像或视频中的人体进行检测，将检测到人体图像进行裁剪、优选等预处理，然后将预处理后的多个人体图像输入到特征提取模型中提取特征，最后通过度量多个特征的相似性来判断是否为同一个人。
3.早期的行人重识别方法主要通过提取传统的图像特征来进行识别，如公开号为“cn107316031a”中通过对齐局部描述子提取和分级全局特征提取来进行行人重识别，其优点是速度快，但是传统的图像特征提取方法泛化性能差，难以适应不同姿态、遮挡、运动模糊、光照等外部条件的变化，导致其识别准确率偏低。
4.近年来，卷积神经网络的出现大幅提升了大规模图像分类的准确率，由于卷积神经网络分类准确率高、泛化能力强、能自动学习到具有区分力的深层特征信息，因此被广泛应用在行人重识别中。如公开号“cn109598191a”的发明专利提出了使用残差网络来进行行人重识别，通过利用残差网络的特征提取能力以及利用余弦空间损失进行训练，提高行人重识别的精度和鲁棒性。
5.现有的技术一般是直接通过深层残差网络提取行人特征来进行行人重识别，但常规的深层残差网络主要为大规模图像分类任务而设计，直接应用在行人重识别任务上的效果并不佳。
6.公开号为“cn110717411a”的发明专利提出了一种深层特征融合的行人重识别方法，这种基于深层特征融合的方法在一定程度上虽然可以提升网络性能，但其只是先简单地进行特征融合，再进行批量归一化，并没有提升网络的特征提取能力，而且这种方法无法同时兼顾全局特征和局部特征。


技术实现要素：

7.针对上述问题，提出了一种基于深层残差网络多尺度特征融合的行人重识别方法，该方法能同时兼顾全局特征和局部特征，并设计了一个高效的特征提取模块，加强深层网络的特征提取能力，从而能够有效地提升行人重识别的精度。
8.本发明通过以下技术方案实现：
9.一种行人重识别方法，包括步骤：
10.s1，获取行人图像；
11.s2，将所述行人图像送入预先训练好的多尺度特征融合的深层残差网络进行识
别，判断是否为同一人；其中所述预先训练好的多尺度特征融合的深层残差网络的结构为：第一网络模块，第一特征提取模块，第二网络模块，第二特征提取模块，第三特征提取模块，特征拼接层；其中行人图像输入第一网络模块，第一网络模块的输出分别接入第一特征提取模块，第二网络模块；第二网络模块输出分别接入第二特征提取模块，第三特征提取模块；特征拼接层接入第一特征提取模块、第二特征提取模块、第三特征提取模块并将所述第一特征提取模块、第二特征提取模块、第三特征提取模块的输出进行拼接，并将拼接后的结果作为输出。
12.进一步地，所述第一特征提取模块、第二特征提取模块、第三特征提取模块的具体结构为：一最大池化层、一平均池化层、第一批量归一化层batchnormalization，一修正线性层relu，一全连接层；第二批量归一化层batchnormalization；其中，其中最大池化层、平均池化层分别接入输入的特征数据，第一批量归一化层batchnormalization接入最大池化层、平均池化层的输出，第一批量归一化层的输出送入修正线性层relu，全连接层接入修正线性层relu的输出，修正线性层relu的输出送入第二批量归一化层batchnormalization。
13.进一步地，第一网络模块包括4层网络层。
14.进一步地，第二网络模块的输出特征平面为一2*2的网格。
15.进一步地，第一特征提取模块的输出大小为1*1*1024，第二特征提取模块的输出大小为1*1*2048，第三特征提取模块的输出大小为2*2*2048。
16.进一步地，在步骤s1中，在数据库中建立多个文件夹，每个文件夹存放同一行人的多张图像，不同行人按不同文件夹存放。
17.进一步地，所述全连接层的输出维度为512。
18.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现行人重识别方法的步骤。
19.一种存储器，其上存储有计算机程序，该程序被处理器执行时实现行人重识别方法的步骤。
20.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现行人重识别方法的步骤。
21.本发明与现有技术相比存在以下优点：
22.1.本方案设计了一种高效的特征提取模块，解决了普通卷积层特征提取能力不足的问题，提升了网络的特征提取能力；
23.2.本方案构建了基于深层残差网络多尺度特征融合的行人重识别模型，通过融合不同尺度的深层特征，提升了行人重识别模型的精度。
24.3.本方法能同时兼顾全局特征和局部特征，同时设计了一个高效的特征提取模块，加强了深层残差网络的特征提取能力。
附图说明
25.以下将结合附图对本发明做进一步详细说明；
26.图1是本发明的总体流程图；
27.图2为特征提取模块图；
28.图3为基于多尺度特征融合的深层残差网络结构图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.基于深层残差网络多尺度特征融合的行人重识别方法整体方案如图1，包含训练和测试两个阶段，主要包括以下几个步骤：
31.s1：收集行人数据库，每个文件夹存放同一行人的多张图像，不同行人按不同文件夹存放；
32.s2：利用训练好的行人检测器对行人数据库进行人体检测，得到行人检测框的位置信息；
33.s3：根据行人检测框的位置信息，对行人数据库图像进行人体裁剪，裁剪后缩放到统一尺寸，并按照适当比例划分训练集和测试集；
34.s4：在训练阶段，构建多尺度特征融合的残差神经网络，采用softmax loss和triplet loss损失函数进行联合训练，经过充分训练后得到最优的行人分类模型；
35.s5：在测试阶段，对训练好的行人分类模型，去掉最后的分类层参数，从分类层之前的特征层提取输出作为图像特征向量，采用余弦距离对不同的行人图像进行相似性度量，判断是否为同一行人。
36.在另一实施例中，基于深层残差网络多尺度特征融合的行人重识别网络设计，提出了一个高效的特征提取模块，其主要结构如图2所示，深层残差网络提取的特征输入到特征提取模块后分成两路，一路对输入的特征平面做最大值池化，另外一路对输入的特征平面做平均值池化，之后再对两路池化层的特征进行逐像素(elementwise)的相加操作；接着再通过batchnormalization层，leaky relu层以及全连接层(输出维度为512)，最后，在全连接层之后只连接batchnormalization层，不连接激活函数层，防止激活函数层破坏输出特征。本技术方案提出的特征提取模块能有效地减少特征损失，从而加强网络的特征提取能力。
37.整体网络结构由resnet50基础网络和特征提取模块构成，其中resnet50基础网络为移除resnet50网络最后平均池化层(gap)和全连接层的部分。整体的网络结构如图3所示，首先，输入裁剪后的行人图片，其经过resnet50网络的第一、第二、第三、第四网络层后分为两路，一路直接利用特征提取模块提取全局特征f1，输出特征平面大小为1x1x1024；另一路经过第五网络层后再分成两路，其中一路直接利用特征提取模块提取全局特征f2，输出特征平面大小为1x1x2048；另一路则先采用2x2的网格进行划分，得到4块局部特征，再利用特征提取模块提取特征f3，输出特征平面大小为2x2x2048；最后再将特征f1、f2、f3进行拼接，得到最终的输出特征。通过融合两路不同尺度的深层特征，能够更有效地挖掘出深层特征信息，加强网络的特征提取能力，从而得到更加精确的行人特征信息。
38.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于深层残差网络多尺度特征融合的行人重识别方法的步骤。
39.本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于深层残差网络多尺度
特征融合的行人重识别方法的步骤。
40.以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。