一种行人重识别方法、系统、设备及存储介质

1.本发明涉及行人重识别技术领域，尤其涉及一种行人重识别方法、系统、设备及存储介质。


背景技术：

2.给定一张查询图像，行人重识别旨在尽可能多地在不同摄像机下返回与查询图片最匹配的行人图像。随着公共场所安防需求的不断扩大，以及“智慧城市”等国家级工程的开展，海量的监控相机在道路、学校、机场、车站等公共场所广泛铺开。庞大的视频监控规模带来了监控视频数据量的爆发式增长，仅靠人工处理的方式在对特定人物进行查询处理将耗费大量人力物力财力，行人重识别的应用价值也显得尤为突出。行人重识别技术可以进一步提高公共区域视频监控的智能化和自动化水平，帮助我们更好地完成嫌犯追踪、走失儿童寻找等任务。
3.行人一直是安防工作的重点，通常需要在监控网络中找到某一特定人物，将跨摄像头、跨时间段、跨视角的行人图片匹配起来。传统的利用生物特征进行搜索查询，如人脸、指纹等，虽然在智能门禁、实名认证等领域有着广泛的应用，但往往需要行人进行主动配合或接触，具有一定的局限性。由于监控场景下人脸的清晰度低、角度不定、甚至人脸根本不可见等问题，单纯应用人脸信息进行检索的准确率和召回率都十分有限。
4.现有的行人重识别技术也往往依靠人脸信息或身体外观信息进行识别，主要包括特征提取和相似性度量两方面，常用卷积神经网络(convolutional neural network，cnn)对行人图片或人脸图片进行特征提取，然后使用欧式距离或余弦距离度量对行人间的相似性进行计算和排序。由于不同行人间可能会有相似的姿势、衣着，相同的行人也可能由于视角差异有着很大的姿势或外观上的不同，因此，有判别力和鲁棒性的特征十分重要。又由于监控中只有部分行人图片具有清晰可见的正脸或侧脸，因此许多行人图片并不能提取到可靠的人脸特征，如何将其融入行人重识别任务中也是一大难点。
5.因此，现有的行人重识别技术主要存在如下技术问题：
6.1)现有的人脸识别技术很难应用到的行人重识别场景中，这一方面是由于监控下人脸清晰度不定、角度不定等问题，另一方面是由于存在人脸不可见等情况(如只有行人背影)，故不能有效地知道行人的具体身份。
7.2)现有的大部分行人重识别算法单纯基于身体外观特征，虽然准确率相较监控场景下的人脸识别更高，但仍然具有一定的局限性，且很难解决行人更换衣服后的识别问题。
8.3)已有的少量结合人脸识别的行人重识别算法在融合时只考虑到了单样本内的身体外观特征和人脸特征的融合。正如前述技术问题1)中所描述，由于人脸特征质量的不稳定性，直接融合的性能很差。


技术实现要素：

9.本发明的目的是提供一种行人重识别方法、系统、设备及存储介质，融合了人脸信
息与身体外观信息，两类信息相互辅助，提升行人重识别的匹配准确度
10.本发明的目的是通过以下技术方案实现的：
11.一种行人重识别方法，包括：
12.将人脸特征与身体外观特征分别作为检索线索，根据图像之间的人脸特征相似度与身体外观特征相似度，从图像数据库中初步检索出对应于查询图像的人脸检索排序结果与身体外观检索排序结果；
13.从所述人脸检索排序结果与身体外观检索排序结果中，分别选出排序靠前的若干不重复的图像组成候选样本集合；将候选样本集合中，每一候选样本与查询图像的人脸特征相似度，以及每一候选样本与查询图像的身体外观特征相似度进行组合，获得组合相似度，综合所有候选样本的组合相似度，得到组合相似度矩阵，并通过编码得到嵌入相似度矩阵；
14.以每一候选样本为节点，利用特征之间的亲和力分别构建人脸特征图模型与身体外观特征图模型；
15.将人脸特征图模型与身体外观特征图模型输入至双路图卷积网络，由每一路图卷积网络处理单个图模型，通过双路图卷积网络对近邻上下文信息进行融合，得到每一候选样本对应的两个图变换后的节点特征；
16.将每一候选样本对应的两个图变换后的节点特征，以及对应的嵌入相似度进行线性加权融合，获得每一候选样本的融合相似度；
17.按照候选样本的融合相似度大小将所有候选样本进行降序排列，获得检索结果。
18.一种行人重识别系统，该系统包括：
19.初步检索单元，用于将人脸特征与身体外观特征分别作为检索线索，根据图像之间的人脸特征相似度与身体外观特征相似度，从图像数据库中初步检索出对应于查询图像的人脸检索排序结果与身体外观检索排序结果；
20.候选样本集合构造及特征相似度组合与编码单元，用于从所述人脸检索排序结果与身体外观检索排序结果中，分别选出排序靠前的若干不重复的图像组成候选样本集合；将候选样本集合中，每一候选样本与查询图像的人脸特征相似度，以及每一候选样本与查询图像的身体外观特征相似度进行组合，获得组合相似度，综合所有候选样本的组合相似度，得到组合相似度矩阵，并通过编码得到嵌入相似度矩阵；
21.图模型构建单元，用于以每一候选样本为节点，利用特征之间的亲和力分别构建人脸特征图模型与身体外观特征图模型；
22.图模型节点特征变换单元，用于将人脸特征图模型与身体外观特征图模型输入至双路图卷积网络，由每一路图卷积网络处理单个图模型，通过双路图卷积网络对近邻上下文信息进行融合，得到每一候选样本对应的两个图变换后的节点特征；
23.线性加权融合单元，用于将每一候选样本对应的两个图变换后的节点特征，以及对应的嵌入相似度进行线性加权融合，获得每一候选样本的融合相似度；
24.检索结果生成单元，用于按照候选样本的融合相似度大小将所有候选样本进行降序排列，获得检索结果。
25.一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
26.其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或
多个处理器实现前述的方法。
27.一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
28.由上述本发明提供的技术方案可以看出，将人脸识别有效地融入行人重识别任务中，在寻找行人时，将人脸和身体外观的信息相互融合，且这种融合不再局限于单样本中的信息融合，而是考虑到了不同样本的近邻样本的上下文信息，对人脸质量的不稳定容忍度高，融合性能更加鲁棒、优异。同时，本发明扩展性高，可与大量已有的行人重识别和人脸识别技术相结合，进一步提升性能。
附图说明
29.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
30.图1为本发明实施例提供的一种行人重识别方法的流程框架图；
31.图2为本发明实施例提供的组合相似度编码器结构图；
32.图3为本发明实施例提供的行人重识别技术的概念示意图；
33.图4为本发明实施例提供的一种行人重识别系统的示意图；
34.图5为本发明实施例提供的一种处理设备的示意图。
具体实施方式
35.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
36.首先对本文中可能使用的术语进行如下说明：
37.术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素(如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等)，应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。
38.下面对本发明所提供的一种行人重识别方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。
39.实施例一
40.考虑到，基于人脸识别技术在监控场景下进行行人重识别很容易受到清晰度、视角和人脸存在性的影响，效果较差，而基于身体外观特征的行人重识别算法也发展到了瓶颈阶段，难以进一步提升，且很难应对换衣服带来的外观变化问题；基于单样本的人脸和身体外观信息融合容易受到人脸质量差的影响，融合性能较差。基于此，本发明实施例提供一
种行人重识别方法，它是一种基于人脸和身体外观双线索近邻上下文信息融合的行人重识别方法，图1展示，该方法的整体流程框架；该方法主要包括如下步骤：
41.步骤1、将人脸特征与身体外观特征分别作为检索线索，根据图像之间人脸特征相似度与身体外观特征相似度，从图像数据库中初步检索出对应于查询图像的人脸检索排序结果与身体外观检索排序结果。
42.本步骤的优选实施方式如下：
43.1)对于查询图像与所述图像数据库中的每一图像，通过卷积神经网络(convolutional neural network，cnn)分别提取人脸特征与身体外观特征。
44.2)将人脸特征与身体外观特征分别作为检索线索，根据数据库中每一图像与查询图像之间的人脸特征相似度与身体外观特征相似度，分别计算出两种检索线索下的两组检索排序结果，将身体外观检索排序结果记为人脸检索排序结果记为其中，n为图像数据库中图像数目，b、f分别表示身体外观检索排序结果、人脸检索排序结果中图像的标记符号。
45.本领域技术人员可以理解，两组检索排序结果是根据数据库图像与查询图像之间相应特征的相似度大小对数据库图像降序排列结果，特征的相似度大小可以通过欧式距离或余弦距离等指标来度量。
46.步骤2、从所述人脸检索排序结果与身体外观检索排序结果中，分别选出排序靠前的若干不重复的图像组成候选样本集合；将候选样本集合中，每一候选样本与查询图像的人脸特征相似度，以及每一候选样本与查询图像的身体外观特征相似度进行组合，获得组合相似度，综合所有候选样本的组合相似度，得到组合相似度矩阵，并通过编码得到嵌入相似度矩阵。
47.本步骤优选实施方式如下：
48.1)将候选样本集合中候选样本的数目记为m，考虑到两组检索排序结果中置信度越高，排序越高前，因此，从身体外观检索排序结果和人脸检索排序结果中排序靠前的样本中分别选出不重复的m/2个图像，组成候选样本集合其中，c为候选样本的标记符号，m＜＜n，m的数值可根据实际情况或者经验自行设定，本发明不做限制。
49.示例性的，可以先从身体外观检索排序结果中排序靠前样本中选出m/2个候选样本，剩余m/2个样本则由人脸检索排序结果中排序靠前的样本补齐，相同的样本不再重复选取，最终组成候选样本集合。
50.2)对于每一候选样本，将其与查询图像的人脸特征相似度和身体外观特征相似度进行组合，获得组合相似度，综合m个候选样本的组合相似度，得到组合相似度矩阵其中，表示实数集。
51.如之前步骤1所述，两组检索排序结果都是基于图像之间相应特征的相似度进行排序，因此，此阶段可以直接读取之前计算相应候选图像与查询图像的人脸特征相似度与身体外观特征相似度。
52.3)利用多层感知机(multi-layer perceptron，mlp)对所述组合相似度矩阵s进行编码，获得嵌入相似度矩阵嵌入相似度矩阵的每一行向量表示一个候选样本的嵌入相似度，d为嵌入相似度的维度。
53.如图2所示，展示了组合相似度编码器的结构图，其属于多层感知机。
54.步骤3、以每一候选样本为节点，利用特征之间的亲和力分别构建人脸特征图模型与身体外观特征图模型。
55.本发明实施例中，分别根据人脸和身体外观特征间的亲和力构建两个图模型，本步骤优选实施方式如下：
56.1)构建的两个图模型中的每一节点均对应一个候选样本，利用所述嵌入相似度矩阵初始化两个图模型的各节点特征，即初始化的节点特征为相应候选样本在嵌入相似度矩阵h中的行向量。例如，h中第i行向量作为节点i初始化的节点特征，节点i也对应候选样本ci，i＝1，...，m。
57.2)人脸特征图模型中，通过人脸特征的k近邻原则构建节点之间的边，边特征通过两个节点对应候选样本的人脸特征进行计算；身体外观特征图模型中，通过身体外观特征的k近邻原则构建节点之间的边，边特征通过两个节点对应候选样本的身体外观特征进行计算。例如，从节点i指向节点j的边特征e
i，j
则为节点i和节点j对应候选样本的人脸或身体外观特征的哈达玛积(hadamard product)，即特征逐元素相乘得到的结果，其维度与对应特征维度相同。
58.步骤4、将人脸特征图模型与身体外观特征图模型输入至双路图卷积网络，由每一路图卷积网络处理单个图模型，通过双路图卷积网络对近邻上下文信息进行融合，得到每一候选样本对应的两个图变换后的节点特征。
59.本发明实施例中，通过双路图卷积网络(graph convolutional network，gcn)分别对各线索下的图模型进行近邻上下文信息的融合。图卷积网络中的卷积操作可被看做是近邻样本信息的聚合或消息传递。
60.双路图卷积网络中的两个图卷积网络具有相同的结构，但是网络参数不同(即下式中的权重参数α，各层线性变换的权重矩阵w
(k)
不同)，每一图卷积网络均包含若干层，第k层输出节点i的图变换后的节点特征表示为：
[0061][0062]
其中，分别表示节点i在通过图卷积网络第k层、第k-1层后的节点特征，分别表示节点i、节点j初始化的节点特征，e
i,j
表示从节点i指向节点j的边特征，表示与节点i相连接近邻节点集合，a(e
i,j
)＝α
tei,j
为带有可学习权重参数α的边函数，σ为激活函数，w
(k)
为第k层线性变换的权重矩阵；每一节点对应一个候选样本；
[0063]
上述卷积操作可进一步简化整理为，
[0064][0065]
最终，将人脸图模型中节点i通过图卷积网络变换后最后一层输出的节点特征记为将身体外观图模型中节点i通过图卷积网络变换后最后一层输出的节点特征记为
[0066]
步骤5、将每一候选样本对应的两个图变换后的节点特征，以及对应的嵌入相似度
进行线性加权融合，获得每一候选样本的融合相似度。
[0067]
如之前所述，将人脸图模型中节点i通过图卷积网络变换后最后一层输出的节点特征记为将身体外观图模型中节点i通过图卷积网络变换后最后一层输出的节点特征记为
[0068]
从所述嵌入相似度矩阵中取出节点i对应候选样本ci的嵌入相似度即嵌入相似度矩阵第i行向量，通过下式进行线性加权融合(融合相似度解码)：
[0069][0070]
其中，s(q，ci)表示查询图像q与节点i对应的候选样本ci的融合相似度；t为矩阵转置符号，ω0、ωb与ωf均为可学习的线性变换权重。如图1所示，线性变换通过全连接层实现。
[0071]
步骤6、按照候选样本的融合相似度大小将所有候选样本进行降序排列，获得检索结果。
[0072]
按照上述步骤5可以计算出查询图像q与m个候选样本的融合相似度，依照融合相似度大小将所有候选样本进行降序排列，即可得到经过双线索上下文信息融合的检索结果。
[0073]
以上行人重识别方法构成一个行人重识别模型，主要包括：卷积神经网络(人脸和身体外观特征提取)、多层感知机(组合相似度矩阵编码)、图卷积网络(上下文信息融合)、三个全连接层(融合相似度解码)。
[0074]
图3展示了基于人脸和身体外观双线索近邻上下文信息融合的行人重识别技术的概念示意图。先由查询图像q分别通过人脸和身体外观线索进行检索，后根据近邻上下文信息融合得到最终的检索结果，图3中的亲和力图是指利用特征之间的亲和力构建的图模型。
[0075]
将本发明上述行人重识别方法作为一个行人重识别模型，使用排序损失(ranking loss)函数监督行人重识别模型进行学习，由于卷积神经网络是提前训练好的，因此，仅更新多层感知机、图卷积网络以及三个全连接层的参数。
[0076]
具体来说，构建训练时的候选样本集合其分为两组，分别为正样本组和负样本组其中，表示第k个正样本，表示第l个负样本，所有正样本与查询图像q的身份相同，即为同一个人，所有负样本与查询图像q的身份均不同，且m
p
mn＝m，m
p
表示正样本数量，mn表示负样本数量，m表示所有候选样本的数量。
[0077]
所述排序损失函数表示为：
[0078][0079]
其中，m为排序损失的边界值，表示查询图像q与第k个正样本的融合相似度，表示查询图像q与第l个负样本的融合相似度；[
·
]

＝max(0，
·
)为合页函数。
[0080]
训练时，对于每个查询图像q，排序损失函数可促使所有正样本的最终融合相似度均比负样本的最终相似度高，且至少高出一个边界值m。
[0081]
此部分所涉及的学习流程可参照常规技术，本发明不做赘述。
[0082]
本发明实施例提供的上述行人重识别方法，通过进一步挖掘人脸和身体外观双线索下近邻样本的上下文信息，将两种信息更加鲁棒高效地融合了起来。通过我们设计的双路图卷积神经网络融合框架，人脸信息和身体外观信息在图模型的近邻样本间不断传播融合，使得最终的融合性能有了稳步的提升。
[0083]
实施例二
[0084]
本发明还提供一种行人重识别系统，其主要基于前述实施例一提供的方法实现，如图4所示，该系统主要包括：
[0085]
初步检索单元，用于将人脸特征与身体外观特征分别作为检索线索，根据图像之间人脸特征相似度与身体外观特征相似度，从图像数据库中初步检索出对应于查询图像的人脸检索排序结果与身体外观检索排序结果；
[0086]
候选样本集合构造及特征相似度组合与编码单元，用于从所述人脸检索排序结果与身体外观检索排序结果中，分别选出排序靠前的若干不重复的图像组成候选样本集合；将候选样本集合中，每一候选样本与查询图像的人脸特征相似度，以及每一候选样本与查询图像的身体外观特征相似度进行组合，获得组合相似度，综合所有候选样本的组合相似度，得到组合相似度矩阵，并通过编码得到嵌入相似度矩阵；
[0087]
图模型构建单元，用于以每一候选样本为节点，利用特征之间的亲和力分别构建人脸特征图模型与身体外观特征图模型；
[0088]
图模型节点特征变换单元，用于将人脸特征图模型与身体外观特征图模型输入至双路图卷积网络，由每一路图卷积网络处理单个图模型，通过双路图卷积网络对近邻上下文信息进行融合，得到每一候选样本对应的两个图变换后的节点特征；
[0089]
线性加权融合单元，用于将每一候选样本对应的两个图变换后的节点特征，以及对应的嵌入相似度进行线性加权融合，获得每一候选样本的融合相似度；
[0090]
检索结果生成单元，用于按照候选样本的融合相似度大小将所有候选样本进行降序排列，获得检索结果。
[0091]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0092]
上述系统中各单元的具体工作流程在之前的实施例一中已经做了详细的说明，故不再赘述。
[0093]
实施例三
[0094]
本发明还提供一种处理设备，如图5所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。
[0095]
进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。
[0096]
本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：
[0097]
输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；
[0098]
输出设备可以为显示终端；
[0099]
存储器可以为随机存取存储器(random access memory，ram)，也可为非不稳定的存储器(non-volatile memory)，例如磁盘存储器。
[0100]
实施例四
[0101]
本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。
[0102]
本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0103]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。