一种遮挡行人重识别方法及系统与流程

1.本发明公开了一种遮挡行人重识别方法及系统，属于行人重识别技术领域。


背景技术：

2.近年人工智能技术在不断进步，尤其是在计算机视觉领域，从传统提取特征到现在的深度学习技术，不断推进学术界与工业界的发展。行人重识别技术是继人脸识别技术以来又一重要的以人为中心的研究领域，该领域在现实社会中具有非常重要的现实意义和商业转化前景。行人重识别(person re-identification)目标是依托遍布各地、各场景的监控设备实现跨摄像头的行人特征提取和检索。
3.传统的行人重识别研究方法可分为基于图像手工特征设计、度量学习以及深度学习的相关方法，在相关的数据集中也取得了较高的识别率。但是在实际的应用场景中，行人重识别技术面临很多问题，如行人的姿态变化、分辨率的变化以及图像域变化等。其中尤其是遮挡因素，越来越得到关注。在一些场景中，行人往往容易被建筑物、人群、汽车等遮挡，或者由于部分身体走出了摄像机拍摄区域而造成遮挡，使得行人图像本身的可辨别性能急剧下降，造成了识别系统的误匹配。特别是在人员密集等条件下，行人的遮挡情况非常严重，从而大大降低了系统的识别性能。因此，有必要准确匹配只具有局部可观测的行人图像。
4.与匹配出现行人整体信息的情况相比，遮挡情况下的行人重识别更具挑战性，原因如下：a. 在遮挡区域中，图像包含的辨别信息较少，使得更容易被匹配到错误的人身上去；b. 基于身体部位之间的特征信息做匹配虽然有效，但需要事先进行严格的人体对齐，因此遮挡严重时效果不佳。


技术实现要素：

5.本技术的目的在于，提供一种遮挡行人重识别方法及系统，以解决现有识别算法存在的遮挡情况下，行人识别结果精度低的技术问题。
6.本发明的第一方面提供了一种遮挡行人重识别方法，包括：获取训练集中行人图像的遮挡率，根据所述遮挡率将所述行人图像分块，得到每幅行人图像对应的多个序列块；将每幅行人图像对应的多个序列块输入至识别模型中，训练所述识别模型，得到每幅行人图像的识别信息，所述识别信息包括全局特征以及每个序列块对应的局部特征和遮挡概率；将待识别图像和注册图像分块并分别输入至训练好的识别模型中，得到待识别图像的识别信息和注册图像的识别信息；确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，根据
所述相似度确定识别结果。
7.优选地，获取训练集中行人图像的遮挡率，根据所述遮挡率将所述行人图像分块，得到每幅行人图像对应的多个序列块，具体包括：获取训练集中行人图像的遮挡比例，得到遮挡比例热图；对所述遮挡比例热图进行预分块；获取每个所述预分块的遮挡率，根据所述遮挡率确定每个所述预分块的分块粒度；根据所述分块粒度，将所述行人图像分块，得到每幅行人图像对应的多个序列块。
8.优选地，获取训练集中行人图像的遮挡比例，具体包括：根据第一公式确定训练集中行人图像的遮挡比例，所述第一公式为：式中，为所述遮挡比例热图中第个像素点的遮挡比例，为所述图像序列中第幅行人图像第个像素点的遮挡值，且，和分别为所述行人图像的长和宽，为训练集中行人图像的总数量。
9.优选地，将每幅行人图像对应的多个序列块输入至识别模型中，训练所述识别模型，得到每幅行人图像的识别信息，具体包括：将每幅行人图像对应的多个序列块输入至识别模型的线性投射模块，得到线性向量；在所述线性向量中添加每个所述序列块的位置信息，得到输入向量；将所述输入向量输入至所述识别模型的自注意力学习模块中，得到每幅行人图像的识别信息；根据所述识别信息和所述识别信息对应的损失函数，优化所述识别模型的参数，得到训练好的识别模型。
10.优选地，所述损失函数根据第二公式确定，所述第二公式为：式中为所述识别模型的损失函数，为所述全局特征的损失函数，为第个序列块对应的局部特征的损失函数，为第个序列块对应的遮挡概率的损失函数。
11.优选地，所述全局特征的损失函数和所述局部特征的损失函数为交叉熵损失函数或者局部三元组损失函数；
所述遮挡概率的损失函数如第三公式，所述第三公式为：式中，为第幅行人图像的第个序列块的遮挡标签且，为第幅行人图像的第个序列块的遮挡预测分类概率，为训练集中行人图像的总数量。
12.优选地，确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，具体包括：确定所述待识别图像的识别信息和所述注册图像的识别信息中的全局特征之间的第一相似度；确定所述待识别图像的识别信息和所述注册图像的识别信息中的局部特征之间的第二相似度；利用第四公式确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，所述第四公式为：式中，为所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，为所述第一相似度，为第个序列块的第二相似度，和分别为所述第一相似度和所述第二相似度的权重，根据第五公式确定，所述第五公式为：式中，为所述待识别图像的第个序列块的遮挡概率，为所述注册图像的第个序列块的遮挡概率，为预先设定的遮挡阈值。
13.优选地，在确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度之前，还包括：判断所述待识别图像中是否含有手工标注的遮挡区域标记，如是，则确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，具体包括：确定所述待识别图像的识别信息和所述注册图像的识别信息中的全局特征之间
的第一相似度；确定所述待识别图像的识别信息和所述注册图像的识别信息中的局部特征之间的第二相似度；利用第六公式确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，所述第六公式为：式中，为所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，为所述第一相似度，为第个序列块的第二相似度，和分别为所述第一相似度和所述第二相似度的权重，根据第七公式确定，所述第七公式为：式中，为所述待识别图像的第个序列块中遮挡区域的面积，为所述待识别图像的第个序列块的面积，为预先设定的第一标记阈值。
14.优选地，在确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度之前，还包括：判断所述待识别图像中是否含有手工标注的感兴趣区域标记，如是，则确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，具体包括：确定所述待识别图像的识别信息和所述注册图像的识别信息中的局部特征之间的第二相似度；利用第八公式确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，所述第八公式为：式中，为所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，为第个序列块的第二相似度，根据第九公式确定，所述第九公式为：
式中，为所述待识别图像的第个序列块中感兴趣区域的面积，为所述待识别图像的第个序列块的面积，为预先设定的第二标记阈值。
15.本发明的第二方面提供了一种遮挡行人重识别系统，包括：分块模块，所述分块模块用于获取训练集中行人图像的遮挡率，根据所述遮挡率将所述行人图像分块，得到每幅行人图像对应的多个序列块；模型训练模块，所述模型训练模块用于将每幅行人图像对应的多个序列块输入至识别模型中，训练所述识别模型，得到每幅行人图像的识别信息，所述识别信息包括全局特征以及每个序列块对应的局部特征和遮挡概率；识别信息获取模块，所述识别信息获取模块用于将待识别图像和注册图像分块并分别输入至训练好的识别模型中，得到待识别图像的识别信息和注册图像的识别信息；结果确定模块，所述结果确定模块用于确定所述待识别图像的识别信息和所述注册图像的识别信息之间的相似度，根据所述相似度确定识别结果。
16.本发明的遮挡行人重识别方法及系统，相较于现有技术，具有如下有益效果：本发明提出了遮挡行人识别的特征提取的新框架，能够同时提取出适配的全局特征、局部特征以及局部特征的遮挡概率描述，从而提高遮挡情况下的行人特征表征能力，提高遮挡行人重识别精度。
17.进一步地，本发明结合手工标记的遮挡行人重识别方法，可以将手工标记关联到本方法的分块策略上，检索识别过程中可使用全局特征、局部特征和遮挡概率进行检索识别或者可以使用局部特征进行检索识别，提升了检索识别的灵活性。
附图说明
18.图1为本发明实施例中遮挡行人重识别方法的流程示意图；图2为本发明实施例中一个图像序列的遮挡比例热图；图3为本发明实施例中分块粒度示意图，（a）为细粒度分块示意图；（b）为中等粒度分块示意图；（c）为粗粒度分块示意图；图4为本发明实施例中训练识别模型的示意图。
具体实施方式
19.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。
20.本发明的第一方面提供了一种遮挡行人重识别方法，其流程如图1所示，包括：步骤1、获取训练集中行人图像的遮挡率，根据遮挡率将行人图像分块，得到每幅行人图像对应的多个序列块，具体包括：步骤11、获取训练集中行人图像的遮挡比例，得到遮挡比例热图。
21.本发明实施例中，在获取训练集中行人图像的遮挡比例之前，需要先对训练集中
的行人图像进行遮挡区域标记，标记可为人工标记或者使用现有技术中的算法进行标记。
22.根据公式（1）确定训练集中行人图像的遮挡比例，公式（1）为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）式中，为所述遮挡比例热图中第个像素点的遮挡比例，为图像序列中第幅行人图像第个像素点的遮挡值，且，和分别为所述行人图像的长和宽，为训练集中行人图像的总数量。
23.本发明实施例中的像素点的遮挡值的确定方式为：若第y幅行人图像第i个像素点被遮挡，则，否则。
24.示例性地，本发明实施例中的一个图像序列的遮挡比例热图如图2所示。其中深色为遮挡比例高的区域，浅色为遮挡比例低的区域。
25.步骤12、对遮挡比例热图进行预分块。
26.步骤13、获取每个预分块的遮挡率，根据遮挡率确定每个预分块的分块粒度。
27.本发明实施例中的每个预分块的遮挡率可根据对应预分块内的像素点的遮挡比例确定。具体可为预分块内像素点遮挡比例的和或者预分块内像素点遮挡比例的均值。
28.在确定了每个预分块的遮挡率之后，可将遮挡率与预设的遮挡率阈值进行对比，以确定每个预分块的分块粒度。示例性地，如遮挡率大于或等于预设的遮挡率阈值，则该预分块可使用细粒度划分，以更好地描述遮挡情况，便于后续识别；如遮挡率小于预设的遮挡率阈值，则该预分块可使用粗粒度划分，以减少总分块数，减少数据处理量，提升识别速度。其中分块也可以考虑区域重叠，块与块之间可重叠，以尽可能群举遮挡分布情况。
29.本发明实施例中的细粒度划分以及粗粒度划分中具体的粒度可根据实际情况确定。
30.示例性地，本发明实施例的分块粒度可为如图3所示的粒度，图3中的（a）为细粒度分块，可用表征，其中为总序列块数，为第一个序列块。图3中的（b）为中等粒度分块，可用表征，其中为总序列块数，为第一个序列块。图3中的（c）为粗粒度分块，可用表征，其中为总序列块数，为第一个序列块。具体使用哪种分块粒度可根据实际情况确定。
31.步骤14、根据分块粒度，将行人图像分块，得到每幅行人图像对应的多个序列块。将每幅行人图像中k个序列块的遮挡比例记为。
32.步骤2、将每幅行人图像对应的多个序列块输入至识别模型中，训练识别模型，得到每幅行人图像的识别信息，识别信息包括全局特征以及每个序列块对应的局部特征和遮挡概率，该过程如图4所示，具体包括：步骤21、将每幅行人图像对应的多个序列块输入至识别模型的线性投射模块，得到线性向量。
33.本发明实施例的识别模型为vision transormer模型。
34.transformer结构是google在17年的attention is all you need论文中提出的，在自然语言处理的多个任务上取得了非常好的效果。其将句子中的分词(token) 通过变换得到嵌入特征，然后利用自注意力机制结构获取增加了注意力结构之后的信息，然后通过多层堆叠的transformer 结构，形成了自然语言处理中的encoder 和 decoder 结构，完成相应任务。
35.近年，transformer 结构被引入至计算机视觉中，具体为vision transormer(vit)。vision transormer在不改变transformer中encoder架构的前提下，直接将其从nlp领域迁移到了计算机视觉领域中。
36.步骤22、在线性向量中添加每个序列块的位置信息，得到输入向量，其中如公式（2）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）式中，表示第个序列块的遮挡比例，为第个序列块的位置信息，j=1,2，
…
，k。
37.本发明实施例在添加位置信息时，也将该位置对应的遮挡概率叠加，以更好的描述训练集中行人图像的遮挡情况，并增强识别模型的学习能力。
38.步骤23、将输入向量输入至识别模型（vit模型）的自注意力学习模块中，得到每幅行人图像的识别信息，具体地，将输入至识别模型的自注意力学习模块中，得到一个全局特征和每个序列块对应的局部特征及每个序列块对应的遮挡概率，其中为全局特征的维数，下角标为全局特征标志，下角标为局部特征标志。
39.步骤24、根据识别信息和识别信息对应的损失函数，优化识别模型的参数，得到训练好的识别模型，其中，损失函数根据公式（3）确定：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（3）式中为识别模型的损失函数，为全局特征的损失函数，通常将特征接入分类层以交叉熵损失函数或者局部三元组损失函数表达，为第个序列块对应的局部特征的损失函数，通常将特征接入分类层以交叉熵损失函数或者局部三元组损失函数表达，为第个序列块对应的遮挡概率的损失函数。
40.进一步地，全局特征的损失函数和局部特征的损失函数为交叉熵损失函数或者局部三元组损失函数等，损失计算可以提升图像的特征表达能力。示例性地，其中全局特征的交叉熵损失函数的具体形式如公式（4）所示：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（4）式中，为全局特征的损失函数，为类别，为类别数量，为第幅行人图像的全局特征的类别标签，为第幅行人图像的全局特征的预测分类概率，训练集共幅行人图像。
41.更进一步地，为了学习各序列块的遮挡概率，可以通过两类的交叉熵损失进行表示，则遮挡概率的损失函数如下述公式（5）：（5）式中，为第幅行人图像的第个序列块的遮挡标签且，为第幅行人图像的第个序列块的遮挡预测分类概率，为训练集中行人图像的总数量。
42.完成了识别模型的训练后，可以构建遮挡行人数据集的底库。其中每幅行人图像的特征可由其全局特征和各序列块的局部特征及其遮挡概率一起组成。在进行识别时，使用步骤3和步骤4对待识别图像a和底库中的注册图像b分别提取相应特征集合并进行相似度比对即可得到识别结果。
43.步骤3、将待识别图像和注册图像分块并分别输入至训练好的识别模型中，得到待识别图像的识别信息和注册图像的识别信息。
44.本发明实施例中对待识别图像和注册图像分块所使用的方法为上述步骤1中的方法，得到待识别图像对应的多个序列块和注册图像对应的多个序列块。
45.将待识别图像对应的多个序列块输入至训练好的识别模型中，得到待识别图像的全局特征、每一个序列块的局部特征和遮挡概率。
46.将注册图像对应的多个序列块输入至训练好的识别模型中，得到注册图像的全局特征、每一个序列块的局部特征和遮挡概率。
47.步骤4、确定待识别图像的识别信息和注册图像的识别信息之间的相似度，根据相似度确定识别结果。
48.在第一种实施例中，步骤4具体为：步骤41、确定待识别图像的识别信息和注册图像的识别信息中的全局特征之间的第一相似度，其中第一相似度的计算公式如式（6）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（6）式中，为第一相似度，为待识别图像的全局特征，为注册图像的全局特征，相似度计算函数，可为欧氏距离、卡方距离或者cosine距离等。
49.步骤42、确定待识别图像的识别信息和注册图像的识别信息中的局部特征之间的第二相似度，其中第二相似度的计算公式如式（7）：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（7）式中，为第二相似度，为待识别图像的局部特征，为注册图像的局部特征，，为相似度计算函数，可为欧氏距离、卡方距离或者cosine距离等。
50.步骤43、利用公式（8）确定待识别图像的识别信息和注册图像的识别信息之间的相似度，公式（8）为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（8）式中，为待识别图像的识别信息和注册图像的识别信息之间的相似度，为第一相似度，为第个序列块的第二相似度，和分别为第一相似度和第二相似度的权重，可通过经验获得，根据公式（9）确定，公式（9）为：
ꢀꢀꢀ
（9）式中，为待识别图像的第个序列块的遮挡概率，为注册图像的第个序列块的遮挡概率，为预先设定的遮挡阈值。
51.本实施例设置的原因是：局部特征比对模块中，首先需要定义匹配模块，即如何对这两幅图像的局部特征进行匹配。对于每个局部区域，首先判断是否参与相似度计算，因此设置了。若待识别图像a或注册图像b中判定该区域遮挡概率大于预先设定的遮挡阈值，则该局部特征不参与相似度计算，否则按照遮挡概率作为加权系数，最终完成局部特征的比对。
52.在第二种实施例中，针对于一幅具体的待识别图像，可以直接手工标记出遮挡区域，以获取更精确的识别结果。
53.在该种实施例中，在计算相似度之前，需要判断待识别图像中是否含有手工标注的遮挡区域标记，如是，则步骤4，具体包括：步骤41、确定待识别图像的识别信息和注册图像的识别信息中的全局特征之间的第一相似度；步骤42、确定待识别图像的识别信息和注册图像的识别信息中的局部特征之间的第二相似度；步骤43、利用公式（10）确定待识别图像的识别信息和注册图像的识别信息之间的相似度，公式（10）为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（10）式中，为待识别图像的识别信息和注册图像的识别信息之间的相似度，为第一相似度，为第个序列块的第二相似度，和分别为第一相似度和第二相似度的权重，根据公式（11）确定，公式（11）为：
ꢀꢀ
（11）
式中，为待识别图像的第j个序列块中遮挡区域的面积，为待识别图像的第个序列块的面积，，为预先设定的第一标记阈值。
54.如否，则步骤4的步骤与第一种实施例的步骤相同。
55.在第三种实施例中，针对于一幅具体的待识别图像，可以直接手工标记出想要识别的感兴趣区域，以获取与该区域相似的候选目标集。
56.在该种实施例中，在计算相似度之前，需要判断待识别图像中是否含有手工标注的感兴趣区域（region of interest，roi）标记，如是，则步骤4，具体包括：步骤41、确定待识别图像的识别信息和注册图像的识别信息中的局部特征之间的第二相似度；步骤42、利用公式（12）确定待识别图像的识别信息和注册图像的识别信息之间的相似度，公式（12）为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（12）式中，为待识别图像的识别信息和注册图像的识别信息之间的相似度，为第个序列块的第二相似度，根据公式（13）确定，公式（13）为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（13）式中，为待识别图像的第个序列块中感兴趣区域的面积，为待识别图像的第个序列块的面积，为预先设定的第二标记阈值。
57.如否，则步骤4的步骤与第一种实施例的步骤相同。
58.本发明提出了遮挡行人识别的特征提取的新框架，能够同时提取出适配的全局特征、局部特征以及局部特征的遮挡概率描述，从而提高遮挡情况下的行人特征表征能力，提高遮挡行人重识别精度。
59.进一步地，本发明结合手工标记的遮挡行人重识别方法，可以将手工标记关联到本方法的分块策略上，检索识别过程中可使用全局特征、局部特征和遮挡概率进行检索识别或者可以使用局部特征进行检索识别，提升了检索识别的灵活性。
60.在某些复杂的遮挡场景，比如可能存在遮挡、模糊等情况，导致行人的全局信息不完整，而造成的全局特征不准确，可以采用局部特征联合全局特征进行细节检索。即在获取一副待识别图像时，可以指定该待识别图像的某一局部区域，在提取完该图像全局和局部特征之后，可以采用对应的局部特征在遮挡数据库中查询与该局部特征相似的图像集合，
返回查询结果。
61.本发明的第二方面提供了一种遮挡行人重识别系统，包括分块模块、模型训练模块、识别信息获取模块和结果确定模块。
62.其中分块模块用于获取训练集中行人图像的遮挡率，根据遮挡率将行人图像分块，得到每幅行人图像对应的多个序列块；模型训练模块用于将每幅行人图像对应的多个序列块输入至识别模型中，训练识别模型，得到每幅行人图像的识别信息，识别信息包括全局特征以及每个序列块对应的局部特征和遮挡概率；识别信息获取模块用于将待识别图像和注册图像分别输入至训练好的识别模型中，得到待识别图像的识别信息和注册图像的识别信息；结果确定模块用于确定待识别图像的识别信息和注册图像的识别信息之间的相似度，根据相似度确定识别结果。
63.本发明是一种基于vision transormer(vit)的遮挡行人重识别系统，通过提取遮挡下的行人图像的全局特征、局部特征和遮挡概率，提升检索的精度和适用性。
64.进一步地，本发明系统由于将手工标记关联到分块策略上，因此系统的检索灵活性更强。
65.以上所述，仅是本技术的几个实施例，并非对本技术做任何形式的限制，虽然本技术以较佳实施例揭示如上，然而并非用以限制本技术，任何熟悉本专业的技术人员，在不脱离本技术技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。