一种人物重识别方法、装置及电子设备与流程

1.本技术涉及视觉图像处理技术领域，具体而言，涉及一种人物重识别方法、装置及电子设备。


背景技术：

2.随着社会的不断发展，目前市场上，视频监控技术及系统已经被广泛应用，比如办公区、广场、银行、街道等均安装了一定数量的摄像头，实现了各区域监控视频的实时采集、观看与存储功能。随着视频监控的普及，给各行各业均带来了一定的便利，比如：第一、安防领域，在一定程度上预防了不良行为(盗窃)的发生以及降低了侦查人员攻破不良事件(盗窃) 的技术壁垒；第二、对于需要人员巡逻的地方，负责人员也可以通过视频监控录像确认巡更人员是否按时做到了特定设备的定时巡查。但是对于以上两种情况，都需要通过负责人员一一查看视频监控录像确定，任务繁重，不仅费时费力，而且效率低。
3.随着技术的不断发展，市面上也出现了一些自动从不同摄像头录像中查找可疑人物或者特定巡逻人员轨迹的产品，对于监控系统而言，需要对海量的图像进行分析对比，查找特定人物效率低；而且，大部分都采用单一卷积神经网络cnn(convolution neural network)技术提取人物特征，通过暴力匹配的方式，进行特定人物的搜索，此种技术路线的缺点是：由于cnn 的归纳偏见性导致提取的人物特征比较片面，很容易造成大量的误识别与漏识别，同时暴力匹配造成的时间上的浪费。上述缺陷不利于现有产品大规模的推广与使用。


技术实现要素：

4.有鉴于此，本技术的目的在于提供一种人物重识别方法、装置、电子设备及介质，基于向量检索技术，提高从摄像头录像中查找特定目标人物的效率，且提取精度更高的人物特征，避免了现有技术中提取的特征可分辨性低，增强了特定人物检索的准确度。
5.本技术实施例提供的一种人物重识别方法，应用于监控系统，所述监控系统包括至少一个摄像头和一个预先构建的监控特征库；所述监控特征库中包括至少一个人物特征库；每一人物特征库对应一摄像头，所述人物特征库中包括该摄像头的属性信息、该摄像头所拍摄的每个人物图像的监控特征，其中，每个人物图像的监控特征对应该人物图像的拍摄时间信息；所述方法包括：
6.获取目标人物的图像，并从所述目标人物的图像中提取出目标人物的人物特征向量作为待检索特征；
7.针对所述待检索特征，判断所述监控特征库中的每个人物特征库中，是否存在与所述待检索特征之间的相似度满足第一预设条件的监控特征；
8.若存在，则根据该相似度满足第一预设条件的监控特征确定识别结果，所述识别结果包括所述满足第一预设条件的监控特征对应的拍摄时间信息，以及存在该满足第一预设条件的监控特征的人物特征库中的摄像头属性信息。
9.在一些实施例中，所述的人物重识别方法中，所述从目标人物的图像中提取出目标人物的人物特征向量作为待检索特征，所述提取方法包括：
10.针对目标人物的图像，提取所述目标人物的图像的细节特征向量，所述细节特征向量表征目标人物的多个部位的细节信息；
11.针对所述细节特征向量，提取所述目标人物的图像的整体特征向量，所述整体特征向量表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息。
12.在一些实施例中，所述的人物重识别方法中，所述针对所述细节特征向量，提取所述目标人物的图像的整体特征向量，所述整体特征向量表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息，包括：
13.从所述细节特征向量中提取出目标人物的各个部位的位置信息，并将所述各个部位的位置信息添加至所述细节特征向量中以更新所述细节特征向量，每一位置信息对应关联该位置信息对应的部位的细节信息，以使所述更新后的细节特征向量通过每个部位的位置信息和细节信息的关联关系表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息；
14.从所述更新后的细节特征向量中，提取出表征目标人物整体特征信息且所述整体特征信息中包含有目标人员的多个部位的细节信息的人物特征向量。
15.在一些实施例中，所述的人物重识别方法，所述针对所述待检索特征，判断所述监控特征库中的每个人物特征库中，是否存在与所述待检索特征之间的相似度满足第一预设条件的监控特征，包括以下判断步骤：
16.分别计算所述待检索特征和人物特征库中监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征；
17.判断所述确定出的预设数目个向量相似度最高的监控特征中，是否存在与待检索特征之间的向量相似度满足预设阈值的备选监控特征。
18.在一些实施例中，所述的人物重识别方法，所述分别计算所述待检索特征和人物特征库中监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征；包括以下步骤：
19.根据人物特征库中监控特征对应的拍摄时间信息，筛选出预设时间段中的监控特征，其中，所述预设时间段为根据输入的时间信号所确定时间段，或者，为距离当下时刻最近的预设时长的预设时间段；
20.分别计算所述待检索特征和所筛选出的监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征。
21.在一些实施例中，所述的人物重识别方法中的所述人物特征库中，每个监控特征还对应一第一标记；
22.所述根据该相似度满足第一预设条件的监控特征确定识别结果时，所述识别结果中还包括所述满足第一预设条件的监控特征对应的第一标记；
23.所述根据该相似度满足第一预设条件的监控特征确定识别结果之后，所述方法还包括：
24.根据所述满足第一预设条件的监控特征对应的第一标记，从预先构建好的监控图
像库中，确定与所述第一标记匹配的图像。
25.将所述与第一标记匹配的图像添加至所述识别结果中，以更新所述识别结果。
26.在一些实施例中，所述的人物重识别方法中，所述监控特征库是通过以下构建方法构建的，所述构建方法包括：
27.构建与摄像头对应的人物特征库，并将所述摄像头的属性信息添加至所述人物特征库中；
28.将摄像头所采集的视频转化为初始图像，并判断所述初始图像中是否存在人物；
29.若存在，则处理所述存在人物的初始图像，并从处理之后的初始图像中提取出该人物图像的人物特征向量作为监控特征，并将该监控特征与该初始图像的拍摄时间储存至所述人物特征库中。
30.在一些实施例中，所述的人物重识别方法，所述根据该相似度满足第一预设条件的监控特征确定识别结果之后，所述方法还包括：
31.根据所述识别结果中的摄像头的属性信息，确定所述目标人物的运动轨迹。
32.在一些实施例中，还提供一种人物重识别装置，应用于监控系统，所述监控系统包括至少一个摄像头和一个预先构建的监控特征库；所述监控特征库中包括至少一个人物特征库；每一人物特征库对应一摄像头，所述人物特征库中包括该摄像头的属性信息、该摄像头所拍摄的每个人物图像的监控特征，其中，每个人物图像的监控特征对应该人物图像的拍摄时间信息；所述装置包括：
33.获取模块，用于获取目标人物的图像，并从所述目标人物的图像中提取出目标人物的人物特征向量作为待检索特征；
34.第一判断模块，用于针对所述待检索特征，判断所述监控特征库中的每个人物特征库中，是否存在与所述待检索特征之间的相似度满足第一预设条件的监控特征；
35.第一确定模块，用于在所述监控特征库中若存在与所述待检索特征之间的相似度满足第一预设条件的监控特征，则根据该相似度满足第一预设条件的监控特征确定识别结果，所述识别结果包括所述满足第一预设条件的监控特征对应的拍摄时间信息，以及存在该满足第一预设条件的监控特征的人物特征库中的摄像头属性信息。
36.在一些实施例中，还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述处理器执行所述机器可读指令，以执行所述的人物重识别方法的步骤。
37.本技术所述的人物重识别方法，预先将每个摄像头所拍摄的视频中含有的人物图像转换为人物特征向量，并将所述人物特征向量作为监控特征，并所述监控特征按照摄像头进行分类储存，在需要确定目标人物的行动轨迹时，仅需实时从目标人物的图像中提取出该目标人物的人物特征向量作为待检索向量，利用所述待检索向量，遍历检索每个人物特征库中是否存在相似度满足要求的监控特征，无需实时对摄像头所拍摄的视频进行图像截取、图像预处理、人物特征提取等步骤，利用向量检索技术，增加了检索效率，同时提高了在监控系统所拍摄的视频中查找目标人物的效率和实时性。
附图说明
38.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
39.图1示出了本技术实施例所述人物重识别方法的方法流程图；
40.图2示出了本技术实施例对所述目标人物的图像进行预处理的方法流程图；
41.图3示出了本技术实施例所述的提取目标人物的人物特征向量的提取方法的方法流程图；
42.图4示出了本技术实施例所述得到图像ii的原始特征图fi的过程示意图；
43.图5示出了本技术实施例所述划分后得到的分块特征图cfj的示意图；
44.图6示出了本技术实施例分块特征图cfj与原始特征图fi位置对应关系的示意图；
45.图7示出了本技术实施例所述构建监控特征库的方法示流程图；
46.图8示出了本技术实施例所述人物重识别装置的结构示意图；
47.图9示出了本技术实施例所述电子设备的结构示意图。
具体实施方式
48.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，应当理解，本技术中附图仅起到说明和描述的目的，并不用于限定本技术的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本技术中使用的流程图示出了根据本技术的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本技术内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。
49.另外，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
50.需要说明的是，本技术实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。
51.随着社会的不断发展，目前市场上，视频监控技术及系统已经被广泛应用，比如办公区、广场、银行、街道等均安装了一定数量的摄像头，实现了各区域监控视频的实时采集、观看与存储功能。随着视频监控的普及，给各行各业均带来了一定的便利，比如：第一、安防领域，在一定程度上预防了不良行为(例如盗窃、抢劫)的发生以及降低了侦查人员攻破不良事件(例如盗窃、抢劫)的技术壁垒；第二、对于需要人员巡逻的地方，负责人员也可以通过视频监控录像确认巡更人员是否按时做到了特定设备的定时巡查。第三、对于失踪人员的行动轨迹的确定，可以快速定位失踪人员所出现的区域。但是对于以上所述的需要从摄像头中查找特定人物的情况，都需要通过负责人员一一查看视频监控录像确定，任务繁重，
不仅费时费力，而且效率低。
52.随着技术的不断发展，市面上也出现了一些自动从不同摄像头录像中查找可疑人物或者特定巡逻人员轨迹的产品，但是这些产品所采用的方法都是基于特定人物的人物特征和摄像头录像中的人物特征之间的匹配来实现的，当摄像头数目较多时，一一提取摄像头录像中的图像的人物特征需要较长时间，因此，查找效率低下，造成时间上的浪费，对于监控系统而言，做不到实时检索，不利于该种产品的推广和使用。
53.基于此，本技术提出一种人物重识别方法，应用于监控系统，所述监控系统包括至少一个摄像头和一个预先构建的监控特征库；所述监控特征库中包括至少一个人物特征库；每一人物特征库对应一摄像头，所述人物特征库中包括该摄像头的属性信息、该摄像头所拍摄的每个人物图像的监控特征，其中，每个人物图像的监控特征对应该人物图像的拍摄时间信息；如图1所示，所述方法包括：
54.s101、获取目标人物的图像，并从所述目标人物的图像中提取出目标人物的人物特征向量作为待检索特征；
55.s102、针对所述待检索特征，判断所述监控特征库中的每个人物特征库中，是否存在与所述待检索特征之间的相似度满足第一预设条件的监控特征；
56.s103、若存在，则根据该相似度满足第一预设条件的监控特征确定识别结果，所述识别结果包括所述满足第一预设条件的监控特征对应的拍摄时间信息，以及存在该满足第一预设条件的监控特征的人物特征库中的摄像头属性信息。
57.所述预先构建的监控特征库中，分别针对每个摄像头，构建人物特征库，其中，人物特征库中的摄像头的属性信息为以下至少之一：摄像头的编号和摄像头的地理位置。例如：某摄像头的属性信息为：医院5栋3楼 1111病房门口；某摄像头属性信息为：qq路段、3号摄像头。
58.在本技术实施例中，所述摄像头所拍摄的每个人物图像的监控特征为该人物图像的人物特征向量。
59.所述预先构建好的监控特征库，储存在监控系统的存储模块中，所述监控系统的存储模块可以为云端、云服务器、服务器等。
60.本技术所述的人物重识别方法，预先将每个摄像头所拍摄的视频中含有的人物图像转换为人物特征向量，并将所述人物特征向量作为监控特征，并所述监控特征按照摄像头进行分类储存，在需要确定目标人物的行动轨迹时，仅需实时从目标人物的图像中提取出该目标人物的人物特征向量作为待检索向量，利用所述待检索向量，遍历检索每个人物特征库中是否存在相似度满足要求的监控特征，无需实时对摄像头所拍摄的视频进行图像截取、图像预处理、人物特征提取等步骤，利用向量检索技术，增加了检索效率，同时提高了在监控系统所拍摄的视频中查找目标人物的效率和实时性。
61.进一步的，所述预先构建好的监控特征库利用milvus海量特征存储服务进行每个人物特征库中的每个监控特征的存储，克服了海量向量暴力匹配的速度慢的问题，以备后期快速实现监控特征的检索。
62.s101、获取目标人物的图像，并从所述目标人物的图像中提取出目标人物的人物特征向量作为待检索特征。
63.具体的，所述目标人物的图像，是指只包含单个目标人物的图像，且人物面积占图
像总面积大于95％。从所述目标人物图像中，提取人物图像数据的归一化特征表达，如[0.001，0.00256，0，......，0.003]，一共256维，作为人物特征向量。
[0064]
也就是说，当得到包含单个目标人物的原始图像后，需要对所述目标人物的原始图像进行预处理，得到人物面积占图像总面积大于95％的图像。
[0065]
所述对所述目标人物的图像进行预处理，如图2所示，包括以下步骤：
[0066]
s201、对所述包含单个目标人物的原始图像缩放至预设规格，得到缩放后的图像；
[0067]
s202、判断所述缩放后的图像中，目标人物占用的像素个数和该图像占用的像素总数之间的比值是否大于预设阈值。
[0068]
s203、若大于，则确定所述缩放后的图像为目标人物的图像，若小于或等于，则重复上述步骤s201和步骤s202，直至所述目标人物占用的像素个数和该图像占用的像素总数之间的比值是否大于预设阈值。
[0069]
本技术实施例中，所述预设阈值与95％。
[0070]
具体的，所述步骤s201中，将包含单个目标人物的原始图像缩放至(64， 128，3)维的图像i。同时，计算所述缩放后的(64，128，3)维的图像的总的像素个数it。
[0071]
所述步骤s202中，将所述图像i送入人物分割器，获取图像i中人物的像素总数pt；计算pt与it的比值的百分比，判断百分比是否大于95％。
[0072]
优选的，所述人物分割器为mask-rcnn。
[0073]
若大于，则确定所述缩放后的图像i为目标人物的图像。
[0074]
当所述包含单个目标人物的原始图像有n个时，分别对所述原始图像进行预处理，设定预处理得到的图像为图像ii，i∈[1，n]，并存储到队列 qimg中，qimg＝{i1，i2，...，ii，...，in}。
[0075]
目前，现在的从不同摄像头录像中查找可疑人物或者特定巡逻人员轨迹的产品，采用单一卷积神经网络cnn(convolution neural network)技术提取人物特征，并通过暴力匹配的方式，进行特定人物的搜索。此种方法的缺点是：由于cnn的归纳偏见性导致提取的人物特征比较片面，很容易造成大量的误识别与漏识别。
[0076]
本技术实施例中，所述从目标人物的图像中提取出目标人物的人物特征向量作为待检索特征，如图3所示，所述提取方法包括：
[0077]
s301、针对目标人物的图像，提取所述目标人物的图像的细节特征向量，所述细节特征向量表征目标人物的多个部位的细节信息；
[0078]
s302、针对所述细节特征向量，提取所述目标人物的图像的整体特征向量，所述整体特征向量表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息。
[0079]
针对无重叠区域的多摄像头场景中，短时间内单个人物的衣着，姿态，外貌几乎无变化的特点，先提取目标人物的细节特征，例如面部器官特征 (眼睛的形状、弧度、眉毛的弧度)等信息，再采进一步兼顾全部，获取整体特征(例如目标人物的服装颜色、身型的高矮胖瘦等)，克服单一提取方提取的人物特征比较片面的问题，使得提取出的人物特征向量更加全面，能够更加准确的表达目标人物的特征，从而提高后续的目标人物检索结果的准确度。
[0080]
所述s302中、针对所述细节特征向量，提取所述目标人物的图像的整体特征向量，
所述整体特征向量表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息，可以采用多种方式，例如：先从所述细节特征向量构成的目标人物图形中提取出仅表征整体特征信息的特征向量，再将其余细节特征向量融合得到表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息的整体特征向量。
[0081]
本技术实施例中，具体的，针对所述细节特征向量，提取所述目标人物的图像的整体特征向量，所述整体特征向量表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息，包括：
[0082]
s3021、从所述细节特征向量中提取出目标人物的各个部位的位置信息，并将所述各个部位的位置信息添加至所述细节特征向量中以更新所述细节特征向量，每一位置信息对应关联该位置信息对应的部位的细节信息，以使所述更新后的细节特征向量通过每个部位的位置信息和细节信息的关联关系表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息；
[0083]
s3022、从所述更新后的细节特征向量中，提取出表征目标人物整体特征信息且所述整体特征信息中包含有目标人员的多个部位的细节信息的人物特征向量。
[0084]
这种提取方式在原有的细节特征向量中，添加位置信息，使得更新后的细节特征向量在能够表征整体特征信息的同时，依然保留有目标人物的多个部位的细节特征，从而使得提取整体特征向量的过程更加简洁，提取效率更高。
[0085]
具体的，采用预先构建好的提取模型，提取目标人物的人物特征向量。
[0086]
所述预先构建好的提取模型，包括细节特征提取模块和整体特征提取模块；
[0087]
所述细节特征提取模块，用于针对目标人物的图像，提取所述目标人物的图像的细节特征向量，所述细节特征向量表征目标人物的多个部位的细节信息，并将所述细节特征向量发送至所述整体特征提取模块；
[0088]
所述整体特征提取模块，用于接收所述细节特征向量，从所述细节特征向量中提取出目标人物的各个部位的位置信息，并将所述各个部位的位置信息添加至所述细节特征向量中以更新所述细节特征向量，每一位置信息对应关联该位置信息对应的部位的细节信息，以使所述更新后的细节特征向量通过每个部位的位置信息和细节信息的关联关系，表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息；从所述更新后的细节特征向量中，提取出表征目标人物整体特征的人物特征向量。
[0089]
具体的，所述细节特征提取模块采用cnn卷积神经网络，所述整体特征提取模块采用transformers网络。
[0090]
针对无重叠区域的多摄像头场景中，短时间内单个人物的衣着，姿态，外貌几乎无变化的特点，采用侧重于纹理信息的cnn卷积神经网络提取目标人物的细节特征，例如面部器官特征(眼睛的形状、弧度、眉毛的弧度) 等信息，再采用基于自注意力机制的transformers网络在所提取的细节特征向量的基础上，进一步兼顾全部，获取整体特征(例如目标人物的服装颜色、身型的高矮胖瘦等)，克服cnn的归纳偏见性，使得提取出的人物特征向量更加全面，能够更加准确的表达目标人物的特征，从而提高后续的目标人物检索结果的准确度。
[0091]
提取细节特征向量时对图像细节质量要求高，而提取整体特征则对图像细节质量
要求相对较低，因此，先采用cnn卷积神经网络提取目标人物图像的细节特征向量，再采用transformers网络提取整体特征。
[0092]
针对队列qimg，qimg＝{i1，i2，...，ii，...，in}中的每一幅图像ii，i ∈[1，n]，所述提取方法具体包括以下步骤：
[0093]
s401、将队列q
img
中每一幅图像ii，i∈[1，n]送入以resnet50为主干网络的卷积神经网络，得到图像ii的原始特征图fi，原始特征图fi维度为： 1*1024；具体过程如图4所示：
[0094]
s402、将原始特征图fi以长度为8，划分为128个1*8的分块特征图，以满足transformers结构的输入同时标记每一块特征的位置；
[0095]
如图5所示，划分后得到的分块特征图记为cfj，每一个分块特征图 cfj的维度为1*8，其中j∈[1，128]；
[0096]
s403、记录每一个分块特征图cfj在原始特征图fi中的起始位置与终点位置，并使用起始位置xi与终点位置xi 7标记分块特征图cfj在原始特征图fi中的位置xj，其中xj＝(xi，xi 7)为分块特征图cfj的位置编码；分块特征图cfj与原始特征图fi位置对应关系如图6所示；
[0097]
s404、连接位置编码xj与分块特征图cfj，得到输入向量z＝{zj}， zj＝concat(xj，cfj)，其中j∈[1，128]；
[0098]
s405、将输入向量z输入transformers网络，计算目标人物的特征fe，其中fe＝t(z1，z2，...，z
128
)，最终得到目标人物的图像特征表达，记为fe，其中fe＝{fe1，fe2，fe3，...，fv，...，fe
256
}，一共256维，其中v∈[1， 256]；fv为fe中的一维向量；
[0099]
s406、将目标人物的图像特征表达fe向量进行归一化，得到归一化的特征向量，作为目标人物的人物特征向量。
[0100]
通过以上步骤，完成对目标人物图像的人物特征向量的提取。
[0101]
在本技术实施例中，所述监控特征库是通过以下构建方法构建的，如图7所示，所述构建方法包括：
[0102]
s701、构建与摄像头对应的人物特征库，并将所述摄像头的属性信息添加至所述人物特征库中；
[0103]
s702、将摄像头所采集的视频转化为初始图像，并判断所述初始图像中是否存在人物；
[0104]
s703、若存在，则处理所述存在人物的初始图像，并从处理之后的初始图像中提取出该人物图像的人物特征向量作为监控特征，并将该监控特征与该初始图像的拍摄时间储存至所述人物特征库中。
[0105]
所述步骤s802中，通过解码服务器，将摄像头所采集的视频转化成图像使用ffmpeg进行解码，将解码后得到的初始图像送入人物检测器。
[0106]
人物检测器检测所述初始图像中是否存在人物以及在有人物的时返回初始图像中人物的坐标，人物的坐标包括(x，y，w，h)，其中x，y分别表示人物在图像中的左上角x坐标、左上角y坐标，w表示人物在图像中的宽度，h表示人物在图像中的高度。优选的，人物检测器为pp-yolo。
[0107]
利用人物特征提取器根据人物检测器返回的人物的坐标从初始图像中提取人物数据，对此人物数据缩放为(64，128，3)维度的数据后，将缩放后的数据送入提取模型中，进
行人物特征的提取，得到人物图像数据的归一化特征表达，如[0.001，0.00256，0，......，0.003]，一共256维。
[0108]
人物数据缩放为(64，128，3)维度的数据，所述缩放过程如本实施例中步骤s201、s202、s203所述。
[0109]
所述将缩放后的数据送入提取模型中，进行人物特征的提取，得到人物图像数据的归一化特征表达，如[0.001，0.00256，0，......，0.003]，一共 256维的步骤，如本实施例中s301和s302所述，具体如本实施例中步骤 s401-s406所述。
[0110]
本技术实施例中，构建人物特征库时，从包含人物的初始图像中提取出监控特征所采用的方法与从所述目标人物的图像中提取出待检索向量所采用的方法相同，都是采用卷积神经网络和transformers网络构成的提取模型进行提取，以对于同一个人物而言，提取出的监控特征和待检索特征更为相似，以提高检索的精度。
[0111]
本技术实施例中，所述针对所述待检索特征，判断所述监控特征库中的每个人物特征库中，是否存在与所述待检索特征之间的相似度满足第一预设条件的监控特征，包括以下判断步骤：
[0112]
分别计算所述待检索特征和人物特征库中监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征；
[0113]
判断所述确定出的预设数目个向量相似度最高的监控特征中，是否存在与待检索特征之间的向量相似度满足预设阈值的备选监控特征。
[0114]
本技术实施例中，具体的判断步骤如下：
[0115]
s407、由步骤s406中得到的目标人物的人物特征向量作为待检索人物特征，记为tf，其中tf为256维；
[0116]
s408、获取监控系统中的所有摄像头，第k个摄像头记为camk，其中k∈[1，p]，p为监控系统中摄像头总数量；
[0117]
s409、获取摄像头camk对应的人物特征库中人物特征向量，记为lf
kg
，其中，k∈[1，p]，p为监控系统中摄像头总数量，g∈[1，m(k)]，m(k)为第 k个摄像头对应的人物特征库中的所有监控特征总数量，lf
kg
的维度为256；
[0118]
s410、利用milvus的高速向量检索服务，计算tf与每一个lf
kg
的内积距离，并将内积距离存储到队列q
dis
＝{dis(tf，lf
k1
)，dis(tf，lf
k2
)， dis(tf，lf
k3
)，...，dis(tf，lf
km(k)
)}中；
[0119]
s411、对q
dis
队列中内积距离按照降序方式进行排列，并取出降序排列后的前5个内积距离，记为disdesc＝{dt1，dt2，dt3，dt4，dt5}；
[0120]
s412、若dtc》0.55，其中c∈{1，2，3，4，5}，则表示目标出现在当前摄像头，将dtc对应的拍摄时间信息和该摄像头的属性信息存入队列 recamlist；若disdesc中内积距离均小于0.55，则表示待搜索人物未出现在当前摄像头；
[0121]
s413、重复步骤s409至步骤s412，直到所有摄像头对应的人物特征库均搜索完毕；
[0122]
s414、从队列recamlist中获取目标人物出现的摄像头的属性信息和目标人物出现时的拍摄时间信息。
[0123]
通过两次筛选，第一次筛选出预设数目个向量相似度最高的监控特征，第二次仅仅需要计算这预设数目个向量相似度最高的监控特征是否满足预设阈值即可，减少了向量
相似度和预设阈值之间的对比计算，增加了检索的速度和效率。
[0124]
为进一步减少计算待检索向量和人物特征库中的向量相似度之间的计算量，所述分别计算所述待检索特征和人物特征库中监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征；包括以下步骤：
[0125]
根据人物特征库中监控特征对应的拍摄时间信息，筛选出预设时间段中的监控特征，其中，所述预设时间段为根据输入的时间信号所确定时间段，或者，为距离当下时刻最近的预设时长的预设时间段；
[0126]
分别计算所述待检索特征和所筛选出的监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征。
[0127]
也就是说，仅仅需要计算预设时间段中的监控特征与待检索向量之间的相似度即可，大大减少了计算向量相似度时的计算量。
[0128]
预设时间段为根据输入的时间信号所确定时间段，所述输入的时间信号根据针对目标人物的识别目的确定，例如，判断巡检人员在8号晚上7 点-8点期间是否按照预设路线进行巡检，则只需要计算对应的拍摄时间信息为8号晚上7点-8点之间的监控特征向量和与该巡逻人员的人物特征向量之间的相似度即可。
[0129]
在本技术实施例中，所述的人物重识别方法中，所述人物特征库中，每个监控特征还对应一第一标记；
[0130]
所述根据该相似度满足第一预设条件的监控特征确定识别结果时，所述识别结果中还包括所述满足第一预设条件的监控特征对应的第一标记；
[0131]
所述根据该相似度满足第一预设条件的监控特征确定识别结果之后，所述方法还包括：
[0132]
根据所述满足第一预设条件的监控特征对应的第一标记，从预先构建好的监控图像库中，确定与所述第一标记匹配的图像。
[0133]
将所述与第一标记匹配的图像添加至所述识别结果中，以更新所述识别结果。
[0134]
所述监控图像库中包括与人物特征库一一对应的子图像库，每个子图像库中，存储有与监控特征一一对应的从摄像头的视频流中解码得到的初始图像，该初始图像中包括监控特征对应的人物。
[0135]
在拍摄到目标人物的摄像头信息和拍摄时间信息时，也同时输出摄像头所拍摄的目标人物的图像，更加直观的展示检索结果，也可以作为证据、证明。
[0136]
所述的监控图像库可以存储在本地(如硬盘等)、也可以存储在服务器、云端等。
[0137]
所述第一标记可以为监控特征的摄像头编号 监控特征序号，所述监控图像库中子图像库中的对应的图像的名称中，包含有该第一标记(摄像头编号 监控特征序号)，以通过在监控图像库中对应的子图像库中，查找名称包含第一标记的图像。
[0138]
所述根据该相似度满足第一预设条件的监控特征确定识别结果之后，所述方法还包括：
[0139]
根据所述识别结果中的摄像头的属性信息，确定所述目标人物的运动轨迹。
[0140]
在一些实施例中，可以将所述摄像头的属性信息中的位置信息，显示在电子地图上，其中，每一位置信息对应电子地图上一个位置标识，以更加直观的展示目标人物的运动轨迹。
[0141]
如图8所示，本技术实施例还提供一种人物重识别装置，应用于监控系统，所述监控系统包括至少一个摄像头和一个预先构建的监控特征库；所述监控特征库中包括至少一个人物特征库；每一人物特征库对应一摄像头，所述人物特征库中包括该摄像头的属性信息、该摄像头所拍摄的每个人物图像的监控特征，其中，每个人物图像的监控特征对应该人物图像的拍摄时间信息；所述装置包括：
[0142]
获取模块801，用于获取目标人物的图像，并从所述目标人物的图像中提取出目标人物的人物特征向量作为待检索特征；
[0143]
第一判断模块802，用于针对所述待检索特征，判断所述监控特征库中的每个人物特征库中，是否存在与所述待检索特征之间的相似度满足第一预设条件的监控特征；
[0144]
第一确定模块803，用于在所述监控特征库中若存在与所述待检索特征之间的相似度满足第一预设条件的监控特征，则根据该相似度满足第一预设条件的监控特征确定识别结果，所述识别结果包括所述满足第一预设条件的监控特征对应的拍摄时间信息，以及存在该满足第一预设条件的监控特征的人物特征库中的摄像头属性信息。
[0145]
本技术实施例中人物重识别装置，所述获取模块801还包括：
[0146]
第一提取模块，用于针对目标人物的图像，提取所述目标人物的图像的细节特征向量，所述细节特征向量表征目标人物的多个部位的细节信息；
[0147]
第二提取模块，用于针对所述细节特征向量，提取所述目标人物的图像的整体特征向量，所述整体特征向量表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息。
[0148]
所述第二提取模块，具体用于从所述细节特征向量中提取出目标人物的各个部位的位置信息，并将所述各个部位的位置信息添加至所述细节特征向量中以更新所述细节特征向量，每一位置信息对应关联该位置信息对应的部位的细节信息，以使所述更新后的细节特征向量通过每个部位的位置信息和细节信息的关联关系表征目标人物的整体特征信息，且所述整体特征信息中包含有目标人物的多个部位的细节信息；从所述更新后的细节特征向量中，提取出表征目标人物整体特征信息且所述整体特征信息中包含有目标人员的多个部位的细节信息的人物特征向量。
[0149]
所述第一判断模块802，包括：
[0150]
计算模块，用于分别计算所述待检索特征和人物特征库中监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征；
[0151]
第二判断模块，用于判断所述确定出的预设数目个向量相似度最高的监控特征中，是否存在与待检索特征之间的向量相似度满足预设阈值的备选监控特征。
[0152]
所述计算模块，具体用于：根据人物特征库中监控特征对应的拍摄时间信息，筛选出预设时间段中的监控特征，其中，所述预设时间段为根据输入的时间信号所确定时间段，或者，为距离当下时刻最近的预设时长的预设时间段；分别计算所述待检索特征和所筛选出的监控特征之间的向量相似度，并确定出预设数目个向量相似度最高的监控特征。
[0153]
在本技术实施例中，所述的人物重识别装置，所述人物特征库中，每个监控特征还对应一第一标记；所述根据该相似度满足第一预设条件的监控特征确定识别结果时，所述识别结果中还包括所述满足第一预设条件的监控特征对应的第一标记；所述装置还包括：
[0154]
第二确定模块，用于在所述根据该相似度满足第一预设条件的监控特征确定识别
结果之后，根据所述满足第一预设条件的监控特征对应的第一标记，从预先构建好的监控图像库中，确定与所述第一标记匹配的图像；
[0155]
添加模块，用于将所述与第一标记匹配的图像添加至所述识别结果中，以更新所述识别结果。
[0156]
在本技术实施例中，所述的人物重识别装置中，还包括：
[0157]
构建模块，用于构建所述监控特征库。
[0158]
所述构建模块，具体用于构建与摄像头对应的人物特征库，并将所述摄像头的属性信息添加至所述人物特征库中；
[0159]
将摄像头所采集的视频转化为初始图像，并判断所述初始图像中是否存在人物；
[0160]
若存在，则处理所述存在人物的初始图像，并从处理之后的初始图像中提取出该人物图像的人物特征向量作为监控特征，并将该监控特征与该初始图像的拍摄时间储存至所述人物特征库中。
[0161]
本技术实施例所述的人物重识别方法装置，还包括：
[0162]
第三确定模块，用于在所述根据该相似度满足第一预设条件的监控特征确定识别结果之后，根据所述识别结果中的摄像头的属性信息，确定所述目标人物的运动轨迹。
[0163]
如图9所示，本技术实施例还一种电子设备，包括：处理器901、存储器902和总线903，所述存储器902存储有所述处理器901可执行的机器可读指令，当电子设备运行时，所述处理器901与所述存储器902之间通过总线903通信，所述处理器901执行所述机器可读指令，以执行所述的人物重识别方法的步骤。
[0164]
本技术实施例还一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行所述的人物重识别方法的步骤。
[0165]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本技术中不再赘述。在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0166]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0167]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0168]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得
一台计算机设备(可以是个人计算机，平台服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、 rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0169]
以上仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。