一种人脸识别方法、装置和系统与流程

1.本发明涉及人工智能领域，具体涉及一种人脸识别方法、装置和系统。


背景技术：

2.随着智慧城市的推进，城市中的摄像头数量增长迅猛，在实现无死角记录城市动态的同时，各种监控得到的视频数据也迅速增加，形成海量的视频文件。
3.在一些场景中，在海量的视频文件中查找特定的人员时，是由工作人员在视频文件中人工查找的。在数据监控数据量较大的情况下，这无疑存在查找难度。


技术实现要素：

4.有鉴于此，本发明实施方式提供了一种人脸识别方法、人脸识别装置、人脸识别系统和计算机可读存储介质，可以提高在视频文件查找目标人员的效率。
5.本发明一方面提供了一种人脸识别方法，所述方法包括：
6.识别视频文件中至少部分人的第一人脸，得到所述第一人脸在所述视频文件中的视频特征向量以及所述第一人脸在所述视频文件中的属性信息；
7.识别图像文件中的第二人脸，得到所述第二人脸在所述图像文件中的图像特征向量；及
8.比对所述视频特征向量和所述图像特征向量，以确定与所述第二人脸相匹配的目标第一人脸，并根据所述目标第一人脸在视频文件中的属性信息，确定所述第二人脸在所述视频文件的属性信息。
9.在一些实施例中，所述识别所述视频文件中至少部分人的第一人脸，得到所述第一人脸在所述视频文件中的视频特征向量，包括：
10.从所述视频文件中提取多个不同时间点的视频帧图像，并从所述视频帧图像中提取单个人的人脸图像；
11.在所述人脸图像中，将包括同一个人的人脸图像聚类为一个人脸图像簇；
12.在任一个人对应的人脸图像簇中，根据该人的第一人脸在各个人脸图像中的帧特征向量，得到该人的第一人脸在所述视频文件中的视频特征向量。
13.在一些实施例中，所述根据该人的第一人脸在各个人脸图像中的帧特征向量，得到该人的第一人脸在所述视频文件中的视频特征向量，包括：
14.将该人的第一人脸在各个人脸图像中的帧特征向量进行平均计算，并将计算得到的特征向量作为该人的第一人脸在所述视频文件中的视频特征向量。
15.在一些实施例中，所述第一人脸在所述视频文件中的属性信息包括所述第一人脸在所述视频文件中出现的时间；
16.所述方法还包括：
17.针对任一人脸图像簇中的人脸图像，存储人脸图像对应的视频帧图像在所述视频文件中出现的时间，用以标识所述第一人脸在所述视频文件中出现的时间。
18.在一些实施例中，所述存储人脸图像对应的视频帧图像在所述视频文件中出现的时间，包括：
19.若相邻两个视频帧图像在所述视频文件中的时间间隔未超过阈值，将所述相邻两个视频帧图像作为同一个时间段内的视频帧图像；
20.针对同一个所述时间段，按照该时间段内的视频帧图像在所述视频文件中出现的时间先后顺序，保存该时间段内的起始视频帧图像和结束视频帧图像在所述视频文件中出现的时间，用以标识所述第一人脸在所述视频文件中出现的时间段。
21.在一些实施例中，所述第一人脸在各个视频帧图像中的帧特征向量是基于如下方法提取得到的：
22.按照所述第一人脸各个区域的特征权重，从所述人脸图像中提取所述第一人脸的帧特征向量，其中，所述第一人脸用于佩戴口罩的区域的特征权重，小于所述第一人脸未用于佩戴口罩的区域的特征权重。
23.在一些实施例中，所述识别图像文件中的第二人脸，得到所述第二人脸在所述图像文件中的图像特征向量，包括：
24.在确定所述第二人脸未佩戴口罩的情况下，对所述第二人脸进行增强处理，得到所述第二人脸佩戴口罩的图像；
25.对所述第二人脸佩戴口罩的图像以及所述第二人脸未佩戴口罩的图像进行特征提取，得到所述第二人脸在佩戴口罩和未佩戴口罩场景下的特征向量，作为所述第二人脸在所述图像文件中的图像特征向量。
26.本发明另一方面还提供了一种人脸识别装置，所述装置包括：
27.视频识别模块，用于识别视频文件中至少部分人的第一人脸，得到所述第一人脸在所述视频文件中的视频特征向量以及所述第一人脸在所述视频文件中的属性信息；
28.图像识别模块，用于识别图像文件中的第二人脸，得到所述第二人脸在所述图像文件中的图像特征向量；及
29.比对模块，用于比对所述视频特征向量和所述图像特征向量，以确定与所述第二人脸相匹配的目标第一人脸，并根据所述目标第一人脸在视频文件中的属性信息，确定所述第二人脸在所述视频文件的属性信息。
30.本发明另一方面还提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现如上所述的方法。
31.本发明另一方面还提供了一种人脸识别系统，所述人脸识别系统包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现如上所述的方法。
32.在本技术的一些实施例中，对视频文件中至少部分人的第一人脸进行识别，并得到第一人脸在视频文件中的视频特征向量和属性信息，然后提取图像文件中第二人脸的图像特征向量，并通过将图像特征向量和视频特征向量进行比对，可以在视频文件中查找图像文件中的人员。如此，在视频文件中进行人员查找时，可以在输入包括目标人员的图像文件以及视频文件后，便可得到待查找人员在视频文件的属性信息(比如待查找人员在视频文件出现的时间段等)，无需进行人工查找，有效提高在视频文件查找目标人员的效率。
附图说明
33.通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：
34.图1示出了本技术的一个实施例提供的一种系统架构的示意图；
35.图2示出了本技术的一个实施例提供的人脸识别方法的流程示意图；
36.图3示出了本技术的一个实施例提供的生成视频特征向量的流程示意图；
37.图4示出了本技术的一个实施例提供的对视频帧图像进行聚类后得到的人脸图像簇的示意图；
38.图5示出了本技术的一个实施例提供的人脸识别装置的模块示意图；
39.图6示出了本技术的一个实施例提供的人脸识别系统的示意图。
具体实施方式
40.为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施方式，都属于本发明保护的范围。
41.请参阅图1，为本技术的一个实施例提供的一种系统架构的示意图。本技术的人脸识别方法可以应用于图1中的服务端。图1所示的系统架构可以为b/s(browser/server，浏览器/服务器模式)架构。客户端可以为浏览器。服务端可以为web服务端。用户可以通过客户端上传视频文件以及图像文件到服务端。服务端可以将视频文件、图像文件保存到数据库中。数据库可以包括向量数据库和传统数据库(比如mysql、oracle)。服务端可以基于本技术的人脸识别方法在视频文件中查找图像文件中的人脸。
42.具体请参阅图2，为本技术的一个实施例提供的人脸识别方法的流程示意图。人脸识别方法包括步骤s21至步骤s23。
43.步骤s21，识别视频文件中至少部分人的第一人脸，得到第一人脸在视频文件中的视频特征向量以及第一人脸在视频文件中的属性信息。
44.在一些实施例中，此处的视频文件可以为用户通过客户端上传至服务端的视频文件。为避免视频文件重复上传，服务端可以在数据库中保存客户端已上传的视频文件的哈希编码。客户端上传视频文件之前，可以为待上传的视频文件生成哈希编码，然后将哈希编码发送给服务端。服务端将接收到的哈希编码和数据库中已保存的哈希编码进行比对，若接收到的哈希编码在数据库中已经存在，表示客户端待上传的视频文件在数据库中已经存在，服务端可以返回表示无需重传的标识(比如false)给客户端；若接收到的哈希编码在数据库中不存在，表示客户端待上传的视频文件在数据库不存在，服务端可以返回表示需上传的标识(比如true)给客户端。客户端在接收到服务端返回的表示需上传的标识后，将相应的视频文件发送给服务端。服务端可以根据接收到视频文件的时间，生成时间戳，并按照时间戳对视频文件进行重命名后，将重命名后的视频文件保存到数据库中。按照时间戳对视频文件进行重命名，可以防止同名的视频文件相互覆盖。
45.在一些实施例中，第一人脸在视频文件中的属性信息是指通过视频文件确定的与
第一人脸相关的信息。这些属性信息包括但不限于第一人脸在视频文件中出现的时间、各个视频帧图像中第一人脸的坐标、出现在视频文件中同一时段的第一人脸(即出现在同一时段的人员)。
46.在一些实施例中，识别视频文件中至少部分人的第一人脸，得到第一人脸在视频文件中的视频特征向量，可以包括步骤s31至步骤s33。
47.步骤s31，从视频文件中提取多个不同时间点的视频帧图像，并从视频帧图像中提取单个人的人脸图像。
48.在一些实施例中，可以对视频文件进行间隔取帧。具体来说，可以在视频文件中，每间隔预设帧提取一个视频帧图像。为防止提取出的视频帧图像冗余，以及过多的视频帧图像丢失，该间隔的预设帧可以取一个大小合适的值，即间隔的预设帧不是特别小，也不是特别大。比如可以在视频文件中，每隔10帧提取一个视频帧图像。如此，在有效减少冗余视频帧图像的同时，视频帧图像又可以较为完整反映视频文件的内容。
49.在一些实施例中，在获取到视频帧图像后，可以将视频帧图像依次输入到训练好的人脸检测模型中，通过人脸检测模型检测视频帧图像中的第一人脸。人脸检测模型可以输出第一人脸在视频帧图像中的坐标以及人脸检测置信度。其中，人脸检测置信度是指检测到的第一人脸的置信度。具体来说，针对在视频帧图像中检测到的第一人脸，人脸检测模型可以分别输出每个第一人脸在视频帧图像中的坐标以及人脸检测置信度。为避免人脸检测模型将视频帧图像中的其他物体误检测为第一人脸，可以设置置信度阈值，并剔除人脸检测置信度小于置信度阈值的第一人脸。如此，以保持检测结果的准确性。
50.在一些实施例中，基于每个第一人脸在视频帧图像中的坐标，可以裁剪得到单个人的人脸图像。比如一个视频帧图像包括三个人的第一人脸，则可以裁剪得到三个人脸图像。
51.在一些实施例中，第一人脸在视频帧图像中的坐标包括第一人脸的眼部坐标。针对每个人脸图像，可以基于人脸图像中的第一人脸的眼部坐标，可以将两眼中间处作为第一人脸旋转的中心点，使第一人脸在人脸图像中旋转一定角度。如此，可以使每个人脸图像中的第一人脸处于摆正的位置，便于后续对人脸图像进行特征向量提取。
52.在一些实施例中，可以将完成上述处理后所得的人脸图像输入到训练好的人脸编码模型，通过人脸编码模型提取第一人脸在各个人脸图像中的帧特征向量。具体来说，第一人脸在各个人脸图像中的帧特征向量可以是基于如下方法提取得到的：
53.按照第一人脸各个区域的特征权重，从人脸图像中提取第一人脸的帧特征向量，其中，第一人脸用于佩戴口罩的区域的特征权重，小于第一人脸未用于佩戴口罩的区域的特征权重。具体来说，可以增加第一人脸的眼部区域、额头区域的权重，消减眼部下方的权重。如此，可以使人脸编码模型重点关注第一人脸的眼部区域和额头区域特征。减少人脸戴口罩情况下对特征提取的影响。
54.步骤s32，在人脸图像中，将包括同一个人的人脸图像聚类为一个人脸图像簇。
55.可以理解的是，在视频文件包括多个人的情况下，可以聚类得到多个人脸图像簇。针对每个人，可以分别得到一个人脸图像簇。结合参阅图4，为本技术的一个实施例提供的对人脸图像进行聚类后得到的人脸图像簇的示意图。图4中，每个方框可以代表一个人脸图像。图4共包括三个人脸图像簇，分别为人员1、人员2和人员3对应的人脸图像簇。
56.在一些实施例中，在得到人脸图像簇后，可以在传统数据库(比如mysql)中，以人脸图像簇为单位，存储各个人脸图像簇的基本信息。具体来说，每个人脸图像簇可以包括簇id。在每个簇id下，可以存储簇id标识的人脸图像簇的基本信息。针对任一人脸图像簇，这些信息可以包括但不限于：
57.人脸图像对应的视频帧图像在视频文件中出现的时间。
58.每个人脸图像在人脸图像簇中的编号。
59.每个人脸图像中的第一人脸的坐标。
60.人脸图像簇所在的视频文件的存储路径。
61.在一些实施例中，人脸图像对应的视频帧图像是指提取出人脸图像的视频帧图像。比如，从视频帧图像1中提取出了人脸图像1，则人脸图像1对应的视频帧图像为视频帧图像1。
62.在一些实施例中，人脸图像对应的视频帧图像在视频文件中出现的时间，可以用来标识第一人脸在视频文件中出现的时间。对于任一个人脸图像簇来说，该人脸图像簇对应同一个人的第一人脸，则该人脸图像簇对应的视频帧图像在视频文件中出现的时间，可以用来表示该人脸图像簇对应的人员在视频文件中出现的时间。
63.在一些实施例中，对于任一个人脸图像簇来说，存储人脸图像对应的视频帧图像在视频文件中出现的时间包括：存储每个视频帧图像在视频文件中出现的时间，以及按照时间段的方式存储视频帧图像在视频文件中出现的时间。其中，按照时间段的方式存储视频帧图像在视频文件中出现的时间，包括：
64.若相邻两个视频帧图像在视频文件中的时间间隔未超过阈值，将相邻两个视频帧图像作为同一个时间段内的视频帧图像；
65.针对同一个时间段，按照该时间段内的视频帧图像在视频文件中出现的时间先后顺序，保存该时间段内的起始视频帧图像和结束视频帧图像在视频文件中出现的时间，用以标识第一人脸在视频文件中出现的时间段。
66.举例来说，假设人脸图像簇a对应人员1，人脸图像簇a包括6个人脸图像，各个人脸图像对应的视频帧图像在视频文件中出现的时间点依次为：第10秒；第20秒；第30秒；第300秒；第310秒；第360秒。同时，假设阈值为120秒。那么上述第1～3个时间点的视频帧图像可以作为第一个时间段内的视频帧图像，第4～6个时间点的视频帧图像可以作为第二个时间段内的视频帧图像。针对第一个时间段，出现在第10秒的视频帧图像为起始视频帧图像，出现在第30秒的视频帧图像为结束视频图像，那么则保存10～30秒，用于标识人员1出现在视频文件中的第一个时间段为第10～30秒。类似的，针对第二个时间段，则保存300～360秒，用于标识人员1出现在视频文件中的第二个时间段为第300～360秒。
67.如此，以人脸图像簇为单位，存储各个人脸图像的基本信息，可以得到第一人脸在视频文件中的属性信息。比如可以查找视频文件中出现在相同时段的人员，查收视频文件中具体某个人在视频文件中出现的时间等。举例来说，假设视频文件存在3个人脸图像簇，其中：
68.第一个人脸图像簇对应人员1，出现在视频文件中的时间段为10～300秒；
69.第二个人脸图像簇对应人员2，出现在视频文件中的时间段为200～300秒和400～500秒；
70.第三个人脸图像簇对应人员3，出现在视频文件中的时间段为600～700秒。
71.那么根据上述数据可以看出，人员1和人员2同时出现在200～300秒，人员3与人员1、人员2均没有共同出现的时间段。
72.在一些实施例中，在得到各个人脸图像簇后，还可以基于下述步骤s33，得到视频文件中各个人的第一人脸在视频文件中的视频特征向量。
73.步骤s33，在任一个人对应的人脸图像簇中，根据该人的第一人脸在各个人脸图像中的帧特征向量，得到该人的第一人脸在视频文件中的视频特征向量。
74.在一些实施例中，可以将该人的第一人脸在各个人脸图像中的帧特征向量进行平均计算，并将计算得到的特征向量作为该人的第一人脸在视频文件中的视频特征向量。如此，可以得到视频文件各个人的第一人脸在视频文件中的视频特征向量。
75.在一些实施例中，每个人的第一人脸所对应的视频特征向量可以保存在向量数据库中。具体的，可以按照簇id和视频特征向量的对应关系来进行保存。具体可参阅表格1，示例性的列举了簇id和视频特征向量的对应关系。
76.表格1簇id和视频特征向量的对应关系
77.簇id视频特征向量001基于簇id为001的人脸图像簇所得到的视频特征向量002基于簇id为002的人脸图像簇所得到的视频特征向量
78.如此，通过簇id，可以将保存在传统数据库中的人脸图像簇的基本信息，与保存在向量数据库中的视频特征向量进行关联。
79.在本技术的一些实施例中，将人脸图像簇中各个人脸图像的帧特征向量进行平均计算，并将平均计算的结果保存到向量数据库中，可以有效减少数据存储空间，有利于海量监控视频数据的保存。
80.步骤s22，识别图像文件中的第二人脸，得到第二人脸在图像文件中的图像特征向量。
81.在一些实施例中，图像文件为用户通过客户端上传到服务端的文件。图像文件中的第二人脸为需要在视频文件中查找的人脸。
82.在一些实施例中，与上述步骤s31类似，在识别图像文件中的第二人脸时，需要先将图像文件输入到训练好的人脸检测模型中，得到第二人脸在图像文件的坐标，并对图像文件的第二人脸进行调整，使第二人脸在图像文件中处于摆正的位置。具体可参见上述步骤s31的相关描述，此处不赘述。
83.在一些实施例中，与上述步骤s31类似，可以将完成人脸调整的图像文件输入到人脸编码模型中，得到第二人脸的图像特征向量。考虑到人脸编码模型重点关注第二人脸眼部、额头等未用于佩戴口罩的区域，因此在确定第二人脸未佩戴口罩的情况下，可以对第二人脸进行增强处理，得到第二人脸佩戴口罩的图像。然后对第二人脸佩戴口罩的图像以及第二人脸未佩戴口罩的图像进行特征提取，得到第二人脸在佩戴口罩和未佩戴口罩场景下的特征向量，作为第二人脸在图像文件中的图像特征向量。如此，得到的图像特征向量包含了第二人脸佩戴口罩的特征和第二人脸未佩戴口罩的特征，得到特征较为丰富。
84.在一些实施例中，在对第二人脸进行增强处理时，可以根据第二人脸在图像文件中的眼部坐标，确定第二人脸的口鼻区域，并遮挡第二人脸的口鼻区域，得到第二人脸佩戴
口罩的图像。
85.在一些实施例中，在确定第二人脸已佩戴口罩的情况下，可以无需对第二人脸进行增强处理，可以直接将完成人脸调整的图像文件输入到人脸编码模型中，得到第二人脸对应的图像特征向量。
86.在一些实施例找那个，图像特征向量也可以保存至向量数据库中。
87.步骤s23，比对视频特征向量和图像特征向量，以确定与第二人脸相匹配的目标第一人脸，并根据目标第一人脸在视频文件中的属性信息，确定第二人脸在视频文件的属性信息。
88.在一些实施例中，通过上述描述可知，视频文件中每个人的第一人脸在数据库中分别对应一个人脸图像簇。每个人脸图像簇有一个对应的视频特征向量。若图像特征向量与数据库中其中一个视频特征向量匹配成功，可以表示图像文件的人员与该视频特征向量对应的人员为同一个人。
89.进一步的，基于与图像特征向量匹配成功的视频特征向量的簇id，可以查找人脸图像簇的基本信息，进而可以确定图像文件中的第二人脸在视频文件中的属性信息。如此，可以在视频文件中查找到图像文件中的人员，并确定图像文件中的人员在视频文件中出现的时间段等属性信息。
90.举例来说。假设商场中存在丢失的儿童，在找寻儿童的过程中，可以将商场的视频监控文件和儿童的照片发送至服务端，通过服务端对视频监控文件和儿童的照片进行特征向量提取和比对，便可迅速在视频监控文件中找到儿童，进而定位儿童所在的位置。相对于人工查看视频监控文件来找寻丢失儿童，本技术的方法大大提高的查找效率。
91.在本技术的一些实施例中，对视频文件中至少部分人的第一人脸进行识别，并得到第一人脸在视频文件中的视频特征向量和属性信息，然后提取图像文件中第二人脸的图像特征向量，并通过将图像特征向量和视频特征向量进行比对，可以在视频文件中查找图像文件中的人员。如此，在视频文件中进行人员查找时，可以在输入包括目标人员的图像文件以及视频文件后，便可得到待查找人员在视频文件的属性信息(比如待查找人员在视频文件出现的时间段等)，无需进行人工查找，有效提高在视频文件查找目标人员的效率。
92.另外，现有的一些技术中，是根据特征底库，对待搜索图片所在的原始图片集或视频库进行追本溯源，这些技术需要在前期录入对应人脸样本，若没有在前期录入对应人脸样本，则不支持对相应人的搜索。本技术是根据客户端上传的视频文件，自动提取视频特征向量并保存，相当于自动构建视频中人物的脸部特征底库。本技术方法中，数据来源更加真实可靠，可以从源头增加检索命中率。
93.另外，向量数据库支持多集群多并发查询，特别是在在十亿数据下，可以达到秒级查询速度，具备低延时、高可用的优势。本技术通过向量数据库存储视频特征向量和图像特征向量，可以在比对视频特征向量和图像特征向量时，提高查询速度，进一步查找效率。
94.另外，本技术在对第一人脸和第二人脸进行特征提取时，重点关注人脸眼部、额头等区域，并且对图像文件中的第二人脸进行增强处理，使得在人脸被口罩遮挡的情况下，依然能够较好的进行人脸识别，鲁棒性更强。
95.请参阅图5，为本技术的一个实施例提供的人脸识别装置的模块示意图。人脸识别装置包括：
96.视频识别模块，用于识别视频文件中至少部分人的第一人脸，得到所述第一人脸在所述视频文件中的视频特征向量以及所述第一人脸在所述视频文件中的属性信息；
97.图像识别模块，用于识别图像文件中的第二人脸，得到所述第二人脸在所述图像文件中的图像特征向量；及
98.比对模块，用于比对所述视频特征向量和所述图像特征向量，以确定与所述第二人脸相匹配的目标第一人脸，并根据所述目标第一人脸在视频文件中的属性信息，确定所述第二人脸在所述视频文件的属性信息。
99.请参阅图6，为本技术的一个实施例提供的人脸识别系统的示意图。人脸识别系统包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序被所述处理器执行时，实现上述的人脸识别方法。
100.其中，处理器可以为中央处理器(central processing unit，cpu)。处理器还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
101.存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施方式中的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施方式中的方法。
102.存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
103.本技术一个实施方式还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时，实现上述的人脸识别方法。
104.虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。