一种人像聚档方法、装置、电子设备及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种基于多维数据的人像聚档方法、装置、电子设备及存储介质。


背景技术：

2.随着社会安防建设不断发展，人脸卡口相机的使用越来越多，对抓拍人脸图片的身份落地的需求也越来越强烈。通过人脸识别和人脸聚类技术，进行身份落地，成为安防领域的新热点。
3.相关技术中，一种做法是只挖掘结构化数据，比如姓名、身份证号码、车牌号等，分析用户常驻地以及同行人员等，但是无法使用城市抓拍中的海量的非结构化数据。另一种做法是，利用非结构化数据，对人脸特征数据进行聚类，由于人脸图片拍摄角度、图片质量等因素，可能导致同一人的人脸图片无法合并到同一个档案中，进而造成聚档的准确率和召回率较低。


技术实现要素：

4.本技术实施例提供一种基于多维数据的人像聚档方法、装置、电子设备及存储介质，用以提高聚档的准确率和召回率。
5.第一方面，本技术一实施例提供了一种基于多维数据的人像聚档方法，包括：
6.获取目标时间段内的待处理的数据流；
7.对所述数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；
8.对所述目标人脸特征数据集合聚档，得到各个人脸档案，以及对所述目标人体特征数据集合聚档，得到各个人体档案；
9.基于关联关系数据，将各个所述人脸档案和各个所述人体档案进行合并，得到各个人像档案；其中，所述关联关系数据为所述目标人脸特征数据集合中的各个人脸特征数据和所述目标人体特征数据集合中的各个人体特征数据的关联关系。
10.在一些示例性的实施方式中，所述对所述数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合、目标人体特征数据集合，包括：
11.对所述数据流解码得到的图像帧进行目标检测，得到各个人脸特征数据和各个人体特征数据，以及关联关系数据；其中，每个所述人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的至少一个；每个所述人体特征数据中包括人体目标的角度参数、清晰度参数和质量参数中的至少一个；
12.针对每个所述人脸特征数据，应用所述人脸特征数据中的至少一个参数对所述人脸特征数据进行筛选，得到目标人脸特征数据集合；以及针对每个所述人体特征数据，应用所述人体特征数据中的至少一个参数对所述人体特征数据进行筛选，得到目标人体特征数据集合。
13.在一些示例性的实施方式中，所述针对每个所述人体特征数据，应用所述人体特征数据中的至少一个参数对所述人体特征数据进行筛选，得到目标人体特征数据集合，包括：
14.根据各个所述人体特征数据表征的人体的姿态，将各个人体特征数据划分为如下各个类型的人体特征数据：人脸人体同画面的人体特征数据、正面人体特征数据、侧面人体特征数据和背面人体特征数据；
15.针对每个类型的每个人体特征数据，应用所述类型的人体特征数据对应的至少一个所述参数对所述人体特征数据进行筛选，将筛选后的人体特征数据筛选后的目标人体特征数据集合。
16.在一些示例性的实施方式中，所述对所述目标人脸特征数据集合聚档，得到各个人脸档案，包括：
17.根据采集设备的时空标签，将所述目标人脸特征数据集合划分为多个第一时空块；其中，所述采集设备为采集所述数据流的设备，每个所述第一时空块对应一个第一经纬度范围和一个第一拍摄时间范围；
18.针对每个所述第一时空块中包括的人脸特征数据进行聚类；
19.基于每个所述第一时空块对应的第一经纬度范围和第一时间拍摄范围，将各个所述第一时空块的聚类结果进行合并，得到人脸档案。
20.在一些示例性的实施方式中，所述对所述目标人体特征数据集合聚档，得到各个人体档案，包括：
21.根据采集设备的时空标签，将所述目标人体特征数据集合划分为多个第二时空块；其中，所述采集设备为采集所述数据流的设备，每个所述第二时空块对应一个第二经纬度范围和一个第二拍摄时间范围；
22.针对每个所述第二时空块中包括的人体特征数据进行聚类；
23.基于每个所述第二时空块对应的第二经纬度范围和第二时间拍摄范围，将各个所述第二时空块的聚类结果进行合并，得到人体档案。
24.在一些示例性的实施方式中，所述基于所述关联关系数据，将所述各个人脸档案和各个所述人体档案进行合并，得到各个人像档案，包括：
25.针对每个所述人体档案，基于所述关联关系数据，确定所述人体档案关联的人脸档案；
26.将所述人体档案与关联的人脸档案进行合并，得到对应的人像档案。
27.在一些示例性的实施方式中，还包括：
28.若存在不与任何人脸档案关联的人体档案，则删除所述人体档案，或，将所述人体档案存储至预设存储空间。
29.在一些示例性的实施方式中，所述基于所述关联关系数据，将所述各个人脸档案和各个所述人体档案进行合并，得到各个人像档案之后，还包括：
30.针对每个人像档案，根据所述人像档案中的人脸特征数据和人体特征数据确定对象所属的时空域以及所述对象的轨迹；其中，所述时空域包括所述人像档案中的对象出现的时间范围和空间范围。
31.在一些示例性的实施方式中，所述基于所述关联关系数据，将所述各个人脸档案
和各个所述人体档案进行合并，得到各个人像档案之后，还包括：
32.将待识别的数据流与各个所述人像档案进行匹配，确定与所述待识别的数据流匹配的目标人像档案；
33.确定所述待识别的数据流中的对象的目标时空域和目标轨迹。
34.在一些示例性的实施方式中，所述基于所述关联关系数据，将所述各个人脸档案和各个所述人体档案进行合并，得到各个人像档案之后，还包括：
35.将各个所述人像档案与指定时间段内的各个人像档案合并，得到合并人像档案。
36.在一些示例性的实施方式中，所述将各个所述人像档案与指定时间段内的各个人像档案合并，得到合并人像档案，包括：
37.针对每个人像档案，确定所述人像档案中的人脸特征数据与指定时间段内的每个人脸特征数据的特征距离；
38.将所述人像档案合并至所述特征距离最小时所述指定时间段对应的人像档案中。
39.第二方面，本技术一实施例提供了一种基于多维数据的人像聚档装置，包括：
40.数据获取模块，用于获取目标时间段内的待处理的数据流；
41.目标检测模块，用于对所述数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；
42.聚档模块，用于对所述目标人脸特征数据集合聚档，得到各个人脸档案，以及对所述目标人体特征数据集合聚档，得到各个人体档案；
43.人像档案确定模块，用于基于关联关系数据，将各个所述人脸档案和各个所述人体档案进行合并，得到各个人像档案；其中，所述关联关系数据为所述目标人脸特征数据集合中的各个人脸特征数据和所述目标人体特征数据集合中的各个人体特征数据的关联关系。
44.在一些示例性的实施方式中，所述目标检测模块具体用于：
45.对所述数据流解码得到的图像帧进行目标检测，得到各个人脸特征数据和各个人体特征数据，以及关联关系数据；其中，每个所述人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的至少一个；每个所述人体特征数据中包括人体目标的角度参数、清晰度参数和质量参数中的至少一个；
46.针对每个所述人脸特征数据，应用所述人脸特征数据中的至少一个参数对所述人脸特征数据进行筛选，得到目标人脸特征数据集合；以及针对每个所述人体特征数据，应用所述人体特征数据中的至少一个参数对所述人体特征数据进行筛选，得到目标人体特征数据集合。
47.在一些示例性的实施方式中，所述目标检测模块具体用于：
48.根据各个所述人体特征数据表征的人体的姿态，将各个人体特征数据划分为如下各个类型的人体特征数据：人脸人体同画面的人体特征数据、正面人体特征数据、侧面人体特征数据和背面人体特征数据；
49.针对每个类型的每个人体特征数据，应用所述类型的人体特征数据对应的至少一个所述参数对所述人体特征数据进行筛选，将筛选后的人体特征数据筛选后的目标人体特征数据集合。
50.在一些示例性的实施方式中，所述聚档模块具体用于：
51.根据采集设备的时空标签，将所述目标人脸特征数据集合划分为多个第一时空块；其中，所述采集设备为采集所述数据流的设备，每个所述第一时空块对应一个第一经纬度范围和一个第一拍摄时间范围；
52.针对每个所述第一时空块中包括的人脸特征数据进行聚类；
53.基于每个所述第一时空块对应的第一经纬度范围和第一时间拍摄范围，将各个所述第一时空块的聚类结果进行合并，得到人脸档案。
54.在一些示例性的实施方式中，所述聚档模块具体用于：
55.根据采集设备的时空标签，将所述目标人体特征数据集合划分为多个第二时空块；其中，所述采集设备为采集所述数据流的设备，每个所述第二时空块对应一个第二经纬度范围和一个第二拍摄时间范围；
56.针对每个所述第二时空块中包括的人体特征数据进行聚类；
57.基于每个所述第二时空块对应的第二经纬度范围和第二时间拍摄范围，将各个所述第二时空块的聚类结果进行合并，得到人体档案。
58.在一些示例性的实施方式中，所述人像档案确定模块具体用于：
59.针对每个所述人体档案，基于所述关联关系数据，确定所述人体档案关联的人脸档案；
60.将所述人体档案与关联的人脸档案进行合并，得到对应的人像档案。
61.在一些示例性的实施方式中，还包括人体档案处理模块，用于在不存在不与任何人脸档案关联的人体档案时，删除所述人体档案，或，将所述人体档案存储至预设存储空间。
62.在一些示例性的实施方式中，还包括时空域和轨迹确定模块，用于在所述基于所述关联关系数据，将所述各个人脸档案和各个所述人体档案进行合并，得到各个人像档案之后：
63.针对每个人像档案，根据所述人像档案中的人脸特征数据和人体特征数据确定对象所属的时空域以及所述对象的轨迹；其中，所述时空域包括所述人像档案中的对象出现的时间范围和空间范围。
64.在一些示例性的实施方式中，还包括识别模块，用于在所述基于所述关联关系数据，将所述各个人脸档案和各个所述人体档案进行合并，得到各个人像档案之后：
65.将待识别的数据流与各个所述人像档案进行匹配，确定与所述待识别的数据流匹配的目标人像档案；
66.确定所述待识别的数据流中的对象的目标时空域和目标轨迹。
67.在一些示例性的实施方式中，还包括合并模块，用于在所述基于所述关联关系数据，将所述各个人脸档案和各个所述人体档案进行合并，得到各个人像档案之后：
68.将各个所述人像档案与指定时间段内的各个人像档案合并，得到合并人像档案。
69.在一些示例性的实施方式中，所述合并模块具体用于：
70.针对每个人像档案，确定所述人像档案中的人脸特征数据与指定时间段内的每个人脸特征数据的特征距离；
71.将所述人像档案合并至所述特征距离最小时所述指定时间段对应的人像档案中。
72.第三方面，本技术一实施例提供了一种电子设备，包括存储器、处理器及存储在存
储器上并可在处理器上运行的计算机程序，其中，处理器执行计算机程序时实现上述任一种方法的步骤。
73.第四方面，本技术一实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
74.本技术实施例具备如下有益效果：
75.在获取到目标时间段内的待处理的数据流后，对数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；进而在聚档过程中，不仅对人脸特征数据集合聚档得到人脸档案，还考虑了人体特征数据，对目标人体特征数据聚档，得到人档案；另外，在目标检测的过程中，还得到了目标人脸特征数据集合中的各个人脸特征数据和各个人脸特征数据的关联关系，这样，可以利用该关联关系，将各个人脸档案和各个人体档案合并，进而得到各个人像档案。因此，人像档案中不仅包括了人脸特性，还包括了人体特征，提高了聚档的准确率和召回率。
附图说明
76.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，显而易见地，下面所介绍的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
77.图1为本技术实施例提供的一种基于多维数据的人像聚档方法的应用场景示意图；
78.图2为本技术实施例提供的一种人像聚档的整体架构图；
79.图3为本技术一实施例提供的一种基于多维数据的人像聚档方法的流程示意图；
80.图4为本技术一实施例提供的一种目标检测的示意图；
81.图5为本技术一实施例提供的一种特征数据分类的过程的示意图；
82.图6为本技术一实施例提供的一种采集设备划分的示意图；
83.图7为本技术一实施例提供的一种人脸聚档的示意图；
84.图8为本技术一实施例提供的一种基于多维数据的人像聚档方法的流程示意图；
85.图9为本技术一实施例提供的基于多维数据的人像聚档装置的结构示意图；
86.图10为本技术一实施例提供的电子设备的结构示意图。
具体实施方式
87.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
88.为了方便理解，下面对本技术实施例中涉及的名词进行解释：
89.(1)聚档：通过聚档算法生成一个虚拟的人的档案信息。
90.(2)多档：又称为一人多档，比如，两个档案的档案主体是同一个人员，其中一个档案就算是多档。
91.(3)错档：又称为一档多人，比如，一个档案里存在多个目标人员。
92.(4)召回率：在一个档案里，需要尽可能的聚集该人员的所有抓拍轨迹记录，如某
个目标对象有100个抓拍记录，但在档案里只有80个，则召回率为80/100＝80％。
93.附图中的任何元素数量均用于示例而非限制，以及任何命名都仅用于区分，而不具有任何限制含义。
94.在具体实践过程中，随着社会安防建设不断发展，人脸卡口相机的使用越来越多，对抓拍人脸图片的身份落地的需求也越来越强烈。通过人脸识别和人脸聚类技术，进行身份落地，成为安防领域的新热点。相关技术中，一种做法是只挖掘结构化数据，比如姓名、身份证号码、车牌号等，分析用户常驻地以及同行人员等，但是无法使用城市抓拍中的海量的非结构化数据。另一种做法是，利用非结构化数据，对人脸特征数据进行聚类，由于人脸图片拍摄角度、图片质量等因素，可能导致同一人的人脸图片无法合并到同一个档案中，进而造成聚档的准确率和召回率较低。
95.为此，本技术提供了一种基于多维数据的人像聚档方法，该方法中，在对目标时间段内的待处理的数据流进行目标检测时，不仅得到目标人脸特征数据集合，还得到目标人体特征数据集合，以及目标人脸特征数据集合中的各个人脸特征数据和目标人体特征数据集合中的各个人体特征数据的关联关系。这样，在对目标人脸特征数据集合和目标人体特征数据集合分别聚档后，可以基于该关联关系，将各个人脸档案和各个人体档案进行合并，得到各个人像档案。这样，聚档过程中，融合了人体特征数据，提高了人像聚档的准确率和召回率。
96.在介绍完本技术实施例的设计思想之后，下面对本技术实施例的技术方案能够适用的应用场景做一些简单介绍，需要说明的是，以下介绍的应用场景仅用于说明本技术实施例而非限定。在具体实施时，可以根据实际需要灵活地应用本技术实施例提供的技术方案。
97.参考图1，其为本技术实施例提供的一种基于多维数据的人像聚档方法的应用场景示意图。
98.参考图1，其为本技术实施例提供的图像处理模型训练方法的应用场景示意图。该应用场景包括多个终端设备101(包括终端设备101-1、终端设备101-2、
……
终端设备101-n)、服务器102。其中，终端设备101、服务器102之间通过无线或有线网络连接，终端设备101包括但不限于桌面计算机、移动电话、移动电脑、平板电脑、媒体播放器、智能可穿戴设备、智能电视等电子设备。服务器102可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。服务器102可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
99.多个终端设备(采集设备)101将采集到的数据流发送至服务器，服务器102获取目标时间段内的待处理的数据流，再对数据流解码得到图像帧，并对各个图像帧进行目标检测，得到目标人脸特征数据集合与人体特征数据集合，对目标人脸特征数据集合聚档，得到各个人脸档案，以及对目标人体特征数据集合聚档，得到各个人体档案；基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案。以便确定待识别的数据流中的对象的目标时空域和目标轨迹。另外，该识别过程还可以由终端设备完成，比如服务器102将确定的人像档案发送至各个终端设备，由终端设备对待识别数据流(图片流和/或
视频流)进行识别。
100.当然，本技术实施例提供的方法并不限用于图1所示的应用场景中，还可以用于其它可能的应用场景，本技术实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述，在此先不过多赘述。
101.为进一步说明本技术实施例提供的技术方案，下面结合附图以及具体实施方式对此进行详细的说明。虽然本技术实施例提供了如下述实施例或附图所示的方法操作步骤，但基于常规或者无需创造性的劳动在方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中，这些步骤的执行顺序不限于本技术实施例提供的执行顺序。
102.下面结合图1所示的应用场景，对本技术实施例提供的技术方案进行说明。
103.参考图2，示出了一种人像聚档的整体架构图，其中，基于云容器和大数据技术，采集设备将图像流和/或视频流发送至解析平台，解析平台可以是集成在服务器，解析平台进行目标检测，得到人脸特征数据和人体特征数据，应用时空、聚类以及合档等算法，比如利用spark或flink大数据计算框架进行实时离线计算，形成可以真实刻画一个人的多维度人像档案。
104.其中，从系统架构层看，分3层，由iaas(infrastructure as a service，基础设施层)，paas(platform as a service,平台服务层)和daas(data as a service，数据服务层)组成。
105.iaas基于docker/kubernetes容器云平台，支持cpu(central processing unit，中央处理器)，gpu(graphics processing unit，图像处理器)硬件，为上层大数据技术平台和计算框架提供多样化的计算资源。
106.paas基于大数据技术平台，提供离线和实时数据的存储、计算、在线服务，为了加速多维度数据比对需要支持cpu和gpu异构算力的混合计算。
107.daas作为整个人像聚档系统核心，依赖外部治理后的数据和聚类、归档、时空优化等算法，将人脸、人体数据融合多维数据，形成异构数据中台方案，实现人脸、人体聚类归档和时空算法的开发和运维监控，并通过数据服务对外提供一人一档的查询。
108.接下来，结合图3，对数据服务层的聚档过程进行说明。
109.参考图3，本技术实施例提供一种基于多维数据的人像聚档方法，包括以下步骤：
110.s301、获取目标时间段内的待处理的数据流。
111.s302、对数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合。
112.s303、对目标人脸特征数据集合聚档，得到各个人脸档案，以及对目标人体特征数据集合聚档，得到各个人体档案。
113.s304、基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案。
114.其中，关联关系数据为目标人脸特征数据集合中的各个人脸特征数据和目标人体特征数据集合中的各个人体特征数据的关联关系。
115.本技术实施例，在获取到目标时间段内的待处理的数据流后，对数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；进而在聚
档过程中，不仅对人脸特征数据集合聚档得到人脸档案，还考虑了人体特征数据，对目标人体特征数据聚档，得到人档案；另外，在目标检测的过程中，还得到了目标人脸特征数据集合中的各个人脸特征数据和各个人脸特征数据的关联关系，这样，可以利用该关联关系，将各个人脸档案和各个人体档案合并，进而得到各个人像档案。因此，人像档案中不仅包括了人脸特性，还包括了人体特征，提高了聚档的准确率和召回率。
116.涉及到s301，采集设备以卡口设备或者监控摄像头为例，采集设备通过对自身监控或者拍摄范围内的区域进行拍摄，得到数据流，该数据流为图片流和/或者视频流。采集设备获取到的数据流实时发送至服务器，服务器实时接收数据流，将目标时间段内的数据流作为待处理的数据流。其中，目标时间段比如是10分钟。
117.涉及到s302，对接收到的来自各个采集设备的图片流和/或视频流进行解码，得到图像帧；然后将图像帧输入至预设识别模型进行目标检测，得到多个人脸特征数据、多个人体特征数据和关联关系数据，该关联关系数据为各个人脸特征数据和各个人体特征数据的关联关系。
118.具体的，在目标检测的过程中，预设识别模型为预先训练好的，其训练样本可以包括大量的人的图像、物的图像等，物的图像可以是动物的图像。预设识别模型中集成了轨迹识别算法，因此，在目标检测过程中，通过对对象的解析和跟踪，可以得到多个人脸特征数据和多个人体特征数据；另外，通过轨迹识别还可以确定关联关系数据。
119.在一个具体的例子中，若一个人脸特征数据和一个人体特征数据来自于同一张图像，则确定该人脸特征数据和人体特征数据存在关联关系；或者，人脸特征数据和人体特征数据在连续时间段(比如30秒)的图像帧中，则可以确定该人脸特征数据和人体特征数据存在关联关系。
120.在实际的应用过程中，为了提高聚档的准确性，在对图像帧进行目标检测得到各个人脸特征数据和各个人体特征数据后，需要分别对人脸特征数据和人体特征数据进行筛选，去除质量较差或者清晰度较差的图像帧得到的人脸特征数据和人体特征数据，得到用来参与聚档的目标人脸特征数据和目标人体特征数据。
121.接下来分别对人脸特征数据的筛选过程和人体特征数据的筛选过程进行说明：
122.一、人脸特征数据的筛选过程。
123.其中，每个人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的至少一个。针对每个人脸特征数据，应用人脸特征数据中的至少一个参数对人脸特征数据进行筛选，得到目标人脸特征数据集合。
124.在一个具体的例子中，人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的一个，则可以应用该参数对人脸特征数据进行筛选，比如，删除清晰度参数小于预设清晰度阈值的人脸特征数据；再比如，人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的两个或三个，则可以在一个参数、两个参数或者三个参数分别对应的参数阈值对人脸特征数据进行筛选，得到目标人脸特征数据。该筛选过程中，应用哪个参数进行筛选，一方面取决于人脸特征数据中包括哪个参数，另一方面取决于在包括的多个参数中选择哪个参数作为筛选条件，此处可自由设定。
125.二、人体特征数据的筛选过程。
126.其中，每个人体特征数据中包括人体目标的角度参数、清晰度参数和质量参数中
的至少一个。针对每个人体特征数据，应用人体特征数据中的至少一个参数对人体特征数据进行筛选，得到目标人体特征数据集合。
127.示例性的，根据各个人体特征数据表征的人体的姿态，将各个人体特征数据划分为如下各个类型的人体特征数据：人脸人体同画面的人体特征数据、正面人体特征数据、侧面人体特征数据和背面人体特征数据；针对每个类型的每个人体特征数据，应用类型的人体特征数据对应的至少一个参数对人体特征数据进行筛选，将筛选后的人体特征数据筛选后的目标人体特征数据集合。
128.其中，人脸人体同画面的人体特征数据是指，该人体特征数据的来源的图片中的人脸特征数据为筛选后可用的人脸特征数据；或者，人体特征数据的来源的预设时间内(比如10秒)视频中的人脸特征数据为筛选后可用的人脸特征数据。另外，除了这些，还存在正面人体特征数据、侧面人体特征数据和背面人体特征数据，这三类人体特征数据为纯人体特征数据，也即，对应的人脸特征数据不可用。
129.这样，由于将人体特征数据划分了不同的类型，因此，在对人体特征数据进行筛选时，为了提高筛选速度和准确率，可以按不同的类别进行筛选。比如，应用相应类型的人体特征数据对应的至少一个参数对对应的人体特征数据进行筛选，进而得到筛选后的目标人体特征数据集合。
130.参考图4，示出了一种目标检测的示意图，对目标人脸特征数据和目标人体特征数据的获得过程进行说明。其中，采集设备(人脸卡口或者监控摄像头)获取到数据流(图片流和/或视频流)，通过daas的解析平台进行目标检测，比如目标跟踪、目标优选、目标跟踪和目标关联等操作，得到筛选后的目标人脸特征数据集合和目标人体特征数据集合，这些数据集合具体表征全局优选正面人体、全局优选侧面人体、全局优选背面人体、优选人脸人体同画面人体和全局优选人脸。可以将目标人脸特征数据集合和目标人体特征数据集合中的各个特征数据中的关联关系写入输出消息体，输出到消息队列中，用于支撑后续的聚类归档流程。
131.另外，为了提高聚类的准确性，还可以对人脸特征数据和人体特征数据进行分类，比如，纯人脸特征数据，也即，未解析到全局最优的人体图片；纯人体特征数据，也即，未解析到全局最优的人脸图片，可能是因为采集设备的安装角度、人脸有遮挡等因素造成的；人脸特征数据 多条人体特征数据，也即，在视频画面中根据目标优选、跟踪、管理，优选到最优的人脸以及多张不同姿态的人体图片。
132.在一个具体的例子中，参见图5，示出了一种特征数据分类的过程的示意图。其中，圆形表示人脸特征数据，三角形表示人体特征数据，图案相同表示人脸特征数据和人体特征数据有关联关系。需要说明的是，虽然该过程是应用关联关系数据对人脸特征数据和人体特征数据分类的过程，但是，数据本身并未发生任何变化，在后续聚档的过程中，还是目标人脸特征数据和目标人体特征数据分别聚类，只是在合档的过程中，应用了关联关系。
133.涉及到s303，在对图像帧进行目标检测得到目标人脸特征数据和目标人体特征数据后，对人脸特征数据和人体特征数据分别聚档。具体的，对人脸特征数据聚档后，得到各个人脸档案；对人体特征数据聚档后，得到各个人体档案。
134.人脸特征数据的聚档过程如下：
135.(1)根据采集设备的时空标签，将目标人脸特征数据集合划分为多个第一时空块；
其中，采集设备为采集数据流的设备，每个第一时空块对应一个第一经纬度范围和一个第一拍摄时间范围。
136.其中，采集设备的时空标签包括时间标签和空间标签，其中，时间标签是指采集数据流的时间段，空间标签是指采集设备的位置。在一个具体的例子中，可以先确定一个时空标签，再根据这一时间段内的人脸特征数据所属的采集设备的设备通道，根据路径规划算法划分最优连通图，把相关联的采集设备划分到一个空间域中，也即，空间标签相同。
137.这样，将目标人脸特征数据划分为多个第一时空块。比如，人民公园附近的5个采集设备划分到一个空间域中，该空间域中，目标时间段以18h为例，则0-3h、3h-6h、6h-9h、9h-12h、12h-15h、15-18h进行划分，得到6个第一时空块。
138.(2)针对每个第一时空块中包括的人脸特征数据进行聚类。
139.以每个第一时空块为例，说明人脸特征数据的聚类过程。具体的，该聚类过程可采用现有技术中的聚类算法实现，比如k-means聚类算法，确定每轮聚类的聚类中心点，计算每个人脸特征数据与聚类中心点之间的距离，再根据该距离确定下一轮聚类的中心点，直到达到聚类次数或者每个人脸特征数据与聚类中心点之间的距离小于预设距离阈值时，聚类结束，完成人脸的聚类过程。
140.(3)基于每个第一时空块对应的第一经纬度范围和第一时间拍摄范围，将各个第一时空块的聚类结果进行合并，得到人脸档案。
141.由于上述聚类过程是以第一时空块为小单元进行的，因此，基于每个第一时空块对应的第一经度范围和第一时间拍摄范围，将各个第一时空块的聚类结果进行合并，得到人脸档案。
142.仍以前述示例为例，人民公园附近的5个采集设备划分到一个空间域中，该空间域中，目标时间段以18h为例，则0-3h、3h-6h、6h-9h、9h-12h、12h-15h、15-18h进行划分，得到6个第一时空块。第一合并过程可以是将该空间域的6个第一时空块的聚类结果合并，第二合并过程可以是将其他空间域的多个第一时空块的聚类结果合并。上述聚类过程只是一个示例，实际应用过程中，还可以采用其他能完成聚类的方式均可以。
143.上述人脸聚类过程融合了设备通道、时空和时段等信息，可以利用spark离线计算引擎实现一段时间内的人脸聚类。
144.参考图6，示出了一种采集设备划分的连通图，其中，a-m表示采集设备，其中，abc采集的人脸特征数据构成一个第一时空块；defg采集的人脸特征数据构成一个第一时空块；hijklm采集的人脸特征数据沟通一个第一时空块。
145.另外，图7示出了一种人脸聚档的示意图，其中，对各个时空块分别进行聚类，再把不同时空块的聚类结果进行合并，得到人脸档案。需要说明的是，图7中的人脸聚档的过程，比如时空块的划分等，只是一个示例，不形成具体的限定。
146.上述为人脸特征数据聚档的过程，接下来说明人体特征数据聚档的过程：
147.(1)根据采集设备的时空标签，将目标人体特征数据集合划分为多个第二时空块；其中，采集设备为采集数据流的设备，每个第二时空块对应一个第二经纬度范围和一个第二拍摄时间范围。
148.(2)针对每个第二时空块中包括的人体特征数据进行聚类。
149.(3)基于每个第二时空块对应的第二经纬度范围和第二时间拍摄范围，将各个第
二时空块的聚类结果进行合并，得到人体档案。
150.具体的，整个人体特征数据的聚类过程与人脸特征数据的聚类过程类似。在划分第二时空块的过程中，第二经纬度范围与第一经纬度范围可以相同，也可以不同，第二拍摄时间范围可以与第一拍摄时间范围相同，也可以不同。详细聚档过程可参见人脸特征数据的聚档过程，在此不赘述。
151.在一个具体的例子中，由于在目标检测时输出了人脸特征数据和人体特征数据的关联关系，因此，在人体特征数据聚类的过程中，存在如下两种情况，第一种是基于关联关系，吸附到人脸档案中的人体档案，另一种是纯人体档案。
152.涉及到s304，由于部分人脸特征数据和部分人脸特征数据存在关联关系，因此，在得到各个人脸档案和各个人体档案后，基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案。
153.具体的，合并过程可以通过如下方式实现：
154.针对每个人体档案，基于关联关系数据，确定人体档案关联的人脸档案；将人体档案与关联的人脸档案进行合并，得到对应的人像档案。
155.其中，由于关联关系表征的是哪个人脸特征数据与哪个人体特征数据是关联的，或者说，是属于同一个对象的。因此，针对每个人体档案，可以确定该人体档案关联的人脸档案，这样，人体档案可以分为两类，一类是存在与之关联的人脸档案，另一类是不与人脸档案关联的人体档案。
156.针对第一类人体档案，将人体档案与关联的人像档案进行合并，得到对应的人像档案；针对第二类人体档案，由于其是独立存在的人体档案，因此，在后续的识别过程中，可以将其进行删除，还可以将其存储至预设存储空间，以便后续出现新的人脸档案时，确定是否可以合并至人脸档案中。
157.在实际的应用过程中，如果将待识别的数据流(图片流和/或视频流)与得到的人像档案进行匹配，来确定与待识别的数据流匹配的目标人像档案。但是，匹配结果通常是用来展示给用户的，因此，为了将更具象的结果展示给用户，在生成人像档案后，还可以对人像档案进行进一步处理，以便得到待识别的数据流的更具象的展示结果。
158.在一个具体的例子中，对人像档案的进一步处理包括：
159.针对每个人像档案，根据人像档案中的人脸特征数据和人体特征数据确定对象所属的时空域以及对象的轨迹；其中，时空域包括人像档案中的对象出现的时间范围和空间范围。
160.具体的，在得到各个人像档案后，可以根据该人像档案中的人脸特征数据和人体特征数据的采集时间、采集设备的设备通道以及人脸特征数据本身，确定对象所属的时空域以及对象的轨迹，这里说的对象是指人。
161.这样，在对待识别的数据流进行识别时，可以得到待识别的数据流中的对象的目标时空域和目标轨迹，也即，目标对象在什么时间、去过哪里以及这段时间内去过的地方形成的目标轨迹。这样，融合多维时空信息与档案数据进行分析，返回与目标图片对应的人脸档案或人体档案，并对结果按照相似度排序。根据人脸与人体记录的原始关联关系，以及消息所属的时空域等信息融合人脸档案和人体档案，合成人像档案，档案中既包括人脸的轨迹，也包括人体的轨迹。
162.另外，前述人像聚档过程是对目标时间段内的数据流进行的，为了使人像档案更完善，提高聚档的准确性，还可以将各个人像档案与指定时间段内的各个人像档案合并，得到合并后的人像档案，可以成为合并人像档案。
163.示例性的，合并过程可以通过如下方式实现：
164.针对每个人像档案，确定人像档案中的人脸特征数据与指定时间段内的每个人脸特征数据的特征距离；将人像档案合并至特征距离最小时指定时间段对应的人像档案中。
165.具体的，各个人像档案是目标时间段的数据流得到的，目标时间段比如是2021年11月16日8点-22点，指定时间段比如是2021年11月15日8点-22点。因此，针对每个人像档案，确定该人像档案中的人脸特征数据与指定时间段的各个人脸特征数据的特征距离，比如是欧氏距离；再确定与距离最小时是指定时间段内的哪个人像档案中的人脸特征数据，则将该人脸特征数据合并至距离最小时对应的人像档案中。这样，针对每个人像档案来说，其包含的人脸特征数据和人体特征数据越来越多，则人像档案越来越准确，后续对待识别数据流的识别结果越来越准确。在实际的应用过程中，可能没有与指定时间段内的人像档案比对成功，则新增该档案。
166.合档比对服务通过分布式架构，结合cpu和gpu进行高速并行比对，实现一段时间内的人脸档案和历史档案合档，档案数据存储在内存和显存上，为后续以图搜档提供数据支撑。
167.为了使本技术的技术方案更完整，图8示出了一种基于多维数据的人像聚档方法的流程图，图8至少包括如下步骤：
168.s801、获取目标时间段内的待处理的数据流。
169.s802、对数据流解码得到的图像帧进行目标检测，得到各个人脸特征数据和各个人体特征数据。
170.其中，每个人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的至少一个；每个人体特征数据中包括人体目标的角度参数、清晰度参数和质量参数中的至少一个。
171.s803、针对每个人脸特征数据，应用人脸特征数据中的至少一个参数对人脸特征数据进行筛选，得到目标人脸特征数据集合。
172.s804、根据采集设备的时空标签，将目标人脸特征数据集合划分为多个第一时空块。
173.其中，采集设备为采集数据流的设备，每个第一时空块对应一个第一经纬度范围和一个第一拍摄时间范围。
174.s805、针对每个第一时空块中包括的人脸特征数据进行聚类。
175.s806、基于每个第一时空块对应的第一经纬度范围和第一时间拍摄范围，将各个第一时空块的聚类结果进行合并，得到人脸档案。
176.s807、根据各个人体特征数据表征的人体的姿态，将各个人体特征数据划分为如下各个类型的人体特征数据：人脸人体同画面的人体特征数据、正面人体特征数据、侧面人体特征数据和背面人体特征数据。
177.s808、针对每个类型的每个人体特征数据，应用类型的人体特征数据对应的至少一个参数对人体特征数据进行筛选，将筛选后的人体特征数据筛选后的目标人体特征数据
集合。
178.s809、根据采集设备的时空标签，将目标人体特征数据集合划分为多个第二时空块。
179.其中，采集设备为采集数据流的设备，每个第二时空块对应一个第二经纬度范围和一个第二拍摄时间范围。
180.s810、针对每个第二时空块中包括的人体特征数据进行聚类；
181.s811、基于每个第二时空块对应的第二经纬度范围和第二时间拍摄范围，将各个第二时空块的聚类结果进行合并，得到人体档案。
182.s812、针对每个人体档案，基于关联关系数据，确定人体档案关联的人脸档案。
183.s813、将人体档案与关联的人脸档案进行合并，得到对应的人像档案。
184.s814、针对每个人像档案，确定人像档案中的人脸特征数据与指定时间段内的每个人脸特征数据的特征距离。
185.s815、将人像档案合并至特征距离最小时指定时间段对应的人像档案中。
186.s816、针对每个人像档案，根据人像档案中的人脸特征数据和人体特征数据确定对象所属的时空域以及对象的轨迹。
187.s817、将待识别的数据流与各个人像档案进行匹配，确定与待识别的数据流匹配的目标人像档案。
188.s818、确定待识别的数据流中的对象的目标时空域和目标轨迹。
189.本技术实施例，与现有技术中仅用单一维度的信息去聚档造成的无法用其他数据来补充聚档结果相比，融合了人体特征数据，还结合了设备通道，分时空块聚档，为后续分析人员去向、常驻去处和可能去处，提供了数据支撑。
190.如图9所示，基于与上述基于多维数据的人像聚档方法相同的发明构思，本技术实施例还提供了一种基于多维数据的人像聚档装置，包括数据获取模块91、目标检测模块92、聚档模块93和人像档案确定模块94。
191.数据获取模块91，用于获取目标时间段内的待处理的数据流；
192.目标检测模块92，用于对数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；
193.聚档模块93，用于对目标人脸特征数据集合聚档，得到各个人脸档案，以及对目标人体特征数据集合聚档，得到各个人体档案；
194.人像档案确定模块94，用于基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案；其中，关联关系数据为目标人脸特征数据集合中的各个人脸特征数据和目标人体特征数据集合中的各个人体特征数据的关联关系。
195.本技术实施例，在获取到目标时间段内的待处理的数据流后，对数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；进而在聚档过程中，不仅对人脸特征数据集合聚档得到人脸档案，还考虑了人体特征数据，对目标人体特征数据聚档，得到人档案；另外，在目标检测的过程中，还得到了目标人脸特征数据集合中的各个人脸特征数据和各个人脸特征数据的关联关系，这样，可以利用该关联关系，将各个人脸档案和各个人体档案合并，进而得到各个人像档案。因此，人像档案中不仅包括了人脸特性，还包括了人体特征，提高了聚档的准确率和召回率。
196.在一些示例性的实施方式中，目标检测模块92具体用于：
197.对数据流解码得到的图像帧进行目标检测，得到各个人脸特征数据和各个人体特征数据，以及关联关系数据；其中，每个人脸特征数据中包括人脸目标的角度参数、清晰度参数和质量参数中的至少一个；每个人体特征数据中包括人体目标的角度参数、清晰度参数和质量参数中的至少一个；
198.针对每个人脸特征数据，应用人脸特征数据中的至少一个参数对人脸特征数据进行筛选，得到目标人脸特征数据集合；以及针对每个人体特征数据，应用人体特征数据中的至少一个参数对人体特征数据进行筛选，得到目标人体特征数据集合。
199.在一些示例性的实施方式中，目标检测模块92具体用于：
200.根据各个人体特征数据表征的人体的姿态，将各个人体特征数据划分为如下各个类型的人体特征数据：人脸人体同画面的人体特征数据、正面人体特征数据、侧面人体特征数据和背面人体特征数据；
201.针对每个类型的每个人体特征数据，应用类型的人体特征数据对应的至少一个参数对人体特征数据进行筛选，将筛选后的人体特征数据筛选后的目标人体特征数据集合。
202.在一些示例性的实施方式中，聚档模块93具体用于：
203.根据采集设备的时空标签，将目标人脸特征数据集合划分为多个第一时空块；其中，采集设备为采集数据流的设备，每个第一时空块对应一个第一经纬度范围和一个第一拍摄时间范围；
204.针对每个第一时空块中包括的人脸特征数据进行聚类；
205.基于每个第一时空块对应的第一经纬度范围和第一时间拍摄范围，将各个第一时空块的聚类结果进行合并，得到人脸档案。
206.在一些示例性的实施方式中，聚档模块93具体用于：
207.根据采集设备的时空标签，将目标人体特征数据集合划分为多个第二时空块；其中，采集设备为采集数据流的设备，每个第二时空块对应一个第二经纬度范围和一个第二拍摄时间范围；
208.针对每个第二时空块中包括的人体特征数据进行聚类；
209.基于每个第二时空块对应的第二经纬度范围和第二时间拍摄范围，将各个第二时空块的聚类结果进行合并，得到人体档案。
210.在一些示例性的实施方式中，人像档案确定模块94具体用于：
211.针对每个人体档案，基于关联关系数据，确定人体档案关联的人脸档案；
212.将人体档案与关联的人脸档案进行合并，得到对应的人像档案。
213.在一些示例性的实施方式中，还包括人体档案处理模块，用于在不存在不与任何人脸档案关联的人体档案时，删除人体档案，或，将人体档案存储至预设存储空间。
214.在一些示例性的实施方式中，还包括时空域和轨迹确定模块，用于在基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案之后：
215.针对每个人像档案，根据人像档案中的人脸特征数据和人体特征数据确定对象所属的时空域以及对象的轨迹；其中，时空域包括人像档案中的对象出现的时间范围和空间范围。
216.在一些示例性的实施方式中，还包括识别模块，用于在基于关联关系数据，将各个
人脸档案和各个人体档案进行合并，得到各个人像档案之后：
217.将待识别的数据流与各个人像档案进行匹配，确定与待识别的数据流匹配的目标人像档案；
218.确定待识别的数据流中的对象的目标时空域和目标轨迹。
219.在一些示例性的实施方式中，还包括合并模块，用于在基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案之后：
220.将各个人像档案与指定时间段内的各个人像档案合并，得到合并人像档案。
221.在一些示例性的实施方式中，合并模块具体用于：
222.针对每个人像档案，确定人像档案中的人脸特征数据与指定时间段内的每个人脸特征数据的特征距离；
223.将人像档案合并至特征距离最小时指定时间段对应的人像档案中。
224.本技术实施例提的基于多维数据的人像聚档装置与上述基于多维数据的人像聚档方法采用了相同的发明构思，能够取得相同的有益效果，在此不再赘述。
225.基于与上述基于多维数据的人像聚档方法相同的发明构思，本技术实施例还提供了一种电子设备，该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)、服务器等。如图10所示，该电子设备可以包括处理器1001和存储器1002。
226.处理器1001可以是通用处理器，例如中央处理器(cpu)、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
227.存储器1002作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质，例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory，ram)、静态随机访问存储器(static random access memory，sram)、可编程只读存储器(programmable read only memory，prom)、只读存储器(read only memory，rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory，eeprom)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。本技术实施例中的存储器1002还可以是电路或者其它任意能够实现存储功能的装置，用于存储程序指令和/或数据。
228.电子设备的处理器执行的方法具体包括：获取目标时间段内的待处理的数据流；对数据流解码得到的图像帧进行目标检测，得到目标人脸特征数据集合和目标人体特征数据集合；对目标人脸特征数据集合聚档，得到各个人脸档案，以及对目标人体特征数据集合聚档，得到各个人体档案；基于关联关系数据，将各个人脸档案和各个人体档案进行合并，得到各个人像档案；其中，关联关系数据为目标人脸特征数据集合中的各个人脸特征数据
和目标人体特征数据集合中的各个人体特征数据的关联关系。
229.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于：移动存储设备、随机存取存储器(ram，random access memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等各种可以存储程序代码的介质。
230.或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例方法的全部或部分。而前述的存储介质包括：移动存储设备、随机存取存储器(ram，random access memory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等各种可以存储程序代码的介质。
231.以上实施例仅用以对本技术的技术方案进行了详细介绍，但以上实施例的说明只是用于帮助理解本技术实施例的方法，不应理解为对本技术实施例的限制。本技术领域的技术人员可轻易想到的变化或替换，都应涵盖在本技术实施例的保护范围之内。