基于人工智能的图像聚档、图像搜索方法、装置及设备与流程

1.本公开涉及人工智能领域，具体涉及图像识别、视频分析、大数据技术，可应用在智慧城市、城市治理、应急安防场景下。


背景技术：

2.在监控场景中，一般会布设有多台监控相机，各台监控相机不断采集图像。随着时间推移，监控相机采集到大量图像，为了便于对上述图像进行管理，可以对上述图像进行聚档，将属于同一人员的图像聚类为一个分类，得到同一人员的图像档案，进而得到各个不同人员的图像档案。
3.鉴于上述情况，需要提供一种图像聚档方案，以生成人员的图像档案。


技术实现要素：

4.本公开提供了基于人工智能的图像聚档、图像搜索方法、装置及设备。
5.根据本公开的第一方面，提供了一种基于人工智能的图像聚档方法，包括：
6.提取各待聚档图像中人员的图像特征；
7.基于提取到的图像特征对各待聚档图像进行分类，得到图像质量高于预设指标的高质图像和不高于所述预设指标的低质图像；
8.对高质图像进行图像聚档，得到人员的图像档案；
9.针对各低质图像，从与该低质图像对应于同一时空的第一高质图像中，确定与该低质图像对应于同一人员的第二高质图像；
10.在各第二高质图像所属的图像档案中记录第二高质图像与所对应低质图像间的关联关系。
11.根据本公开的第二方面，提供了一种基于人工智能的图像搜索方法，包括：
12.响应于针对目标图像的图像搜索请求，获得所述目标图像中人员的目标图像特征；
13.根据所述目标图像特征，从已有的人员的图像档案中，搜索所述目标图像中人员的目标图像档案；
14.根据所述目标图像档案中包括的高质图像以及所述目标图像档案中记录的高质图像与低质图像之间的关联关系，生成搜索结果，其中，所述高质图像为图像质量高于预设指标的图像，所述低质图像为图像质量低于预设指标的图像。
15.根据本公开的第三方面，提供了一种基于人工智能的图像聚档装置，包括：
16.图像特征提取模块，用于提取各待聚档图像中人员的图像特征；
17.图像分类模块，用于基于提取到的图像特征对各待聚档图像进行分类，得到图像质量高于预设指标的高质图像和不高于所述预设指标的低质图像；
18.图像聚档模块，用于对高质图像进行图像聚档，得到人员的图像档案；
19.对应图像确定模块，用于针对各低质图像，从与该低质图像对应于同一时空的第
一高质图像中，确定与该低质图像对应于同一人员的第二高质图像；
20.关联关系记录模块，用于在各第二高质图像所属的图像档案中记录第二高质图像与所对应低质图像间的关联关系。
21.根据本公开的第四方面，提供了一种基于人工智能的图像搜索装置，包括：
22.目标图像获得模块，用于响应于针对目标图像的图像搜索请求，获得所述目标图像中人员的目标图像特征；
23.目标图像档案搜索模块，用于根据所述目标图像特征，从已有的人员的图像档案中，搜索所述目标图像中人员的目标图像档案；
24.搜索结果生成模块，用于根据所述目标图像档案中包括的高质图像以及所述目标图像档案中记录的高质图像与低质图像之间的关联关系，生成搜索结果，其中，所述高质图像为图像质量高于预设指标的图像，所述低质图像为图像质量低于预设指标的图像。
25.根据本公开的第五方面，提供了一种电子设备，包括：
26.至少一个处理器；以及
27.与所述至少一个处理器通信连接的存储器；其中，
28.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述第一方面所述的图像聚档方法或第二方面所述的图像搜索方法。
29.根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述第一方面所述的图像聚档方法或第二方面所述的图像搜索方法。
30.根据本公开的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述第一方面所述的图像聚档方法或第二方面所述的图像搜索方法。
31.由以上可见，应用本公开实施例提供的方案进行图像聚档，能够生成人员的图像档案。
32.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
33.附图用于更好地理解本方案，不构成对本公开的限定。其中：
34.图1为本公开实施例提供的一种图像档案生成流程的示意图；
35.图2为本公开实施例提供的第一种基于人工智能的图像聚档方法的流程示意图；
36.图3为本公开实施例提供的第二种基于人工智能的图像聚档方法的流程示意图；
37.图4为本公开实施例提供的一种图像聚档流程的示意图；
38.图5为本公开实施例提供的一种基于人工智能的图像搜索方法的流程示意图；
39.图6为本公开实施例提供的一种图像搜索流程的示意图；
40.图7为本公开实施例提供的一种基于人工智能的图像聚档装置的结构示意图；
41.图8为本公开实施例提供的一种基于人工智能的图像搜索装置的结构示意图；
42.图9是用来实现本公开实施例提供的基于人工智能的图像聚档方法或图像搜索方
法的电子设备的框图。
具体实施方式
43.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
44.首先对本公开实施例所提供的方案涉及的部分概念进行说明。
45.聚档：将属于同一人员的图像聚类为一个分类，得到同一人员的图像档案。
46.散档：属于同一人员的图像被划分到了不同档案中。
47.混档：一个图像档案中存储了属于不同人员的图像。
48.下面对本公开实施例所提供方案的应用场景进行说明。
49.本公开实施例所提供方案的应用场景为：对在监控场景中部署的监控相机所采集的图像进行聚档，生成人员的图像档案的场景。
50.其中，上述监控场景可以为购物场所监控场景、车辆管理监控场景、小区安防监控场景等任意监控场景。
51.下面结合图1，对上述图像档案的生成流程进行简要说明。
52.参见图1，提供了一种图像档案生成流程的示意图。
53.首先从城市场景中获取监控相机采集的视频流或图片流。上述城市监控场景可以是前述提及的任意监控场景。
54.然后从视频流或图片流中筛选抓拍出包含人体或人脸的图像。如图1所示，图中黑色、灰色、灰色含竖直条纹以及灰色含水平条纹的人员半身像分别表示不同人员的图像。
55.基于上述筛选出的图像进行聚档，得到同一人员的图像档案，进而得到各个不同人员的图像档案，也就是一人一档。由图1可见，聚档完成后，图中黑色、灰色、灰色含竖直条纹以及灰色含水平条纹的人员半身像分别被归类为不同的类别，也就是聚档完成后属于同一人员的图像被划分到了各个独立的图像档案中。
56.下面对本公开实施例所提供的方案的执行主体进行说明。
57.本公开实施例所提供的方案的执行主体可以为任意一台具有数据处理功能以及数据存储功能的电子设备，例如，可以是一台服务器。
58.以下再对本公开实施例提供的基于人工智能的图像聚档方法进行具体说明。
59.在进行图像聚档时，一般是基于图像中人脸特征的相似度实现的，也就是将人脸特征相似度较高的图像认为是属于同一人员的图像，进而划分为一个类别，得到上述人员的图像档案。
60.例如，上述相似度可以是余弦相似度，这样可以基于余弦相似度的大小表征两张图像为属于同一人员的图像的概率。如，两张图像中人脸特征的余弦相似度越接近1，表示两张图像对应于同一人员的概率越高；上述余弦相似度越接近0，表示两张图像对应于同一人员的概率越低。
61.然而，在实际场景下，监控相机受遮挡、光照、拍摄角度以及环境因素的影响，拍摄到图像中容易产生人脸区域模糊、暗淡等情况。另外，受季节、疾病、潮流等因素的影响，许
多人在外出时会低头或遮挡自身的脸部，这样就导致监控相机拍摄到的图像出现人脸区域被遮挡的情况，例如，人脸区域因人员低头而被遮挡、人脸区域因人员佩戴口罩、围巾而被遮挡等情况。
62.出现上述情况的图像，其人脸特征不能准确的标识人员身份，甚至可能会出现属于同一人的图像的人脸特征相似度低，而属于不同人的图像的人脸特征相似度高的情况。因此，采用上述图像进行图像聚档时，很容易出现散档、混档的情况，导致得到的人员的图像档案不准确。
63.鉴于上述情况，本公开实施例提供了一种基于人工智能的图像聚档方法，以提高所生成的图像档案的准确度。
64.参见图2，提供了第一种基于人工智能的图像聚档方法的流程示意图，上述方法包括以下步骤s201-步骤s205。
65.步骤s201：提取各待聚档图像中人员的图像特征。
66.上述待聚档图像为在各种监控场景下部署的监控相机拍摄到的图像。
67.具体的，待聚档图像可以通过以下方式获取。
68.一种实施方式中，监控相机可以按照固定的频率不断从监控场景中抓拍图像，这样可以获取监控相机抓拍的图像作为待聚档图像。
69.一种情况下，获取监控相机抓拍的图像后，还可以进一步的从上述图像中筛选出包含人体或人脸的图像，将筛选出的图像作为待聚档图像。
70.这样便于从待聚档图像中提取人员的图像特征，有利于减少提取图像特征时的冗余计算，提高提取图像特征时的效率。
71.另一种实施方式中，监控相机可以不断对监控场景拍摄视频，这样可以从监控相机拍摄到的视频中截取视频帧，将截取的视频帧作为待聚档图像。具体的，可以从上述视频中按照固定的频率截取视频帧，针对得到的视频帧进行图像去重，然后选取清晰度高于预设值的视频帧作为待聚档图像。
72.一种情况下，从监控相机拍摄到的视频中截取视频帧时，可以截取包含人体或人脸的视频帧，将上述视频帧作为待聚档图像。
73.这样便于从待聚档图像中提取人员的图像特征，有利于减少提取图像特征时的冗余计算，提高提取图像特征时的效率。
74.其中，上述人员的图像特征可以是用于标识人员身份的特征，例如，上述图像特征可以是人脸特征，也可以是人体特征。
75.下面以人脸特征为例，说明提取上述图像特征的方式。
76.具体的，可以确定各待聚档图像中的人脸区域，提取各待聚档图像中人脸区域的特征，作为各待聚档图像中人员的图像特征。
77.其中，本公开实施例不限定确定待聚档图像中人脸区域的方式。
78.一种实施方式中，可以将待聚档图像输入预先训练的人脸区域识别模型，得到上述模型输出的人脸区域在待聚档图像中的位置。
79.另外，本公开实施例也不限定提取人脸区域的特征的方式。例如，可以基于边缘提取算子、纹理特征提取算法、卷积神经网络算法等特征提取算法提取人脸区域的特征。
80.本公开的一个实施例中，可以从上述人脸区域中提取高维特征，这样有利于提高
所提取到的特征对于人员的标识能力。例如，上述高维特征可以是256维的特征等。
81.由于人脸特征对于一个人的标识能力往往较强，因此，采用人脸特征作为待聚档图像的图像特征，有利于提高后续基于人脸特征进行图像聚档时的准确度。
82.本公开的一个实施例中，步骤s201中提取上述人脸区域的特征时，可以提取预设的多种类型的特征中的至少一种，将提取到的特征作为上述图像特征。具体实施方式详见后续实施例，这里暂不详述。
83.步骤s202：基于提取到的图像特征对各待聚档图像进行分类，得到图像质量高于预设指标的高质图像和不高于预设指标的低质图像。
84.上述预设指标可以是图像中人脸区域的清晰度，图像中人脸区域的未遮挡比例等。
85.以预设指标为图像中人脸区域的清晰度为例，可以基于图像特征，判断出该待聚档图像的清晰度是否高于预设指标，若为是，则将该待聚档图像确定为图像质量高于预设指标的高质图像；若为否，则将该待聚档图像确定为图像质量低于预设指标的高质图像。
86.低质图像的图像质量不高于预设指标，说明这些图像的图像特征不能够准确标识图像中人员的身份。例如，上述低质图像可以是人脸区域清晰度较低的图像、人脸遮挡比例过高的图像等。上述低质图像的图像特征也可以称为失效特征。
87.相应的，高质图像的图像质量高于预设指标，说明这些图像的图像特征能够较准确的标识图像中人员的身份。例如，上述高质图像可以是人脸区域清晰度较高的图像、人脸无遮挡的图像等。上述高质图像的图像特征也可以称为有效特征。
88.本公开实施例并不限定上述预设指标的具体内容，上述预设指标可以是任何能够区分出特征失效的低质图像以及特征有效的高质图像的指标。
89.本公开的一个实施例中，可以将提取到的图像特征输入预先训练的高低质图像分类模型，得到高低质图像分类模型输出的图像分类结果。上述分类结果可能表征图像特征对应的图像的质量高于预设指标，图像特征对应的图像属于高质图像，上述分类结果也可能表征图像特征对应的图像的质量不高于预设指标，图像特征对应的图像属于低质图像。
90.其中，上述高低质图像分类模型为：以样本图像中人员的图像特征为输入信息、样本图像的高低质标签为训练标注对预设的神经网络模型进行训练得到的、对图像进行分类的模型。
91.上述样本图像中人员的图像特征的类型可以由工作人员根据特征失效的图像具有的特点预先设定，例如，上述图像特征的类型可以是人脸区域遮挡比例、人脸区域光照强度、人脸区域模糊程度等特征，可以采用不同类型的特征各自对应的特征提取方式提取各种类型的图像特征。
92.经过验证，采用上述方式训练所得到的高低质图像分类模型，其分类准确率和召回率均能够保持较高水平，可以达到95％以上。
93.这样采用预先训练的高低质图像分类模型，减少了对待聚档图像进行分类得到上述高质图像和低质图像所需的时间，提高了获得上述高质图像和低质图像的效率。
94.步骤s203：对高质图像进行图像聚档，得到人员的图像档案。
95.由前述说明可知，高质图像的图像特征为有效特征，也即是能够准确标识人员身份的特征，因此，可以采用高质图像的图像特征作为划分人员的依据，通过对上述图像特征
进行聚类，能够准确的得到人员档案。
96.具体的，可以对高质图像的图像特征进行聚类，得到各个聚类簇，针对各聚类簇，将该聚类簇中包含的各图像特征对应的高质图像存储，得到上述高质图像对应的人员档案。
97.下面以三种方式为例介绍对高质图像的图像特征进行聚类的具体方式。
98.第一种实施方式中，可以采用层级聚类算法对高质图像的图像特征进行聚类，例如，上述层级聚类算法可以是birch(balanced iterative reducing and clustering using hierarchies，利用层次方法的平衡迭代规约和聚类)算法、cure(clustering using representative，利用特征点聚类)算法、或chameleon(变色龙)算法等算法。
99.第二种实施方式中，可以使用k-means(k均值)算法对高质图像的图像特征进行聚类。
100.第三种实施方式中，可以使用dbscan(density-based spatial clustering of applications with noise，具有噪声的基于密度的聚类方法)对高质图像的图像特征进行聚类。
101.下面再对所生成的图像档案存储图像的方式进行说明。
102.一种实施方式中，图像档案中可以存储对应于同一人员的全部高质图像。
103.另一种实施方式中，图像档案中可以存储对应于同一人员的全部高质图像的标识。这样可以减少存储图像档案所需的数据量，有利于节省存储空间。其中，上述标识的内容可以分为以下两种情况：
104.第一种情况，当上述高质图像为监控相机抓拍得到的图像时，上述标识可以是上述高质图像的存储位置。
105.第二种情况，当上述高质图像为监控相机拍摄的视频中的视频帧时，上述标识可以是包含上述高质图像的监控视频的存储位置以及上述高质图像在监控视频中出现的时间戳。
106.本公开的一个实施例中，针对图像档案中存储的各高质图像，图像档案中还可以存储有采集该高质图像的图像采集设备的位置以及该高质图像的采集时间。
107.步骤s204：针对各低质图像，从与该低质图像对应于同一时空的第一高质图像中，确定与该低质图像对应于同一人员的第二高质图像。
108.本步骤中，与该低质图像对应于同一时空的第一高质图像，可以理解为与该低质图像的采集位置临近且采集时间临近的高质图像。确定与该低质图像对应于同一时空的第一高质图像的具体方式详见后续图3所示实施例中步骤s304，这里暂不详述。
109.确定出与该低质图像对应于同一时空的第一高质图像后，可以通过以下方式，从第一高质图像中确定与该低质图像对应于同一人员的第二高质图像。
110.一种实施方式中，可以提取该低质图像的目标维度的目标特征，基于上述目标特征与第一图高质图像的图像特征之间的相似度，确定与该低质图像对应于同一人员的第二高质图像。其中，上述目标维度高于前述提取的低质图像的图像特征的特征维度。
111.由于低质图像的图像特征为失效特征，不能够准确标识人员身份，因此不能够基于低质图像与第一高质图像的图像特征之间的相似度判断与低质图像对应于同一人员的第二高质图像。
112.然而，可以针对低质图像提取目标维度的目标特征，上述目标特征的特征维度更高，更能够表征更加丰富细致的图像特点，也就是，上述目标特征有利于提高对于人员的标识能力。因此，可以将图像特征与上述目标特征之间的相似度大于第一预设阈值的第一高质图像确定为上述第二高质图像。
113.另一种实施方式中，可以基于该低质图像以及各第一高质图像的人体特征，从第一高质图像中确定与该低质图像对应于同一人员的第二高质图像。具体实施方式详见后续图3所示实施例中步骤s305，这里暂不详述。
114.步骤s205：在各第二高质图像所属的图像档案中记录第二高质图像与所对应低质图像间的关联关系。
115.具体的，可以通过以下方式记录上述关联关系。
116.一种实施方式中，可以直接在各第二高质图像所属的图像档案中记录第二高质图像的标识与第二图像所对应低质图像的标识间的映射关系。这种情况下，可以根据各第二高质图像所属的图像档案确定出上述低质图像。
117.另一种实施方式中，可以仅在各第二高质图像所属的图像档案中记录第二高质图像对应的低质图像的标识。这种情况下，也可以根据各第二高质图像所属的图像档案确定出上述低质图像。
118.上述低质图像的标识的含义可以参考前述步骤s203中高质图像的标识的含义，这里不再赘述。
119.本公开的一个实施例中，图像档案中还可以记录采集上述低质图像的图像采集设备的位置，以及上述低质图像的采集时间。
120.由以上可见，应用本公开实施例提供的图像聚档方法进行图像聚档时，首先基于图像质量，将待聚档的图像划分为了高质图像与低质图像，然后针对高质图像进行聚档，得到人员的图像档案。由于高质图像为图像质量大于预设指标的图像，因此，去除低质图像，仅基于高质图像进行聚档，不仅提高了聚档效率，而且可以避免图像质量较低的低质图像在聚档时产生干扰，能够得到较为准确的聚档结果，降低了混档和散档的概率，进而可以得到更加准确的人员图像档案。
121.另一方面，本公开实施例提供的图像聚档方法进行图像聚档时，还获得了属于同一人员的高质图像和低质图像之间的关联关系，这样将上述关联关系记录到生成的图像档案中，使得所得到的图像档案不仅存储有各人员的所有高质图像，还记录有各人员的高质图像与低质图像间的关联关系，提高了所得到的图像档案的全面性，有利于后续搜索特定人员的图像时，在不降低搜索结果准确度的情况下，能够较为全面的搜索到的上述人员的图像，提高了搜索时的召回率。
122.下面介绍前述步骤s201提取各待聚档图像中人员的图像特征的另一种实施方式。
123.本公开的一个实施例中，前述步骤s201可以通过以下方式实现。
124.提取各待聚档图像中人脸区域的以下特征中的至少一种，将提取到的特征作为各待聚档图像中人员的图像特征：
125.人脸区域的模糊程度；
126.人脸区域的光照强度；
127.人脸区域中人脸的俯仰角度；
128.人脸区域中人脸的倾斜角度；
129.人脸区域中人脸的遮挡比例；
130.人脸区域中人脸的遮挡类型。
131.可见，上述特征均为不能够准确标识人员身份的图像与能够准确标识人员身份的图像之间差别较大的特征。
132.当然，上述图像特征的种类仅为举例，本公开实施例不限定上述图像特征的具体类型与数量。
133.这样可以便于根据提取到的丰富的图像特征更加精确的判断待聚档图像属于高质图像或低质图像，并且有利于基于丰富的图像特征更加准确的进行后续的图像聚档处理。
134.在图2所示实施例的基础上，确定与低质图像对应于同一时空的高质图像时，可以根据采集低质图像的图像采集设备的位置和低质图像的采集时间确定上述高质图像。并且，可以基于低质图像和上述高质图像的人体特征，从上述高质图像中确定出与低质图像对应于同一人员的高质图像。
135.鉴于上述情况，本公开实施例提供了第二种基于人工智能的图像聚档方法。
136.参见图3，提供了第二种基于人工智能的图像聚档方法的流程示意图，上述方法包括以下步骤s301-步骤s307。
137.步骤s301：提取各待聚档图像中人员的图像特征。
138.步骤s302：基于提取到的图像特征对各待聚档图像进行分类，得到图像质量高于预设指标的高质图像和不高于预设指标的低质图像。
139.步骤s303：对高质图像进行图像聚档，得到人员的图像档案。
140.上述步骤s301-步骤s303与前述步骤s201-步骤s203相同，这里不再赘述。
141.步骤s304：针对各低质图像，根据采集该低质图像的图像采集设备的位置和该低质图像的采集时间，确定与该低质图像对应于同一时空的第一高质图像。
142.为了便于描述，以下将采集图像的图像采集设备所在的位置简称为图像的采集位置。
143.具体的，可以先通过以下方式确定与该低质图像的采集位置临近的高质图像，然后从上述高质图像中选取与该低质图像的采集时间间隔小于预设时长的图像，作为第一高质图像。上述预设时长可以是10分钟、15分钟等。
144.一种实施方式中，可以确定与该低质图像的图像采集设备距离最近的预设数量个图像采集设备，将上述图像采集设备采集的高质图像确定为与该低质图像的采集位置临近的高质图像。
145.上述预设数量可以由工作人员基于图像采集设备的分布疏密情况预先设定。例如，上述预设数量可以是5、10、15等。
146.一种情况下，上述预设数量可以为5-10间的任一值，上述预设时间为10分钟，这样有利于提高基于人体特征判断对应于同一人员的低质图像和高质图像时的准确率和召回率，且有利于实现上述准确率和召回率之间的平衡。
147.另一种实施方式中，可以在以该低质图像的图像采集设备的位置为圆心，以预设距离为半径的圆形区域内，确定位于上述区域的图像采集设备，将上述图像采集设备采集
的高质图像确定为与该低质图像的采集位置临近的高质图像。
148.上述预设距离可以由工作人员基于图像采集设备的分布疏密情况预先设定。例如，上述预设距离可以是500米、600米等。
149.一种情况下，上述预设距离可以为500m，上述预设时间采用10分钟，这样有利于提高基于人体特征判断对应于同一人员的低质图像和高质图像时的准确率和召回率，且有利于实现上述准确率和召回率之间的平衡。
150.步骤s305：提取该低质图像的第一人体特征以及各第一高质图像的第二人体特征。
151.本公开实施例不限定提取上述人体特征的具体方式，可以采用任意提取人体特征的常见算法提取上述人体特征。例如，可以采用hog(histogram of oriented gradient，方向梯度直方图)算法提取上述第一人体特征和第二人体特征。
152.步骤s306：基于第一人体特征分别与各第二人体特征之间的相似度，从第一高质图像中，确定与该低质图像对应于同一人员的第二高质图像。
153.具体的，可以确定与第一人体特征的相似度大于第二预设阈值的第二人体特征，将上述第二人体特征对应的第一高质图像确定为与该低质图像对应于同一人员的第二高质图像。
154.第一高质图像为与低质图像对应于同一时空的高质图像，第一高质图像与低质图像的采集位置与采集时间均临近，也就是，第一高质图像为与低质图像对应于同一个较小的有限时空。
155.由于人的移动速率是可以根据经验确定的，因此，在一个有限的时间段内，一个人的活动范围往往位于一个固定的空间。因此，在一个较小的有限时空内，人体特征相似度较高的两个图像，往往是对应于同一人员的图像。
156.基于上述理解，虽然低质图像对应的图像特征为失效特征，不能够准确标识人员身份，但是通过确定与低质图像对应于同一空间的第一高质图像，并基于低质图像与第一高质图像的人体特征之间的相似度，能够确定出与该低质图像对应于同一人员的第二高质图像，这样实现了利用人体特征将低质图像和高质图像进行了打通，相当于间接的确定出了低质图像中的人员。
157.步骤s307：在各第二高质图像所属的图像档案中记录第二高质图像与所对应低质图像间的关联关系。
158.上述步骤s307与前述图2所示实施例中步骤s205相同，这里不再赘述。
159.由以上可见，根据采集低质图像的图像采集设备的位置和低质图像的采集时间，可以确定与低质图像对应于同一时空的第一高质图像，由于第一高质图像的采集地点以及采集时间均与低质图像临近，因此，基于低质图像和第一高质图像的人体特征，可以准确的确定出与低质图像属于同一人员的第二高质图像，进而可以准确的确定出低质图像与第二高质图像的关联关系。
160.下面结合图4，对本公开实施例提供的图像聚档方法的一种具体流程进行整体说明。
161.参见图4，提供了一种图像聚档流程的示意图，下面对图4所示的图像聚档流程进行介绍。
162.首先，分批获取抓拍表数据。抓拍表数据即为监控相机抓拍的图像，具体的，每批次获取的图像数量可以由电子设备的数据处理能力确定，例如，上述数量可以是1万、10万、20万等。
163.然后，通过高低质图像划分模块，判断获取的图像是否为高质图像。也就是将获取的图像划分为图像质量高于预设指标的高质图像和图像质量不高于预设指标的低质图像。
164.如图4所示，经划分后，抓拍表数据中可能有80％的图像为高质图像，20％的图像为低质图像。
165.在高低质图像划分完成之后，针对高低质图像采用分而治之的策略，通过以下两个方面进行后续步骤。
166.一方面，针对高质图像，通过在线聚类系统进行图像聚类，得到人员的档案并存储到档案系统中。
167.另一方面，使用时空分区模块将划分出的高质图像和低质图像划分为高低质pair对，采用高低质映射关系判别模型基于高低质pair对中图像的人体特征确定出高低质映射关系，然后将高低质映射关系存储到位于档案系统的图像档案中。
168.其中，一个高低质pair对包括：一个低质图像以及与该低质图像对应于同一时空的一个高质图像。上述高低质判别模型用于基于人体特征判断一个高低质pair对中的图像是否为属于同一人员的图像，若为是，则该高低质pair对中的图像具有高低质映射关系；若为否，则该高低质pair对中的图像不具有高低质映射关系。上述判别模型确定高低质映射关系时除了采用高低质pair对的人体特征，还可以结合人脸特征。
169.与上述图像聚档方法相对应的，本公开实施例还提供了一种基于人工智能的图像搜索方法。
170.参见图5，图5为本公开实施例提供的一种基于人工智能的图像搜索方法的流程示意图，上述方法包括以下步骤s501-步骤s503。
171.步骤s501：响应于针对目标图像的图像搜索请求，获得目标图像中人员的目标图像特征。
172.具体的，可以通过以下方式获得上述目标图像特征。
173.一种实施方式中，上述目标图像特征可以是携带在上述图像搜索请求中、随上述图像搜索请求一同发送至服务器的，这种情况下，可以获取携带在上述图像搜索请求中的目标图像特征。
174.另一种实施方式中，可以获得目标图像，然后提取目标图像的图像特征作为上述目标图像特征。上述目标图像特征可以是目标图像的人脸特征，也可是目标图像的人体特征。
175.其中，提取上述人脸特征以及人体特征的方式可以参见前述图像聚档方法部分的实施例，这里不再赘述。
176.步骤s502：根据目标图像特征，从已有的人员的图像档案中，搜索目标图像中人员的目标图像档案。
177.上述已有的人员的图像档案为基于前述图像聚档方法所得到的图像档案。
178.具体的，可以通过以下方式确定目标图像中人员的目标图像档案。
179.一种实施方式中，针对已有的每一图像档案，可以提取该图像档案中存储的所有
高质图像的图像特征，然后分别计算提取到的图像特征与上述目标图像特征之间的相似度，并计算上述相似度的平均值。这样可以将对应的平均值最大的图像档案确定为上述目标图像档案。
180.另一种实施方式中，针对已有的每一图像档案，可以提取该图像档案中存储的目标数量个代表图像的图像特征，然后计算分别计算提取到的图像特征与上述目标图像特征之间的相似度，并计算上述相似度的平均值。将对应的平均值最大的图像档案确定为上述目标图像档案。
181.其中，上述代表图像可以为图像档案中存储的图像质量最高的目标数量个高质图像。
182.上述目标数量可以由工作人员预先设定，例如，可以为1、2、5等。
183.这样基于图像档案中的代表图像确定目标图像档案，而不是基于图像档案中的所有图像档案确定目标图像档案，有利于减少确定目标图像档案时耗费的计算量。
184.步骤s503：根据目标图像档案中包括的高质图像以及目标图像档案中记录的高质图像与低质图像之间的关联关系，生成搜索结果。
185.其中，高质图像为图像质量高于预设指标的图像，低质图像为图像质量低于预设指标的图像。
186.由于目标图像档案中记录有高质图像与低质图像之间的关联关系，因此，根据目标图像档案中存储的高质图像以及上述关联关系，可以获取到与上述高质图像对应的低质图像。
187.具体的，基于目标图像档案中包括的高质图像以及上述关联关系生成的搜索结果可以有以下几种情况。
188.第一种情况，搜索结果可以包含目标图像档案中所有的高质图像以及高质图像对应的低质图像。
189.第二种情况，搜索结果可包含目标图像档案中所有的高质图像、所有高质图像对应的低质图像以及目标图像中人员的移动轨迹。
190.其中，上述移动轨迹可以通过以下方式生成。
191.获取目标图像档案中存储的所有高质图像和高质图像对应的低质图像的采集位置以及采集时间，在地图中标注出上述所有图像的采集位置，然后以采集时间最早的图像的采集位置为起点，按照各图像的时间戳从早到晚的顺序，采用带箭头的线条连接地图上的采集位置，这样就生成了人员的移动轨迹。
192.由以上可见，应用本公开实施例提供的图像搜索方法进行图像搜索时，首先响应针对目标图像的搜索请求，确定出目标图像中人员的目标图像档案，然后由于目标图像档案中不仅存储有目标图像中人员的高质图像，还记录有高质图像与低质图像之间的关联关系，因此，基于上述高质图像以及上述关联关系生成的搜索结果中不仅可以包含目标图像中人员的高质图像，还可以包含与高质图像相关联的低质图像。由于上述低质图像与高质图像均为同属于一个人员的图像，因此，相较于图像档案中仅存储高质图像，在不降低搜索结果准确度的情况下，使得搜索结果更加全面，在搜索结果中增加了包含目标图像中人员的图像的数量，提高了搜索目标图像中人员的图像时的召回率。
193.经验证，采用本公开实施例提供的图像搜索方法进行图像搜索时，相较于在仅存
储高质图像的图像档案中进行图像搜索，在搜索准确率不降低的情况下，可以提升15％-30％召回率。
194.因此，本公开实施例所提供的方案非常适合小区安保等看重召回率的监控场景。
195.下面结合图6，对本公开实施例提供的图像搜索方法的一种具体流程进行整体说明。
196.参见图6，提供了一种图像搜索流程的示意图，下面对图6所示的图像聚档流程进行介绍。
197.首先，用户可以通过各类终端向服务器发送query(查询)图像。
198.然后，服务器接收到上述query图像，提取上述图像的人脸特征向量。
199.通过向量召回，服务器基于提取到的人脸特征向量在档案系统内存储的图像档案中确定与query图像属于同一人员的目标图像档案。
200.其中，可以基于上述图像档案中存储的图像的人脸特征向量与上述query图像的人脸特征向量之间的相似度确定目标图像档案。具体方式详见前述图3所示实施例中步骤s502中确定目标图像档案的方式，这里不再赘述。
201.最后，可以基于所确定出的目标图像档案进行后置处理，并且展示query图像对应的人员轨迹。
202.上述后置处理可以是基于目标图像档案中存储的高质图像以及高低质映射关系，确定出上述高质图像映射的低质图像，然后向用户的终端返回目标图像档案中存储的高质图像以及上述高质图像映射的低质图像。
203.其中，上述展示人员轨迹的方式参见前述图3所示实施例中步骤s503中生成人员移动轨迹的方式，这里不再赘述。
204.与上述图像聚档方法相对应的，本公开实施例还提供了一种基于人工智能的图像聚档装置。
205.参见图7，图7为本公开实施例提供的一种基于人工智能的图像聚档装置的结构示意图，上述装置包括以下模块701-705。
206.图像特征提取模块701，用于提取各待聚档图像中人员的图像特征；
207.图像分类模块702，用于基于提取到的图像特征对各待聚档图像进行分类，得到图像质量高于预设指标的高质图像和不高于所述预设指标的低质图像；
208.图像聚档模块703，用于对高质图像进行图像聚档，得到人员的图像档案；
209.对应图像确定模块704，用于针对各低质图像，从与该低质图像对应于同一时空的第一高质图像中，确定与该低质图像对应于同一人员的第二高质图像；
210.关联关系记录模块705，用于在各第二高质图像所属的图像档案中记录第二高质图像与所对应低质图像间的关联关系。
211.由以上可见，应用本公开实施例提供的图像聚档方法进行图像聚档时，首先基于图像质量，将待聚档的图像划分为了高质图像与低质图像，然后针对高质图像进行聚档，得到人员的图像档案。由于高质图像为图像质量大于预设指标的图像，因此，去除低质图像，仅基于高质图像进行聚档，不仅提高了聚档效率，而且可以避免图像质量较低的低质图像在聚档时产生干扰，能够得到较为准确的聚档结果，降低了混档和散档的概率，进而可以得到更加准确的人员图像档案。
212.另一方面，本公开实施例提供的图像聚档方法进行图像聚档时，还获得了属于同一人员的高质图像和低质图像之间的关联关系，这样将上述关联关系记录到生成的图像档案中，使得所得到的图像档案不仅存储有各人员的所有高质图像，还记录有各人员的高质图像与低质图像间的关联关系，提高了所得到的图像档案的全面性，有利于后续搜索特定人员的图像时，在不降低搜索结果准确度的情况下，能够较为全面的搜索到的上述人员的图像，提高了搜索时的召回率。
213.本公开的一个实施例中，所述对应图像确定模块704，具体用于根据采集该低质图像的图像采集设备的位置和该低质图像的采集时间，确定与该低质图像对应于同一时空的第一高质图像；提取该低质图像的第一人体特征以及各第一高质图像的第二人体特征；基于所述第一人体特征分别与各第二人体特征之间的相似度，从第一高质图像中，确定与该低质图像对应于同一人员的第二高质图像。
214.由以上可见，根据采集低质图像的图像采集设备的位置和低质图像的采集时间，可以确定与低质图像对应于同一时空的第一高质图像，由于第一高质图像的采集地点以及采集时间均与低质图像临近，因此，基于低质图像和第一高质图像的人体特征，可以准确的确定出与低质图像属于同一人员的第二高质图像，进而可以准确的确定出低质图像与第二高质图像的关联关系。
215.本公开的一个实施例中，所述图像特征提取模块701，包括：
216.人脸区域确定子模块，用于确定各待聚档图像中的人脸区域；
217.特征提取子模块，提取各待聚档图像中人脸区域的特征，作为各待聚档图像中人员的图像特征。
218.由于人脸特征对于一个人的标识能力往往较强，因此，采用人脸特征作为待聚档图像的图像特征，有利于后续基于人脸特征准确的进行图像聚档。
219.本公开的一个实施例中，所述特征提取子模块，具体用于提取各待聚档图像中人脸区域的以下特征中的至少一种，将提取到的特征作为各待聚档图像中人员的图像特征：
220.人脸区域的模糊程度；
221.人脸区域的光照强度；
222.人脸区域中人脸的俯仰角度；
223.人脸区域中人脸的倾斜角度；
224.人脸区域中人脸的遮挡比例；
225.人脸区域中人脸的遮挡类型。
226.这样可以便于根据提取到的丰富的图像特征更加精确的判断待聚档图像属于高质图像或低质图像，并且有利于基于丰富的图像特征更加准确的进行后续的图像聚档处理。
227.本公开的一个实施例中，所述图像分类模块702，具体用于将各待聚档图像中人员的图像特征输入预先训练的高低质图像分类模型，得到所述高低质图像分类模型输出的图像质量高于预设指标的高质图像和不高于所述预设指标的低质图像；
228.其中，所述高低质图像分类模型为：以样本图像中人员的图像特征为输入信息、样本图像的高低质标签为训练标注对预设的神经网络模型进行训练得到的、对图像进行分类的模型。
229.这样采用预先训练的高低质图像分类模型，减少了对待聚档图像进行分类得到上述高质图像和低质图像所需的时间，提高了获得上述高质图像和低质图像的效率。
230.与上述图像搜索方法相对应的，本公开实施例还提供了一种基于人工智能的图像搜索装置。
231.参见图8，图8为本公开实施例提供的一种基于人工智能的图像聚档装置的结构示意图，上述装置包括以下模块801-803。
232.目标图像获得模块801，用于响应于针对目标图像的图像搜索请求，获得所述目标图像中人员的目标图像特征；
233.目标图像档案搜索模块802，用于根据所述目标图像特征，从已有的人员的图像档案中，搜索所述目标图像中人员的目标图像档案；
234.搜索结果生成模块803，用于根据所述目标图像档案中包括的高质图像以及所述目标图像档案中记录的高质图像与低质图像之间的关联关系，生成搜索结果，其中，所述高质图像为图像质量高于预设指标的图像，所述低质图像为图像质量低于预设指标的图像。
235.由以上可见，应用本公开实施例提供的图像搜索方法进行图像搜索时，首先响应针对目标图像的搜索请求，确定出目标图像中人员的目标图像档案，然后由于目标图像档案中不仅存储有目标图像中人员的高质图像，还记录有高质图像与低质图像之间的关联关系，因此，基于上述高质图像以及上述关联关系生成的搜索结果中不仅可以包含目标图像中人员的高质图像，还可以包含与高质图像相关联的低质图像。由于上述低质图像与高质图像均为同属于一个人员的图像，因此，相较于图像档案中仅存储高质图像，在不降低搜索结果准确度的情况下，使得搜索结果更加全面，在搜索结果中增加了包含目标图像中人员的图像的数量，提高了搜索目标图像中人员的图像时的召回率。
236.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
237.需要说明的是，本公开实施例中的涉及人脸或人体的模型并不是针对某一特定用户的人脸或人体的模型，并不能反映出某一特定用户的个人信息。
238.另外，本实施例中所涉及的用于训练模型的全部二维人脸图像均来自于公开数据集。
239.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
240.本公开实施例提供了一种电子设备，包括：
241.至少一个处理器；以及
242.与所述至少一个处理器通信连接的存储器；其中，
243.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图像聚档或图像搜索方法。
244.本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行图像聚档或图像搜索方法。
245.本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现图像聚档或图像搜索方法。
246.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子
设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
247.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
248.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
249.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如图像聚档方法或图像搜索方法。例如，在一些实施例中，图像聚档方法或图像搜索方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的图像聚档方法或图像搜索方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像聚档方法或图像搜索方法。
250.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
251.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
252.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供
指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
253.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
254.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
255.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
256.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
257.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。