基于人工智能的图像检索方法、装置、设备及存储介质与流程

1.本公开涉及人工智能领域，具体涉及图像识别、视频分析技术，可应用在智慧城市、城市治理以及应急管理等场景下。


背景技术：

2.在智慧城市的建设中，城市道路抓拍摄像卡口日益普及，基于城市道路中各摄像头抓拍的图像，利用以图搜图等方式对待搜索图像进行检索，以利于智慧城市的建设。


技术实现要素：

3.本公开提供了一种基于人工智能的图像检索方法、装置、设备及存储介质。
4.根据本公开的一方面，提供了一种基于人工智能的图像检索方法，包括：
5.对待搜索图像的人脸特征进行提取，得到目标人脸特征；
6.基于所述目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从所述人脸特征库中召回所述待搜索图像对应的召回图像，得到一次召回图像集；所述人脸特征库中包含多个图像的人脸特征；
7.基于所述待搜索图像与所述一次召回图像集中各召回图像之间的相似度，从所述一次召回图像集中确定正样本图像；
8.基于所述正样本图像的人脸特征，与所述人脸特征库中各图像的人脸特征之间的相似度，从所述人脸特征库中召回所述正样本图像对应的召回图像，得到二次召回图像集；
9.从所述一次召回图像集和所述二次召回图像集中，确定所述待搜索图像的检索结果。
10.根据本公开的另一方面，提供了一种基于人工智能的图像检索装置，包括：
11.第一特征提取模块，用于对待搜索图像的人脸特征进行提取，得到目标人脸特征；
12.第一图像召回模块，用于基于所述目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从所述人脸特征库中召回所述待搜索图像对应的召回图像，得到一次召回图像集；所述人脸特征库中包含多个图像的人脸特征；
13.样本补充模块，用于基于所述待搜索图像与所述一次召回图像集中各召回图像之间的相似度，从所述一次召回图像集中确定正样本图像；
14.第二图像召回模块，用于基于所述正样本图像的人脸特征，与所述人脸特征库中各图像的人脸特征之间的相似度，从所述人脸特征库中召回所述正样本图像对应的召回图像，得到二次召回图像集；
15.图像检索模块，用于从所述一次召回图像集和所述二次召回图像集中，确定所述待搜索图像的检索结果。
16.根据本公开的另一方面，提供了一种电子设备，包括：
17.至少一个处理器；以及
18.与所述至少一个处理器通信连接的存储器；其中，
19.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开中任一项所述的基于人工智能的图像检索方法。
20.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本公开中任一项所述的基于人工智能的图像检索方法。
21.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开中任一项所述的基于人工智能的图像检索方法。
22.本公开实施例，提高了待搜索图像的召回率和召回准确率。
23.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
24.附图用于更好地理解本方案，不构成对本公开的限定。其中：
25.图1是根据本公开的基于人工智能的图像检索方法的一种示意图；
26.图2是根据本公开的基于人工智能的图像检索方法的另一种示意图；
27.图3是根据本公开的正样本图像确定方式的一种示意图；
28.图4是根据本公开的从召回图像中确定检索结果的实施方式示意图；
29.图5是根据本公开的确定召回图像召回分数的实施方式示意图；
30.图6是根据本公开的基于人工智能的图像检索方法的框架示意图；
31.图7是根据本公开的基于人工智能的图像检索装置的示意图；
32.图8是用来实现本公开实施例的基于人工智能的图像检索方法的电子设备的框图。
具体实施方式
33.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
34.随着科技的发展，城市道路抓拍摄像卡口日益普及，在城市安防网中累计了大量的抓拍图像信息，在智慧城市的建设中，可以基于城市道路中各摄像头抓拍的图像，利用以图搜图等方式对待搜索图像进行检索，以利于智慧城市的建设。比如，在公共安防场景中，可以通过待搜索图像或者线索图像，在抓拍图像构成的抓拍图像数据库中进行检索，以检索到与待搜索图像之间置信度较高的抓拍图像，即人脸搜图，以便于得到更多的图像线索，利于智慧城市的建设以及城市的治理等。
35.相关技术在公共安防场景中，针对抓拍图像数据库中每一抓拍图像，提取该抓拍图像的人脸特征，将各抓拍图像的人脸特征存储至人脸向量特征库中。进而在对待搜索图像进行搜索时，提取该待搜索图像的人脸特征，进一步将待搜索图像的人脸特征，与人脸向量特征库中各抓拍图像的人脸特征进行1：n的逐一比对，计算待搜索图像的人脸特征与人
脸向量特征库中各抓拍图像的人脸特征之间的相似度，将相似度大于阈值的前m张图像作为搜图结果。其中，n表示人脸向量特征库中抓拍图像的个数，m表示搜图结果图像的个数。
36.然而，实际应用中初始的待搜索图像通常是一些图像质量较低的模糊图像，使得以图搜图得到的检索结果图像准确率不高。
37.为了解决上述问题，本公开提供了一种基于人工智能的图像检索方法，对待搜索图像的人脸特征进行提取，得到目标人脸特征，基于目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回待搜索图像对应的召回图像，得到一次召回图像集，再基于待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定正样本图像，以扩充检索图像，进一步的，基于正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回正样本图像对应的召回图像，得到二次召回图像集，再从一次召回图像集和二次召回图像集中，确定待搜索图像的检索结果，在两次召回结果中确定检索结果，提高了待搜索图像的召回率和召回准确率。
38.下面对本公开实施例提供的基于人工智能的图像检索方法进行详细说明。
39.本公开实施例提供的基于人工智能的图像检索方法可以应用于电子设备，如服务器设备、智能终端设备等等。本公开实施例提供的基于人工智能的图像检索方法可应用在智慧城市、城市治理以及应急管理等场景下。
40.参见图1，图1为本公开实施例提供的一种基于人工智能的图像检索方法的流程示意图，包括以下步骤：
41.s101，对待搜索图像的人脸特征进行提取，得到目标人脸特征。
42.在进行以图搜图或人脸搜图时，利用人脸检测与识别模型对待搜索图像的人脸特征进行提取，以得到目标人脸特征。其中，人脸特征可以是人脸向量特征，人脸检测与识别模型可以是，根据训练样本图像以及训练样本图像的人脸特征进行训练得到的。
43.s102，基于目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回待搜索图像对应的召回图像，得到一次召回图像集。
44.本公开实施例中，针对城市道路中各摄像头抓拍的图像，可以利用人脸检测与识别模型对每一张图像的人脸特征进行提取，得到每一张图像的人脸特征，将各图像的人脸特征以及各图像的图像标识等存储于人脸特征库中。该人脸特征库中包含多个图像的人脸特征以及各图像的图像标识等。
45.一个例子中，人脸特征库也可以称为人脸向量库，该人脸向量库比如可以是faiss(facebook ai similarity search，facebook的ai(artificial intelligence，人工智能)团队针对大规模相似度检索问题开发的一个工具)索引库，也可以是其他自建索引库，能够实现快速检索相似向量的前设定数量个目标对象。人脸特征库与抓拍图像数据库具有对应关系，即人脸特征库中所包含的各图像的人脸特征以及各图像的图像标识，与抓拍图像数据库中的抓拍图像相对应，其中，抓拍图像数据库中的抓拍图像，即城市道路中各摄像头抓拍的图像。
46.计算待搜索图像的目标人脸特征，分别与人脸特征库中各图像的人脸特征之间的相似度，得到各特征相似度，再根据计算得到的各特征相似度，从人脸特征库中快速检索到特征相似度大于设定阈值、且排序靠前的设定数量个图像的人脸特征以及对应的图像标识，进而根据检索到的图像标识，从抓拍图像数据库中确定待搜索图像对应的召回图像，得
到一次召回图像集。其中，特征相似度可以通过计算人脸特征之间的余弦相似度或欧几里得距离等得到，设定阈值以及设定数量可以根据实际需求进行设置。
47.示例性的，设定阈值为0.6，设定数量为100，即可以从人脸特征库中快速检索到特征相似度大于0.6、且排序靠前的100个图像的人脸特征以及对应的图像标识，从抓拍图像数据库中确定待搜索图像对应的100个召回图像，得到一次召回图像集。
48.s103，基于待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定正样本图像。
49.一个例子中，计算待搜索图像分别与一次召回图像集中各召回图像之间的余弦相似度或欧几里得距离，得到待搜索图像分别与各召回图像之间的图像相似度，将图像相似度大于预设阈值，或者，图像相似度大于预设阈值、且排序靠前的p个召回图像，确定为正样本图像。其中，预设阈值以及p的值可以根据实际需求进行设置，p为大于等于1的整数。
50.为节省计算资源，还可以将上述计算得到的待搜索图像的目标人脸特征，与各召回图像的人脸特征之间的相似度，确定为待搜索图像与各召回图像之间的相似度。
51.s104，基于正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回正样本图像对应的召回图像，得到二次召回图像集。
52.正样本图像是从待搜索图像对应的召回图像中确定的，召回图像的人脸特征存储于人脸特征库中，进而可以确定正样本图像的人脸特征。
53.在正样本图像有多个时，针对每一正样本图像，基于该正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回该正样本图像对应的召回图像，得到二次召回图像集。示例性的，在正样本图像有多个时，可以将各正样本图像对应的召回图像，存放于同一二次召回图像集中，也可以分开存放于不同的二次召回图像集中。具体的，基于该正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回该正样本图像对应的召回图像，得到二次召回图像集的实现过程可以参照步骤s102的实现过程，本公开实施例不再赘述。
54.正样本图像与待搜索图像描述的人脸特征对应的是同一个人，利用正样本图像再次召回图像，扩充了待搜索图像的召回结果，提升了待搜索图像的召回率。
55.s105，从一次召回图像集和二次召回图像集中，确定待搜索图像的检索结果。
56.一个例子中，针对一次召回图像集和二次召回图像集中所包含的召回图像，可以基于各召回图像被召回时计算得到的、与召回该召回图像的图像之间的相似度进行排序，进而将排序靠前的设定数量个召回图像，确定为待搜索图像的检索结果。
57.还可以对一次召回图像集和二次召回图像集中所包含的召回图像分别设置权重，再根据各召回图像的权重，以及各召回图像被召回时计算得到的、与召回该召回图像的图像之间的相似度，计算各召回图像被召回的分数值，根据分数值对各召回图像进行排序，将排序靠前的设定数量个召回图像，确定为待搜索图像的检索结果。
58.本公开实施例中，从待搜索图像的一次召回图像集中确定正样本图像，以对待搜索图像进行样本扩充，进一步使用扩充的正样本图像再次进行图像召回，提升了待搜索图像的召回率。基于待搜索图像召回的一次召回图像集，以及正样本图像召回的二次召回图像集，在两次召回结果中确定检索结果，提高了待搜索图像的召回准确率，即在提升待搜索图像召回率的同时提升了待搜索图像的召回准确率。
59.在一种可能的实施方式中，参见图2，图2为本公开实施例提供的另一种基于人工智能的图像检索方法的流程示意图，包括以下步骤：
60.s201，对待搜索图像的人脸特征进行提取，得到目标人脸特征。
61.s202，基于目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回待搜索图像对应的召回图像，得到一次召回图像集；人脸特征库中包含多个图像的人脸特征。
62.其中，步骤s201-s202的实现过程，可以参照上述步骤s101-s102的实现过程，本公开实施例在此不再赘述。
63.s203，对待搜索图像的属性特征进行提取，得到目标属性特征。
64.预先根据训练样本图像以及训练样本图像的属性特征，训练得到属性抽取模型。再利用预先训练得到的属性抽取模型，对待搜索图像的属性特征进行提取，得到目标属性特征。
65.在一种可能的实施方式中，目标属性特征可以包括：图像中人脸是否戴口罩、人脸是否戴眼镜、人脸对应的年龄、人脸对应的性别、人脸的亮度、人脸的模糊度、人脸的俯仰角以及人脸的旋转角度中的至少一项。其中，人脸的亮度可以是图像的亮度。
66.本公开实施例中，提取待搜索图像中人脸是否戴口罩、人脸是否戴眼镜、人脸对应的年龄、人脸对应的性别、人脸的亮度、人脸的模糊度、人脸的俯仰角以及人脸的旋转角度等属性特征，以便于根据这些属性特征，更准确的判断待搜索图像的质量，以及多样化的补充待搜索图像对应的正样本图像。
67.s204，基于目标属性特征，确定待搜索图像的图像质量值。
68.根据目标属性特征，判断待搜索图像属于图像质量值较高的清晰图像，还是图像质量值较低的模糊图像。示例性的，在待搜索图像的目标属性特征中包含人脸戴口罩、人脸的模糊度较大等属性特征时，表示待搜索图像属于图像质量值较低的模糊图像，而在待搜索图像的目标属性特征中包含人脸未戴口罩、人脸的模糊度较小等属性特征时，表示待搜索图像属于图像质量值较高的清晰图像。
69.在一种可能的实施方式中，基于目标属性特征，确定待搜索图像的图像质量值，可以包括：
70.对目标属性特征进行编码，得到属性特征编码；将属性特征编码输入预先训练的人脸质量判别模型中进行人脸质量预测，得到待搜索图像的图像质量值；其中，预先训练的人脸质量判别模型是根据样本属性特征编码，以及样本属性特征编码对应的图像质量值训练得到的。
71.人脸质量判别模型能够对待搜索图像进行质量打分，得到的图像质量值越高，表示待检索图像的图像质量越高，即图像越清晰。示例性的，待搜索图像的图像质量值可以是0-1之间的值，图像质量值越接近1，表示待检索图像的图像质量越高，当然也可以设置为其他范围的值。
72.本公开实施例中，预先训练人脸质量判别模型，利用该人脸质量判别模型对待搜索图像进行质量打分，以根据待检索图像的属性特征准确的判别待检索图像的质量。
73.s205，获取待搜索图像的拍摄信息。
74.在一种可能的实施方式中，拍摄信息可以包括：图像的拍摄设备类型、拍摄时间、
图像中车牌信息中的至少一项。
75.其中，图像的拍摄设备类型比如可以是车卡摄像机、人卡摄像机等，车卡摄像机表示用于拍摄车辆的摄像机，人卡摄像机表示用于拍摄人像的摄像机。拍摄信息还可以包括：拍摄摄像头的标识、拍摄设备的经纬度等。
76.本公开实施例中，获取待搜索图像的拍摄信息，以便于多样化的补充待搜索图像对应的正样本图像。
77.其中，步骤s201-s202、步骤s203-s204和步骤s205可以同步执行也可以不同步执行。
78.s206，基于图像质量值、目标属性特征、拍摄信息、以及待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定预设数量个正样本图像。
79.一个例子中，可以分别设置图像质量值、目标属性特征、拍摄信息、以及待搜索图像与一次召回图像集中各召回图像之间的相似度对应的优先级，不同优先级设置不同的筛选条件，根据优先级的顺序，依次根据不同的筛选条件从一次召回图像集中确定预设数量个正样本图像。还可以随机的，根据图像质量值、目标属性特征、拍摄信息、以及待搜索图像与一次召回图像集中各召回图像之间的相似度对应的筛选条件，从一次召回图像集中确定预设数量个正样本图像。其中，预设数量可以根据实际需求进行设置。
80.s207，基于正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回正样本图像对应的召回图像，得到二次召回图像集。
81.s208，从一次召回图像集和二次召回图像集中，确定待搜索图像的检索结果。
82.其中，步骤s207-s208的实现过程，可以参照上述步骤s104-s105的实现过程，本公开实施例在此不再赘述。
83.本公开实施例中，根据待搜索图像的图像质量值、目标属性特征、拍摄信息、以及待搜索图像与一次召回图像集中各召回图像之间的相似度，从待搜索图像的一次召回图像集中确定正样本图像，以对待搜索图像进行正样本的多样性扩充，进一步使用扩充的正样本图像再次进行图像召回，提升了待搜索图像的召回率。基于待搜索图像召回的一次召回图像集，以及正样本图像召回的二次召回图像集，在两次召回结果中确定检索结果，提高了待搜索图像的召回准确率，即在提升待搜索图像召回率的同时提升了待搜索图像的召回准确率。
84.在一种可能的实施方式中，如图3所示，上述步骤s206基于图像质量值，目标属性特征、拍摄信息，以及待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定预设数量个正样本图像的实现过程，可以包括：
85.s301，获取待搜索图像分别与一次召回图像集中各召回图像之间的相似度，得到各图像相似度。
86.为了节省计算资源，待搜索图像分别与一次召回图像集中各召回图像之间的相似度，可以是待搜索图像的目标人脸特征，与各召回图像的人脸特征之间的相似度。
87.s302，遍历一次召回图像集中各召回图像，在待搜索图像的拍摄信息包括第一指定信息的情况下，将图像相似度大于第一阈值的、拍摄信息包括第二指定信息的召回图像加入正样本图像集中。
88.本公开实施例中，针对城市道路中各摄像头抓拍的图像，或者抓拍图像数据库中
的抓拍图像，利用人脸检测与识别模型对各抓拍图像的人脸特征进行提取，得到各抓拍图像的人脸特征；利用属性抽取模型对各抓拍图像的属性特征进行提取，得到各抓拍图像的属性特征；以及对各抓拍图像的属性特征进行编码，利用人脸质量判别模型对各抓拍图像的质量进行预测，得到各抓拍图像的图像质量值，获取各抓拍图像的拍摄信息。进一步的，将各抓拍图像的人脸特征、各抓拍图像的属性特征、各抓拍图像的图像质量值、各抓拍图像的拍摄信息以及各抓拍图像的图像标识存储至人脸特征数据库中。其中，抓拍图像数据库、人脸特征数据库以及上述人脸特征库具有对应关系、相互关联，抓拍图像的信息一一对应，共同用于存储抓拍图像以及抓拍图像对应的特征信息。进而，在召回待搜索图像对应的召回图像时，能够知晓召回图像的人脸特征、属性特征、图像质量值以及拍摄信息等。
89.第一指定信息与第二指定信息相对应，比如第一指定信息为图像的拍摄设备类型是车卡摄像机，相应的，第二指定信息为图像的拍摄设备类型是人卡摄像机。第一阈值可以根据实际需求进行设置。
90.示例性的，遍历一次召回图像集中各召回图像，在待搜索图像的拍摄信息包括车卡摄像机的情况下，将图像相似度大于第一阈值的、拍摄信息包括人卡摄像机的召回图像加入正样本图像集中，实现车卡、人卡图像互补的正样本补充。可选地，可以将召回图像的图像标识加入正样本图像集中，相应的，正样本图像集中包含正样本图像的图像标识。
91.在遍历一次召回图像集中各召回图像的过程中，如果加入正样本图像集中正样本图像数量达到预设数量，则停止遍历，否则遍历所有一次召回图像集中各召回图像，将符合条件(待搜索图像的拍摄信息包括第一指定信息，图像相似度大于第一阈值的、拍摄信息包括第二指定信息的召回图像)的各召回图像加入正样本图像集中。如果遍历所有一次召回图像集中各召回图像，加入正样本图像集中正样本图像数量仍未达到预设数量，则执行步骤s303。
92.s303，在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，将图像相似度大于第二阈值的、图像质量值与待搜索图像的图像质量值相反、且当前不是正样本图像的召回图像加入正样本图像集中。
93.示例性的，在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，在待搜索图像的图像质量值表示高质量图像的情况下，将图像相似度大于第二阈值的、图像质量值表示低质量图像、且当前不是正样本图像的召回图像加入正样本图像集中。或者，在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，在待搜索图像的图像质量值表示低质量图像的情况下，将图像相似度大于第二阈值的、图像质量值表示高质量图像、且当前不是正样本图像的召回图像加入正样本图像集中，实现高质量图像与低质量图像互补的正样本补充。第二阈值可以根据实际需求进行设置。
94.在遍历一次召回图像集中各召回图像的过程中，如果加入正样本图像集中正样本图像数量达到预设数量，则停止遍历，否则遍历所有一次召回图像集中各召回图像，将符合条件(图像相似度大于第二阈值的、图像质量值与待搜索图像的图像质量值相反、且当前不是正样本图像的召回图像)的各召回图像加入正样本图像集中。如果遍历所有一次召回图像集中各召回图像，加入正样本图像集中正样本图像数量仍未达到预设数量，则执行步骤s304。
95.s304，在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，在待搜索图像的目标属性特征包括第一指定属性的情况下，将图像相似度大于第三阈值的、属性特征包括第二指定属性、且当前不是正样本图像的召回图像加入正样本图像集中。
96.第一指定属性与第二指定属性相对应，比如第一指定属性为图像中人脸戴口罩，相应的，第二指定属性为图像中人脸未戴口罩；或者，第一指定属性为图像中人脸戴眼镜，相应的，第二指定属性为图像中人脸未戴眼镜等等，第三阈值可以根据实际需求进行设置。
97.示例性的，在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，在待搜索图像的目标属性特征包括图像中人脸戴口罩的情况下，将图像相似度大于第三阈值的、属性特征包括图像中人脸未戴口罩、且当前不是正样本图像的召回图像加入正样本图像集中，实现属性特征，比如戴口罩、未戴口罩图像互补的正样本补充。
98.在遍历一次召回图像集中各召回图像的过程中，如果加入正样本图像集中正样本图像数量达到预设数量，则停止遍历，否则遍历所有一次召回图像集中各召回图像，将符合条件(待搜索图像的目标属性特征包括第一指定属性，图像相似度大于第三阈值的、属性特征包括第二指定属性、且当前不是正样本图像的召回图像)的各召回图像加入正样本图像集中。如果遍历所有一次召回图像集中各召回图像，加入正样本图像集中正样本图像数量仍未达到预设数量，则执行步骤s305。
99.s305，在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，将图像相似度在第四阈值和第五阈值之间、且当前不是正样本图像的召回图像加入正样本图像集中，至正样本图像集中正样本图像数量达到预设数量。
100.其中，第五阈值随所确定的在前正样本图像与待搜索图像之间的相似度变化。第四阈值可以根据实际需求进行设置，第五阈值的初始值根据实际需求进行设置。
101.示例性的，预设数量为3，正样本图像集中正样本图像数量为1，第四阈值为0.65，第五阈值的初始值为0.95。遍历一次召回图像集中各召回图像，当前召回图像与待搜索图像之间的图像相似度为0.9，0.9在0.65与0.95之间，且当前召回图像不是正样本图像，则将当前召回图像加入正样本图像集中，正样本图像集中正样本图像数量变为2，第五阈值更新为所确定的在前正样本图像与待搜索图像之间的相似度0.9。继续遍历一次召回图像集中各召回图像，当前召回图像与待搜索图像之间的图像相似度为0.85，0.85在0.65与0.9之间，且当前召回图像不是正样本图像，则将当前召回图像加入正样本图像集中，正样本图像集中正样本图像数量变为3，停止遍历，实现正样本的随机补充。
102.本公开实施例中，基于待搜索图像一次召回的召回图像，依次从车卡、人卡图像互补场景、高质量图像与低质量图像互补场景、属性特征比如戴口罩、未戴口罩图像互补场景以及随机补充场景中补充正样本，实现了多样化的正样本扩充，使得基于待搜索图像与正样本图像所召回的图像更加准确。
103.在一种可能的实施方式中，如图4所示，上述步骤s105从一次召回图像集和二次召回图像集中，确定待搜索图像的检索结果的实现过程，可以包括：
104.s401，对一次召回图像集和二次召回图像集中各召回图像进行去重，得到候选图像集。
105.一次召回图像集中包含的是根据待搜索图像召回的图像，二次召回图像集中包含的是根据正样本图像召回的图像，而正样本图像是对待搜索图像进行样本扩充得到的图像，换言之，一次召回图像集和二次召回图像集中包含的图像均是基于待搜索图像进行检索得到的。因此，一次召回图像集和二次召回图像集中可能存在相同的图像，进而可以对一次召回图像集和二次召回图像集中各召回图像进行汇总、去重，以得到候选图像集，该候选图像集中包含多个候选图像。
106.s402，确定候选图像集中每一候选图像的召回次数。
107.候选图像可能被待搜索图像召回，也可能被不同的正样本图像召回，在对一次召回图像集和二次召回图像集中各召回图像进行汇总、去重时，可以统计每一候选图像的召回次数。
108.示例性的，一个候选图像只是被待搜索图像召回，该候选图像的召回次数为1次，另一个候选图像同时被待搜索图像和2个正样本图像召回，则该候选图像的召回次数为3次。
109.s403，确定候选图像集中每一候选图像的召回分数值。
110.一个例子中，针对每一候选图像，根据该候选图像被召回时，该候选图像与召回该候选图像的图像之间的图像相似度，确定该候选图像的召回分数值。示例性的，可以将候选图像被召回时，该候选图像对应的各图像相似度的均值，确定为该候选图像的召回分数值。
111.s404，基于每一候选图像的召回分数值，以及每一候选图像的召回次数，对各候选图像进行排序。
112.在一种可能的实施方式中，将每一候选图像的召回分数值作为主参数，每一候选图像的召回次数作为次参数，对各候选图像进行排序。
113.示例性的，候选图像a的召回分数值为0.98，召回次数为3，候选图像b的召回分数值为0.98，召回次数为2，候选图像c的召回分数值为0.96，召回次数为2，则各候选图像的排序结果为a，b，c。
114.本公开实施例中，将候选图像的召回分数值作为主参数，召回次数作为次参数对各候选图像进行排序，以便于快速、准确的确定待搜索图像的检索结果。
115.s405，将召回分数值大于第六阈值、排序靠前的目标数量个候选图像，确定为待搜索图像的检索结果。
116.其中，目标数量根据实际需求进行设置。
117.本公开实施例中，对一次召回图像集和二次召回图像集中各召回图像进行去重，得到包含多个候选图像的候选图像集，进而基于各候选图像的召回次数和召回分数值，确定待搜索图像的检索结果，提高了检索结果的准确度。
118.在一种可能的实施方式中，如图5所示，上述步骤s403确定候选图像集中每一候选图像的召回分数值的实现过程，可以包括：
119.s501，获取候选图像集中每一候选图像的召回相似度。
120.其中，召回相似度表示该候选图像与召回该候选图像的图像之间的相似度。
121.s502，针对每一候选图像，确定该候选图像对应的预设维度属性特征。
122.在一种可能的实施方式中，预设维度属性特征包括：候选图像与目标图像之间的空间距离、候选图像中包含的车牌信息与目标图像中包含的车牌信息是否相同、候选图像
与目标图像之间的拍摄时间差、候选图像的图像质量值以及目标图像的图像质量值。其中，目标图像为召回候选图像的图像。
123.本公开实施例中，确定各候选图像对应的预设维度属性特征，以便于准确的对各候选图像的相似度调权值进行预测。
124.s503，基于预设维度属性特征，对该候选图像的相似度调权值进行预测，得到预测调权值。
125.在一种可能的实施方式中，将预设维度属性特征输入预先训练的调权模型中，得到该候选图像的召回相似度对应的预测调权值；其中，预先训练的调权模型是根据样本预设维度属性特征，以及样本预设维度属性特征对应的调权值训练得到的。
126.示例性的，针对每一候选图像，将该候选图像对应的预设维度属性特征，输入预先训练的调权模型中进行调权值的预测，得到该候选图像的召回相似度对应的预测调权值。一个例子中，预测调权值的范围可以是-0.1-0.1。
127.本公开实施例中，利用样本预设维度属性特征，以及样本预设维度属性特征对应的调权值训练得到调权模型，再利用该调权模型对候选图像的召回相似度对应的预测调权值进行预测，以便于准确的对候选图像的召回相似度进行修正。
128.s504，利用预测调权值，对该候选图像的召回相似度进行修正，得到修正相似度。
129.示例性的，候选图像a分别被待检索图像a、正样本图像b以及正样本图像c召回，对应的召回相似度分别为0.9、0.9、0.95，该候选图像a的召回相似度对应的预测调权值分别为0.02、-0.01、0.03，则候选图像a的修正相似度分别为0.92、0.89、0.98。
130.s505，将该候选图像的修正相似度均值，确定为该候选图像的召回分数值。
131.示例性的，候选图像a的修正相似度分别为0.92、0.89、0.98，则该候选图像的召回分数值为(0.92 0.89 0.98)/3＝0.93。
132.本公开实施例中，基于候选图像对应的预设维度属性特征，对候选图像的相似度调权值进行预测，得到预测调权值，进而利用预测调权值，对候选图像的召回相似度进行修正，以提高候选图像的召回分数值的计算精度。
133.示例性的，如图6所示，针对待搜索图像(或者query(查询)人脸图片)，对该待搜索图像的人脸特征进行提取，得到目标人脸特征，以及对待搜索图像的属性特征进行提取，得到目标属性特征，基于目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回待搜索图像对应的召回图像，得到一次召回图像集(图6中向量一次召回)。
134.基于待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定正样本图像(图6中补充正样本)，基于正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回正样本图像对应的召回图像，得到二次召回图像集(图6中正样本二次召回)。
135.对一次召回图像集和二次召回图像集中各召回图像进行去重，得到候选图像集，确定候选图像集中每一候选图像的召回次数和召回分数值(图6中汇总打分)，将每一候选图像的召回分数值作为主参数，每一候选图像的召回次数作为次参数，对各候选图像进行排序，将召回分数值大于第六阈值、排序靠前的目标数量个候选图像，确定为待搜索图像的检索结果(图6中结果返回)。
136.本公开实施例还提供了一种基于人工智能的图像检索装置，参见图7，该装置包括：
137.第一特征提取模块701，用于对待搜索图像的人脸特征进行提取，得到目标人脸特征；
138.第一图像召回模块702，用于基于目标人脸特征与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回待搜索图像对应的召回图像，得到一次召回图像集；人脸特征库中包含多个图像的人脸特征；
139.样本补充模块703，用于基于待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定正样本图像；
140.第二图像召回模块704，用于基于正样本图像的人脸特征，与人脸特征库中各图像的人脸特征之间的相似度，从人脸特征库中召回正样本图像对应的召回图像，得到二次召回图像集；
141.图像检索模块705，用于从一次召回图像集和二次召回图像集中，确定待搜索图像的检索结果。
142.本公开实施例中，从待搜索图像的一次召回图像集中确定正样本图像，以对待搜索图像进行样本扩充，进一步使用扩充的正样本图像再次进行图像召回，提升了待搜索图像的召回率。基于待搜索图像召回的一次召回图像集，以及正样本图像召回的二次召回图像集，在两次召回结果中确定检索结果，提高了待搜索图像的召回准确率，即在提升待搜索图像召回率的同时提升了待搜索图像的召回准确率。
143.在一种可能的实施方式中，上述装置还包括：
144.第二特征提取模块，用于对待搜索图像的属性特征进行提取，得到目标属性特征；
145.图像质量确定模块，用于基于目标属性特征，确定待搜索图像的图像质量值；
146.图像信息获取模块，用于获取待搜索图像的拍摄信息；
147.样本补充模块，具体用于基于图像质量值、目标属性特征、拍摄信息、以及待搜索图像与一次召回图像集中各召回图像之间的相似度，从一次召回图像集中确定预设数量个正样本图像。
148.在一种可能的实施方式中，上述图像质量确定模块，具体用于：
149.对目标属性特征进行编码，得到属性特征编码；
150.将属性特征编码输入预先训练的人脸质量判别模型中进行人脸质量预测，得到待搜索图像的图像质量值；其中，预先训练的人脸质量判别模型是根据样本属性特征编码，以及样本属性特征编码对应的图像质量值训练得到的。
151.在一种可能的实施方式中，上述目标属性特征包括：图像中人脸是否戴口罩、人脸是否戴眼镜、人脸对应的年龄、人脸对应的性别、人脸的亮度、人脸的模糊度、人脸的俯仰角以及人脸的旋转角度中的至少一项；上述拍摄信息包括：图像的拍摄设备类型、拍摄时间、图像中车牌信息中的至少一项。
152.在一种可能的实施方式中，上述样本补充模块703，包括：
153.相似度获取子模块，用于获取待搜索图像分别与一次召回图像集中各召回图像之间的相似度，得到各图像相似度；
154.第一样本补充子模块，用于遍历一次召回图像集中各召回图像，在待搜索图像的
拍摄信息包括第一指定信息的情况下，将图像相似度大于第一阈值的、拍摄信息包括第二指定信息的召回图像加入正样本图像集中；
155.第二样本补充子模块，用于在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，将图像相似度大于第二阈值的、图像质量值与待搜索图像的图像质量值相反、且当前不是正样本图像的召回图像加入正样本图像集中；
156.第三样本补充子模块，用于在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，在待搜索图像的目标属性特征包括第一指定属性的情况下，将图像相似度大于第三阈值的、属性特征包括第二指定属性、且当前不是正样本图像的召回图像加入正样本图像集中；
157.第四样本补充子模块，用于在正样本图像集中正样本图像数量小于预设数量时，遍历一次召回图像集中各召回图像，将图像相似度在第四阈值和第五阈值之间、且当前不是正样本图像的召回图像加入正样本图像集中，至正样本图像集中正样本图像数量达到预设数量；其中，第五阈值随所确定的在前正样本图像与待搜索图像之间的相似度变化。
158.在一种可能的实施方式中，上述图像检索模块705，包括：
159.图像去重子模块，用于对一次召回图像集和二次召回图像集中各召回图像进行去重，得到候选图像集；
160.召回次数确定子模块，用于确定候选图像集中每一候选图像的召回次数；
161.召回分数确定子模块，用于确定候选图像集中每一候选图像的召回分数值；
162.图像排序子模块，用于基于每一候选图像的召回分数值，以及每一候选图像的召回次数，对各候选图像进行排序；
163.结果确定子模块，用于将召回分数值大于第六阈值、排序靠前的目标数量个候选图像，确定为待搜索图像的检索结果。
164.在一种可能的实施方式中，上述召回分数确定子模块，具体用于：
165.获取候选图像集中每一候选图像的召回相似度，召回相似度表示该候选图像与召回该候选图像的图像之间的相似度；
166.针对每一候选图像，确定该候选图像对应的预设维度属性特征；
167.基于预设维度属性特征，对该候选图像的相似度调权值进行预测，得到预测调权值；
168.利用预测调权值，对该候选图像的召回相似度进行修正，得到修正相似度；
169.将该候选图像的修正相似度均值，确定为该候选图像的召回分数值。
170.在一种可能的实施方式中，上述基于预设维度属性特征，对该候选图像的相似度调权值进行预测，得到预测调权值，包括：
171.将预设维度属性特征输入预先训练的调权模型中，得到该候选图像的召回相似度对应的预测调权值；其中，预先训练的调权模型是根据样本预设维度属性特征，以及样本预设维度属性特征对应的调权值训练得到的。
172.在一种可能的实施方式中，上述预设维度属性特征包括：候选图像与目标图像之间的空间距离、候选图像中包含的车牌信息与目标图像中包含的车牌信息是否相同、候选图像与目标图像之间的拍摄时间差、候选图像的图像质量值以及目标图像的图像质量值，目标图像为召回候选图像的图像。
173.在一种可能的实施方式中，上述图像排序子模块，具体用于：
174.将每一候选图像的召回分数值作为主参数，每一候选图像的召回次数作为次参数，对各候选图像进行排序。
175.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。需要说明的是，本实施例中的人头模型并不是针对某一特定用户的人头模型，并不能反映出某一特定用户的个人信息。需要说明的是，本实施例中的二维人脸图像来自于公开数据集。
176.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
177.本公开提供的一种电子设备，包括：
178.至少一个处理器；以及
179.与至少一个处理器通信连接的存储器；其中，
180.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开中任一项的方法。
181.本公开提供的一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开中任一项的方法。
182.本公开提供的一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开中任一项的方法。
183.图8示出了可以用来实施本公开的实施例的示例电子设备800的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
184.如图8所示，设备800包括计算单元801，其可以根据存储在只读存储器(rom)802中的计算机程序或者从存储单元808加载到随机访问存储器(ram)803中的计算机程序，来执行各种适当的动作和处理。在ram 803中，还可存储设备800操作所需的各种程序和数据。计算单元801、rom 802以及ram 803通过总线804彼此相连。输入/输出(i/o)接口805也连接至总线804。
185.设备800中的多个部件连接至i/o接口805，包括：输入单元806，例如键盘、鼠标等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
186.计算单元801可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元801的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元801执行上文所描述的各个方法和处理，例如上述基于人工智能的图像检索方法。例如，在一些实施例中，上述基于人工智能的图像检索方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元
808。在一些实施例中，计算机程序的部分或者全部可以经由rom 802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序加载到ram 803并由计算单元801执行时，可以执行上文描述的上述基于人工智能的图像检索方法的一个或多个步骤。备选地，在其他实施例中，计算单元801可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述基于人工智能的图像检索方法。
187.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、复杂可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
188.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
189.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
190.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
191.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
192.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
193.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
194.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。