图像检索方法、装置、设备和存储介质与流程

1.本发明涉及图像检索技术领域，尤其涉及一种图像检索方法、装置、设备和存储介质。


背景技术：

2.目前，在很多场景中都会部署有摄像头，以对周围环境进行视频的采集，从而实现视频监控等目的。比如在城市中的道路两旁会设置有若干摄像头，以实现对城市的视频监控。
3.实际应用中，会面对这样一种图像检索任务：给定一个目标对象(比如某个人、某辆车)的参考图像，在多个摄像头采集的大量图像中找出与之匹配的图像。目标对象在移动过程中可能经过不同的摄像头，由于不同摄像头之间的设备差异性，同时受到目标对象的外观、姿态、拍摄视角、环境遮挡等影响，使得检索包含目标对象的图像的任务具有挑战性。
4.目前，一种完成上述图像检索任务的方法是使用流形排序(manifold ranking)方法，通过流形排序方法，可以按照与上述给定的参考图像的匹配程度由高到低的顺序，顺序输出多个摄像头采集的众多图像。
5.在流形排序方法的扩散过程(diffusion process)中，需要使用到转移概率矩阵，转移概率矩阵的定义的合理性，将直接影响到流形排序的输出结果的准确性，亦即影响图像检索结果的准确性。


技术实现要素：

6.本发明实施例提供一种图像检索方法、装置、设备和存储介质，可以提高图像检索结果的准确性。
7.第一方面，本发明实施例提供一种图像检索方法，该方法包括：
8.获取多个图像各自对应的特征向量，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集；
9.根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，所述概率映射函数用于度量任意两个特征向量对应的两个图像中都包含所述目标对象的概率；
10.基于所述第一转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
11.第二方面，本发明实施例提供一种图像检索装置，该装置包括：
12.获取模块，用于获取多个图像各自对应的特征向量，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集；
13.确定模块，用于根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，所述概率映射函数用于度量任意两个特征向量对应的两个图像中都包含所述目标对象的概率；
14.排序模块，用于基于所述第一转移概率矩阵，通过流形排序方法，顺序输出所述多
个图像。
15.第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第一方面所述的图像检索方法。
16.第四方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的图像检索方法。
17.第五方面，本发明实施例提供一种图像检索方法，该方法包括：
18.响应于调用目标服务的请求，确定所述目标服务对应的处理资源；
19.利用所述目标服务对应的处理资源执行如下步骤：
20.获取多个图像各自对应的特征向量，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集；
21.根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，所述概率映射函数用于度量任意两个特征向量对应的两个图像中都包含所述目标对象的概率；
22.基于所述第一转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
23.在上述本发明实施例提供的方案中，对于由多个摄像头采集的多个图像，分别确定每个图像对应的特征向量，另外，从多个图像中选定一个包含目标对象的参考图像，对应于流形排序方法的问询(query)点。需要对这多个图像进行流形排序方法的处理，以便按照与参考图像的匹配程度由高到低的顺序输出这多个图像。为了实现该目的，首先，计算两两特征向量之间的相似度，亦即两两图像之间的相似度，其次，根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定在流形排序方法的扩散过程中所需使用到的转移概率矩阵(称为第一转移概率矩阵)，以基于该第一转移概率矩阵，通过流形排序方法顺序输出多个图像，此时，多个图像即为按照与参考图像的匹配程度由高到低的顺序被输出。
24.在上述方案中，通过上述概率映射函数对两两特征向量之间的相似度进行概率校准，即根据两两图像中是否包含相同的目标对象来对相应两个特征向量之间的相似度进行校准，以避免不同的特征向量提取方式、不同的相似度度量方式对流形排序方法的干扰。该干扰可以体现为不同的特征向量提取方式、不同的相似度度量方式下需要相应地调整流形排序方法执行过程中所涉及到的相关参数。通过上述概率映射函数的作用，可以将不同的特征向量提取方式、不同的相似度度量方式下得到的相似度统一映射为匹配概率的度量上，映射结果稳定、可靠，从而在流形排序方法的相关参数被初始设定后，无需调整，另外，也保证了流形排序方法输出结果的准确性。
25.第六方面，本发明实施例提供一种图像检索方法，该方法包括：
26.获取多个图像各自对应的特征向量和时空点，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集，所述时空点由采集时间和摄像头标识组成；
27.根据两两特征向量之间的相似度，确定第一转移概率矩阵；
28.根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第
二转移概率矩阵；
29.根据所述第一转移概率矩阵和所述第二转移概率矩阵，确定第三转移概率矩阵；
30.基于所述第三转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
31.第七方面，本发明实施例提供一种图像检索装置，该装置包括：
32.获取模块，用于获取多个图像各自对应的特征向量和时空点，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集，所述时空点由采集时间和摄像头标识组成；
33.第一确定模块，用于根据两两特征向量之间的相似度，确定第一转移概率矩阵；
34.第二确定模块，用于根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵；
35.第三确定模块，用于根据所述第一转移概率矩阵和所述第二转移概率矩阵，确定第三转移概率矩阵；
36.排序模块，用于基于所述第三转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
37.第八方面，本发明实施例提供一种电子设备，包括：存储器、处理器；其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现如第六方面所述的图像检索方法。
38.第九方面，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第六方面所述的图像检索方法。
39.第十方面，本发明实施例提供一种图像检索方法，该方法包括：
40.响应于调用目标服务的请求，确定所述目标服务对应的处理资源；
41.利用所述目标服务对应的处理资源执行如下步骤：
42.获取多个图像各自对应的特征向量和时空点，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集，所述时空点由采集时间和摄像头标识组成；
43.根据两两特征向量之间的相似度，确定第一转移概率矩阵；
44.根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵；
45.根据所述第一转移概率矩阵和所述第二转移概率矩阵，确定第三转移概率矩阵；
46.基于所述第三转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
47.在上述本发明实施例提供的方案中，对于由多个摄像头采集的多个图像，分别确定每个图像对应的特征向量和时空点，另外，从多个图像中选定一个包含目标对象的参考图像，对应于流形排序方法的问询(query)点。需要对这多个图像进行流形排序方法的处理，以便按照与参考图像的匹配程度由高到低的顺序输出这多个图像。为了实现该目的，首先，计算两两特征向量之间的相似度，亦即两两图像之间在视觉方面的相似度，以便基于该视觉上的相似度确定第一转移概率矩阵。其次，将图像的时空信息融入到流形排序方法中，
简单来说就是基于两两图像之间的时空信息确定第二转移概率矩阵。具体地，根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定两两时空点之间的转移概率，以得到第二转移概率矩阵。最终，基于上述第一转移概率矩阵和第二转移概率矩阵，确定第三转移概率矩阵，该第三转移概率矩阵中融合了图像之间的视觉相似度和时空转移信息，在流形排序方法的扩散过程中使用该第三转移概率矩阵，以最终通过流形排序方法顺序输出多个图像。
48.在上述方案中，通过将图像之间的视觉相似度和时空转移概率融合到流形排序方法的扩散过程中，使得流形排序方法的执行过程中充分考虑了图像之间的视觉相似度以及时空转移合理性，保证了流形排序方法输出结果的准确性。
附图说明
49.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
50.图1为本发明实施例提供的一种图像检索方法的流程图；
51.图2为本发明实施例提供的一种概率映射函数获取方法的流程图；
52.图3为本发明实施例提供的一种特征向量间的相似度与匹配概率的映射关系示意图；
53.图4为本发明实施例提供的一种图像检索场景的示意图；
54.图5为本发明实施例提供的另一种图像检索方法的流程图；
55.图6为本发明实施例提供的另一种图像检索方法的流程图；
56.图7为本发明实施例提供的一种图像检索装置的结构示意图；
57.图8为与图7所示实施例提供的图像检索装置对应的电子设备的结构示意图；
58.图9为本发明实施例提供的一种图像检索装置的结构示意图；
59.图10为与图9所示实施例提供的图像检索装置对应的电子设备的结构示意图。
具体实施方式
60.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
61.在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义，“多种”一般包含至少两种。
62.取决于语境，如在此所使用的词语“如果”、“若”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
63.另外，下述各方法实施例中的步骤时序仅为一种举例，而非严格限定。
64.本发明实施例提供的图像检索方案可以由一电子设备来执行，该电子设备可以是诸如pc机、笔记本电脑等终端设备，也可以是云端的服务器。该服务器可以是包含一独立主机的物理服务器，或者也可以为虚拟服务器，或者也可以为云服务器。
65.本发明实施例提供的图像检索方案的主要目的是：从多个摄像头在一段时间内采集到的若干图像中找出与特定的目标对象相匹配的图像。其中，目标对象比如可以是某个人、某辆车。其中，摄像头采集的图像是指对摄像头在一段时间内拍得的视频进行图像帧的采样以得到的多帧图像。
66.具体地，可以采用流形排序方法来完成该图像检索任务。简单来说，假设多个摄像头采集了10000个图像，目标对象为用户x，用户x在移动过程中可能途经不同的摄像头，从而，在不同的摄像头采集的图像中都可能包含用户x的图像。基于流形排序方法，最终可以顺序输出这10000个图像，其中，这10000个图像的输出顺序是按照与用户x的匹配程度由高到低顺序排列的。这样，触发图像检索任务的相关工作人员可以基于顺序输出的这10000个图像，逐个挑选出包含用户x的多个图像，比如，可能前100个图像是包含用户x的。进一步地，相关工作人员可以基于拍摄到这100个图像的时间以及摄像头位置得知用户x在相应时间段内的移动轨迹。
67.本发明实施例中所采用的流形排序方法是对传统的流形排序方法的优化，概括来说，该优化主要体现在流形排序方法的扩散过程中所使用的转移概率矩阵的生成方式上。
68.先简单介绍下传统的流形排序方法的执行过程：
69.给定一个数据集x＝{x(1),
…
,x(i),x(i 1),
…
,x(n)},其中的一些数据点被标记为查询点(query)，其余的数据点(作为待排序数据点)则需要根据它们与查询点的关系进行排序。
70.首先，可以计算每对数据点之间的相似度，比如可以通过数据点到数据点的距离(余弦距离、欧式距离)来进行相似度的定义。
71.其次，设计转移概率矩阵：数据点到数据点的转移概率，可以通过定义一种算法来对上述数据点间的相似度进行计算以定义转移概率矩阵。该算法比如为k近邻算法、最短路径算法，等等。
72.再次，进行迭代：基于转移概率矩阵，从query点进行不断的随机游走，以通过多次迭代后最终确定各个数据点对应的排序分值。
73.最终，按照各数据点的排序分值对各数据点进行排序(由大到小排序)，以顺序输出全部数据点。
74.由上述介绍可知，传统的流形排序方法中，转移概率矩阵仅根据数据点之间的相似度来定义。如果数据点之间的相似度的定义方式不同，将导致转移概率矩阵也不同，从而最终排序结果也会不同，不能得到稳定、可靠的排序结果。另外，数据点之间的相似度的定义方式不同，也会需要更新比如计算转移概率矩阵的算法中的相关参数(比如k近邻算法中的k值，等等)，以及迭代过程中的相关参数，复杂度较高。
75.为此，提供了如图1所示实施例提供的解决方案，通过定义一种新的转移概率矩阵来避免不同相似度定义方式的干扰，以保证最终能够获得稳定、可靠的排序结果，且不需要进行流形排序方法中相关参数的更新。
76.图1为本发明实施例提供的一种图像检索方法的流程图，如图1所示，该方法包括如下步骤：
77.101、获取多个图像各自对应的特征向量，多个图像中包括参考图像，参考图像中包含目标对象，多个图像由多个摄像头采集。
78.102、根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，概率映射函数用于度量任意两个特征向量对应的两个图像中都包含目标对象的概率。
79.103、基于第一转移概率矩阵，通过流形排序方法，顺序输出多个图像。
80.本发明实施例中，目标对象可以是特定的人、车等对象，目标对象也可以是某一类对象，比如卡车这类对象。
81.在实际应用中，在城市中的道路两旁会设置有若干摄像头，以便可以通过这些摄像头对道路上的行人、车辆进行监控，从而，上述多个摄像头可以是城市中部署的全部或部分摄像头。
82.假设这样的场景：想要查询出在某时间段内某用户(即为目标对象)的移动轨迹，此时，可以采样上述多个摄像头在该时间段内各自拍得的视频，以得到上述多个图像。可以理解的是，这些图像中可能有一些图像中包含该用户，而其他图像中并未包含该用户。本实施例提供的方案的目的即为：按照图像与该用户的匹配程度来顺序输出这多个图像。
83.本实施例中，上述参考图像可以是从多个图像中选定的一个包含目标对象的图像，当然，也可以是额外提供的一个包含目标对象的图像。该参考图像的作用是：对应于流形排序方法中的查询点(query)。
84.为执行流形排序方法，首先，针对多个图像分别进行视觉上的特征向量的提取。实际应用中，可以通过预先训练好的神经网络模型(比如卷积神经网络模型)来完成该特征向量的提取，当然，也可以采用现有的其他方法完成该特征向量的提取。
85.在得到每个图像的特征向量后，可以计算两两特征向量之间的相似度。具体地，可以先计算两两特征向量之间的距离(如欧式距离、余弦距离)，之后根据两两特征向量之间的距离确定这两两特征向量之间的相似度。可以理解的是，可以预先定义好特征向量间的距离与特征向量间的相似度的映射关系，以基于该映射关系得到特征向量之间的相似度。
86.在得到两两特征向量之间的相似度后，可以根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以便确定转移概率矩阵。为与下文的其他转移概率矩阵相区别，称为第一转移概率矩阵。
87.本发明实施例中，定义了一种概率映射函数，用于度量任意两个特征向量对应的两个图像中都包含目标对象的概率。举例来说，理论上，如果某两个图像中都包含目标对象，那么这两个图像对应的特征向量之间的相似度，基于该概率映射函数的映射后，映射得到的概率值为1，以表明这两个图像中都包含目标对象。相反地，如果两个图像中至少有一个图像中不包含目标对象，则这两个图像对应的特征向量之间的相似度，基于该概率映射函数的映射后，映射得到的概率值为0。
88.从而，不管提取图像的特征向量的方式是何种方式，通过上述概率映射函数，可以将两个图像的特征向量之间的相似度统一地到匹配概率(对应于同一目标对象)的度量上，以屏蔽不同特征向量提取方式、不同相似度定义方式的差异性。从而使得基于该概率映射
函数最终得到稳定的第一转移概率矩阵，而不会受到不同特征向量提取方式、不同相似度定义方式的差异性的干扰。
89.下面先介绍下如何获得上述概率映射函数。
90.概括来说，该概率映射函数需要基于大量的样本图像来训练得到。
91.如图2所示，该概率映射函数的获取方法可以通过如下步骤实现：
92.201、获取多个样本图像各自对应的特征向量。
93.实际应用中，这多个样本图像也可以是对多个摄像头在某时间段内各自拍得的视频进行采样而得到的多个图像。针对每个样本图像进行特征向量的提取。
94.202、对多个样本图像进行标注，以标注各样本图像中是否包含目标对象。
95.实际应用中，可以选定某目标对象，从而将多个样本图像中包含该目标对象的图像标注为1，将不包含目标对象的图像标注为0。
96.203、确定任意两个样本图像的特征向量之间的相似度，以及根据所述任意两个样本图像的标注信息确定所述任意两个样本图像对应的参考概率值，参考概率值用于度量所述任意两个样本图像中都包含目标对象的概率。
97.204、以所述任意两个样本图像的特征向量之间的相似度为自变量，以所述任意两个样本图像对应的参考概率值为函数值，通过单调回归的方式拟合出概率映射函数。
98.以样本图像i和样本图像j这任意两个样本图像为例，计算这两个样本图像对应的特征向量之间的相似度。
99.另外，根据样本图像i和样本图像j各自对应的标注信息确定与样本图像i和样本图像j对应的参考概率值，亦即样本图像i和样本图像j对应于相同的这个目标对象的概率。举例来说，如果样本图像i和样本图像j的标注值都为1，即样本图像i和样本图像j中都包含目标对象，则参考概率值为1；如果样本图像i和样本图像j中至少有一个的标注值为0，即样本图像i和样本图像j并不都包含目标对象，则参考概率值为0。
100.针对任意两个样本图像都进行上述相似度和参考概率值的计算，之后，以相似度作为概率映射函数的自变量，以参考概率值作为概率映射函数的函数值，通过单调回归的方式，拟合出具有单调性的概率映射函数。
101.单调回归的方式，即求解单调函数，使得既可以拟合坐标点，又可以保持单调性。
102.为便于理解，结合图3来示例性说明上述特征向量间的相似度与匹配概率的映射关系以及概率映射函数的拟合结果。
103.如图3中所示，横坐标表示特征向量之间的相似度，纵坐标表示参考概率值，以黑色圆点表示。由于参考概率值是直接基于样本图像对应的标注信息直接确定得到的，参考概率值实际上仅有0、1两种取值，但是，在图3中，为了更加形象，将参考概率值设置为[0,1]区间的连续数值。
[0104]
在基于上述方式得到概率映射函数之后，具体地，根据该概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，可以实现为：
[0105]
根据两两特征向量之间的相似度，确定第一相似度矩阵；
[0106]
根据设定的概率映射函数，通过将第一相似度矩阵中的相似度映射为概率值，以得到第二相似度矩阵；
[0107]
根据第二相似度矩阵，确定第一转移概率矩阵。
[0108]
为便于描述，假设一共有n个图像，n大于1，那么可选地，第一相似度矩阵可以是一个n行n列的矩阵，表示为a
n*n
,其中的任一个元素a
ij
表示图像i与图像j的特征向量之间的相似度。
[0109]
假设将概率映射函数表示为φ，则上述任一元素a
ij
通过概率映射函数的映射，即作为自变量输入概率映射函数后，得到的概率值可以表示为：s
ij
＝φ(a
ij
)，可以理解的是，s
ij
是取值区间为[0,1]。这样，对第一相似度矩阵a
n*n
中的各个元素都进行上述映射处理后，可以得到第二相似度矩阵s
n*n
。
[0110]
之后，可以根据第二相似度矩阵s
n*n
来得到第一转移概率矩阵，表示为p1
n*n
。
[0111]
可选地，对于第一转移概率矩阵中的任一元素p
ij
来说，可以根据如下方式确定其取值：p
ij
＝s
ij
/∑
k
s
ik
，或者，其中，为预设的某种映射函数，∑
k
s
ik
表示第二相似度矩阵中第i行元素的加和结果。
[0112]
在得到第一转移概率矩阵后，可以继续执行传统的流形排序的扩散过程：基于第一转移概率矩阵，自参考图像对应的特征向量开始，在n个图像各自对应的特征向量中进行随机游走，以最终确定n个图像各自对应的排序分值，根据n个图像各自对应的排序分值，顺序输出n个图像。
[0113]
实际上，n个图像的排序是这样的：排在第一位的是参考图像(如果参考图像选自n个图像之中)，其他各个图像根据各自对应的排序分值，由高到低依次排序。
[0114]
在以上实施例中，第一相似度矩阵中包括了全部多个图像中任意两个图像的特征向量之间的相似度，从而，后续基于第一相似度矩阵而得到的第二相似度矩阵、第一转移概率矩阵的计算量都比较高，为了降低计算量，可选地，第一相似度矩阵还可以通过如下两种可选的方式来获得。
[0115]
在一可选实施例中，根据两两特征向量之间的相似度，确定第一相似度矩阵，还可以实现为：
[0116]
对于多个图像中的任一图像，分别确定所述任一图像的特征向量与其他图像的特征向量之间的相似度；
[0117]
对所述任一图像的特征向量与其他图像的特征向量之间的相似度进行如下处理：保留所述相似度中符合设定条件的多个相似度，将剩余的相似度设置为零；
[0118]
将经过所述处理后的相似度确定为第一相似度矩阵中的一行，以得到第一相似度矩阵。
[0119]
举例来说，假设上述设定条件为topk(不以此为限)，即选出相似度最高的前k个相似度。并假设全部的多个图像为n个图像，则针对任一图像i来说，分别计算其与剩余的其他各个图像之间的相似度，这样可以得到与图像i对应的n个相似度，其中，图像i与自己对应的相似度为：a
ii
＝1。对这n个相似度进行由大到小的排序，选出排在前k位的k个相似度，这k个相似度被保留下来，而剩下的n
‑
k个相似度被置为0。这样可以得到一个n行n列的第一相似度矩阵，其中的每一行对应于一个图像与其他各个图像的特征向量之间的相似度，每一行元素中，有k个非零元素，剩下的n
‑
k个元素取值为0。k可以根据实际需求而设定为大于1的整数。
[0120]
基于此，在计算第二相似度矩阵时，仅需针对第一相似度矩阵中的非零元素进行概率映射函数的映射处理即可，同样地，第一转移概率矩阵的计算时，也仅需针对第二相似
度矩阵中的非零元素进行计算即可。
[0121]
在另一可选实施例中，根据两两特征向量之间的相似度，确定第一相似度矩阵，还可以实现为：
[0122]
分别确定参考图像的特征向量与其他图像的特征向量之间的相似度；
[0123]
确定所述相似度中符合设定条件的多个相似度；
[0124]
确定所述多个相似度对应的图像中，两两图像对应的特征向量之间的相似度，以得到第一相似度矩阵。
[0125]
举例来说，假设上述设定条件为topk(不以此为限)。针对参考图像来说，分别计算参考图像与剩余的其他各个图像的特征向量之间的相似度，将得到相似度按照取值由高到低的顺序排序，取出排在前k位的k个相似度，并确定这k个相似度所对应的k个图像。
[0126]
之后，这k个图像之间，进行两两图像的特征向量间相似度的计算，以得到k*k维的第一相似度矩阵。由此可见，后续第二相似度矩阵、第一转移概率矩阵的计算量都得到降低。
[0127]
下面结合图4来示例性说明在一种实际应用场景中上述图像检索方法的执行过程。
[0128]
假设在图4中示意的道路场景中，部署有图中示意的三个摄像头：c1～c3。并且假设目标对象为设定的某个人，称为用户a。当前的任务是：从摄像头在某个时间段拍摄的画面中找出包含用户a的图像。
[0129]
此时，以图4中示意的三个摄像头为例，当将这三个摄像头采集的视频发送至服务端后，服务端可以通过对每个摄像头采集的视频进行图像帧的采样，假设每个摄像头对应采集到m帧图像，则三个摄像头一共采集到假3*m帧图像，m为大于1的整数。
[0130]
假设用户a在上述时间段内依次途经了这三个摄像头，并假设摄像头c1对应的m帧图像中有两帧图像是包含用户a的，分别表示为f6、f7；假设摄像头c2对应的m帧图像中有一帧图像是包含用户a的，表示为f
m 10
；假设摄像头c3对应的m帧图像中有两帧图像是包含用户a的，表示为f
2m 8
、f
2m 9
。
[0131]
如图4中所示，可以选定一个包含用户a的参考图像，假设为图像f6，针对每个图像进行特征向量的提取，基于提取出的特征向量，计算两两特征向量之间的相似度，之后，基于设定的概率映射函数对两两特征向量之间的相似度进行映射，以得到对应的概率值，由得到的全部概率值组成第一转移概率矩阵，之后，基于第一转移概率矩阵执行流形排序方法，以最终得到3*m帧图像各自对应的排序分值，按照排序分值顺序输出这3*m帧图像。比如输出结果为：f6、f7、f
m 10
、f
2m 8
、f
2m 9
···
。
[0132]
图5为本发明实施例提供的另一种图像检索方法的流程图，如图5所示，该方法可以包括如下步骤：
[0133]
501、获取多个图像各自对应的特征向量和时空点，多个图像中包括参考图像，参考图像中包含目标对象，多个图像由多个摄像头采集，时空点由采集时间和摄像头标识组成。
[0134]
502、根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，概率映射函数用于度量任意两个特征向量对应的两个图像中都包含目标对象的概率。
[0135]
503、根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定两两时空点之间的转移概率，以得到第二转移概率矩阵。
[0136]
504、根据第一转移概率矩阵和第二转移概率矩阵，确定第三转移概率矩阵。
[0137]
505、基于第三转移概率矩阵，通过流形排序方法，顺序输出多个图像。
[0138]
本实施例中，上述第一转移概率矩阵的获取过程可以参考前述其他实施例中的相关说明，在此不赘述。
[0139]
本实施例中，除了通过概率映射函数将图像的视觉上的特征向量之间的相似度统一映射到匹配概率的度量上外，还在流形排序方法的扩散过程中融合了时空信息，即图像之间的时空转移概率。
[0140]
基于此，对于从多个摄像头采集的多个图像来说，除了要提取视觉上的特征向量之外，还需要确定每个图像对应的时空点。其中，一个图像对应的时空点由时间和空间两种属性组成，时间是指图像的采集时间，空间是指拍得图像的摄像头的位置。其中，摄像头的位置可以以摄像头标识来表示，因为实际应用中，可以预先存储有摄像头标识及其部署位置之间的对应关系，或者，直接以摄像头的部署位置作为摄像头标识。
[0141]
在本实施例中，通过将时空点之间的时空转移合理性纳入流形排序方法的扩散过程中，可以提高流形排序结果的准确性。其中，将时空点之间的时空转移合理性纳入流形排序方法的扩散过程中，即为确定出反映时空点之间的转移概率的上述第二转移概率矩阵。这样，流形排序方法的扩散过程中所使用的第三转移概率矩阵中既包括图像的视觉特征，又包括图像的时空特征。
[0142]
下面介绍上述第二转移概率矩阵的确定过程。
[0143]
在第二转移概率矩阵的确定过程中，需要使用到用于度量两两摄像头之间的转移时间差的概率密度函数。先说明下该概率密度函数的获取过程。
[0144]
可选地，该概率密度函数可以通过如下方式获得：
[0145]
对于任意两个摄像头c1和c2来说，假设目标对象为行人，那么可以通过统计大量行人在不同条件(如不同时间段、不同行走速度、不同道路状况)下先后途经这两个摄像头所经过的时间，称为转移时间差，这样会得到很多个转移时间差的取值。之后，统计每种转移时间差对应的概率值，从而由每种转移时间差及其对应的概率值定义出与这两个摄像头c1和c2对应的概率密度函数。
[0146]
举例来说，假设通过对1000人的数据样本进行统计得到摄像头c1和c2对应的转移时间差包括：3分钟、5分钟、8分钟这三个取值，其中，3分钟对应的占比为500/1000,5分钟对应的占比为300/1000,3分钟对应的占比为200/1000，那么针对摄像头c1和c2，可以得到如下转移时间差和概率值的对应关系：
[0147]
[1分钟,3分钟]：0.5；(3分钟,5分钟]：0.3；(5分钟,8分钟]：0.2。
[0148]
以图像i与图像j这任意两个图像为例，假设图像i所对应的时空点中包括采集时间t
i
以及摄像头标识c1,图像j所对应的时空点中包括采集时间t
j
以及摄像头标识c2。那么基于上述已经确定出的摄像头c1和c2对应的概率密度函数，以及这两个时空点对应的采集时间和摄像头标识，通过确定出这两个时空点之间的转移概率。
[0149]
具体来说，由这两个时空点中的摄像头标识可以知道当前需要采用的哪两个摄像
头对应的概率密度函数——摄像头c1和c2对应的概率密度函数：
[0150]
[1分钟,3分钟]：0.5；(3分钟,5分钟]：0.3；(5分钟,8分钟]：0.2。
[0151]
之后，基于这两个时空点中的采集时间可以知道采集时间的差值：t
j
‑
t
i
。之后，在摄像头c1和c2对应的概率密度函数中所包含的各转移时间差中确定与该采集时间的差值相匹配的目标转移时间差。假设t
j
‑
t
i
＝6分钟，则目标转移时间差为(5分钟,8分钟]这个取值区间，从而，这两个时空点之间的转移概率取值为0.2。
[0152]
通过上述过程可以得到任意两个图像对应的时空点之间的转移概率，从而由两两图像对应的时空点之间的转移概率构成第二转移概率矩阵。
[0153]
值得说明的是，第二转移概率矩阵中第i行第j列的元素所对应的两个图像，与第一转移概率矩阵中第i行第j列的元素所对应的两个图像一样，比如，第二转移概率矩阵中第i行第j列的元素所对应的两个图像为图像i与图像j，那么，第一转移概率矩阵中第i行第j列的元素所对应的两个图像也为图像i与图像j。
[0154]
假设将第一转移概率矩阵中第i行第j列的元素表示为p1
ij
，将第二转移概率矩阵中第i行第j列的元素表示为p2
ij
，那么可选地，第三转移概率矩阵p3可以通过如下方式得到：p3
ij
＝p1
ij
p2
ij
/∑
k
p1
ik
p2
ik
。p3
ij
表示第三转移概率矩阵中第i行第j列的元素。
[0155]
在得到第三转移概率矩阵后，可以继续执行传统的流形排序的扩散过程：基于第三转移概率矩阵，自参考图像对应的特征向量开始，在多个图像各自对应的特征向量中进行随机游走，以最终确定多个图像各自对应的排序分值，根据多个图像各自对应的排序分值，顺序输出多个图像。
[0156]
值得说明的是，如前文所述，在第一转移概率矩阵的确定过程中，可以首先基于两两特征向量之间的相似度确定第一相似度矩阵，之后，通过概率映射函数对第一相似度矩阵中的各相似度进行映射，以得到第二相似度矩阵，最终，基于第二相似度矩阵得到第一转移概率矩阵。
[0157]
而在第一相似度矩阵的确定过程中，既可以所有的图像都进行两两特征向量间相似度的计算，以得到第一相似度矩阵，也可以为了降低计算量，提供了前文所述的两种第一相似度矩阵的确定方式。
[0158]
当第一相似度矩阵的确定方式采用上述两种可以降低计算量的可选方式时，相应地，第二转移概率矩阵的确定亦发生改变。
[0159]
具体来说，如前文所述，在一可选实施例中，根据两两特征向量之间的相似度，确定第一相似度矩阵，可以实现为：
[0160]
对于多个图像中的任一图像，分别确定所述任一图像的特征向量与其他图像的特征向量之间的相似度；
[0161]
对所述任一图像的特征向量与其他图像的特征向量之间的相似度进行如下处理：保留所述相似度中符合设定条件的多个相似度，将剩余的相似度设置为零；
[0162]
将经过所述处理后的相似度确定为第一相似度矩阵中的一行，以得到第一相似度矩阵。
[0163]
此时，根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定两两时空点之间的转移概率，以得到第二转移概率矩阵，可以实现为：
[0164]
对于第一相似度矩阵中被保留的任一相似度，确定所述任一相似度对应的两个图像；
[0165]
确定所述两个图像对应的两个时空点；
[0166]
确定与所述两个时空点中的摄像头标识相对应的概率密度函数；
[0167]
根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；
[0168]
将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素；所述第一相似度矩阵中取值为零的相似度在所述第二转移概率矩阵中对应的元素为零。
[0169]
为便于理解，举例来说，假设第一相似度矩阵中第i行第j列元素为a
ij
，对应于图像i与图像j；第i行第k列元素为a
ik
，图像i与图像k。其中，a
ij
不为零，a
ik
为零。那么，对于a
ij
对应的图像i与图像j来说，根据这两个图像对应的时空点中包含的摄像头标识和采集时间以及预设的相应两个摄像头对应的概率密度函数，可以得到这两个图像对应的时空点之间的转移概率，假设表示为d
ij
。而对于a
ik
对应的图像i与图像k来说，因为a
ik
为零，则不需要进行这两个图像对应的时空点之间转移概率的计算，直接将这两个时空点间的转移概率置为零即可，即d
ik
＝0。
[0170]
可以理解的是，假设多个摄像头采集的多个图像的数量为n，那么基于该实施例提供的方案得到的第一相似度矩阵是n*n维矩阵，同样的，经过上述处理过程得到的第二转移概率矩阵也是n*n维矩阵。
[0171]
如前文所述，在另一可选实施例中，根据两两特征向量之间的相似度，确定第一相似度矩阵，还可以实现为：
[0172]
分别确定参考图像的特征向量与其他图像的特征向量之间的相似度；
[0173]
确定所述相似度中符合设定条件的多个相似度；
[0174]
确定所述多个相似度对应的图像中，两两图像对应的特征向量之间的相似度，以得到第一相似度矩阵。
[0175]
基于此，根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵，可以实现为：
[0176]
对于第一相似度矩阵中的任一相似度，确定所述任一相似度对应的两个图像；
[0177]
确定所述两个图像对应的两个时空点；
[0178]
确定与所述两个时空点中的摄像头标识相对应的概率密度函数；
[0179]
根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；
[0180]
将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素。
[0181]
简单来说，就是对第一相似度矩阵中的每个相似度所对应的两个图像，都计算这两个图像之间的时空点的转移概率。
[0182]
可以理解的是，假设多个摄像头采集的多个图像的数量为n，那么基于该实施例提供的方案得到的第一相似度矩阵是k*k维矩阵，同样的，经过上述处理过程得到的第二转移概率矩阵也是k*k维矩阵。
[0183]
综上，在图5所示实施例提供的方案中，在流形排序方法的扩散过程中，既融合了
图像的时空点之间的转移概率，又将图像的视觉相似度映射为统一的匹配概率的度量上，这样既丰富了扩散过程所依据的信息维度，又屏蔽了视觉特征的提取方式差异的干扰，使得最终的排序结果更加准确、可靠。
[0184]
图6为本发明实施例提供的另一种图像检索方法的流程图，如图6所示，该方法包括如下步骤：
[0185]
601、获取多个图像各自对应的特征向量和时空点，多个图像中包括参考图像，参考图像中包含目标对象，多个图像由多个摄像头采集，时空点由采集时间和摄像头标识组成。
[0186]
602、根据两两特征向量之间的相似度，确定第一转移概率矩阵。
[0187]
603、根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵。
[0188]
604、根据第一转移概率矩阵和第二转移概率矩阵，确定第三转移概率矩阵。
[0189]
605、基于第三转移概率矩阵，通过流形排序方法，顺序输出多个图像。
[0190]
其中，在得到第三转移概率矩阵后，基于第三转移概率矩阵，自参考图像对应的特征向量开始，在多个图像各自对应的特征向量中进行随机游走，以确定多个图像各自对应的排序分值，以根据多个图像各自对应的排序分值，顺序输出多个图像。
[0191]
本实施例中，第二转移概率矩阵的获取方式可以参考前述实施例中的相关说明，在此不赘述。
[0192]
本实施例中，第一转移概率矩阵的获取，既可以仅基于两两特征向量之间的相似度，还可以如前文所述，基于两两特征向量之间的相似度以及设定的概率映射函数。其中，该概率映射函数的获取方式参考前述其他实施例中的相关说明。
[0193]
也就是说，可以仅根据两两特征向量之间的相似度，确定相似度矩阵，之后，根据相似度矩阵确定第一转移概率矩阵。
[0194]
也可以根据两两特征向量之间的相似度以及设定的概率映射函数，确定相似度矩阵，之后，根据相似度矩阵确定第一转移概率矩阵。此时，如前文所述，可以先根据两两特征向量之间的相似度，确定第一相似度矩阵，之后，根据设定的概率映射函数，通过将第一相似度矩阵中两两特征向量之间的相似度映射为概率值，以得到第二相似度矩阵。
[0195]
可以理解的是，上述“仅根据两两特征向量之间的相似度确定的相似度矩阵”实际上就是第一相似度矩阵。也就是说，既可以直接基于第一相似度矩阵来得到第一转移概率矩阵，也可以先通过概率映射函数将第一相似度矩阵映射为第二相似度矩阵之后，基于第二相似度矩阵得到第一转移概率矩阵。
[0196]
因此，当仅根据两两特征向量之间的相似度确定相似度矩阵，亦即确定第一相似度矩阵时，如前文所述，为降低后续计算的计算量，可选地，可以根据如下方式确定该第一相似度矩阵：
[0197]
对于所述多个图像中的任一图像，分别确定所述任一图像的特征向量与其他图像的特征向量之间的相似度；
[0198]
对所述任一图像的特征向量与其他图像的特征向量之间的相似度进行如下处理：保留所述相似度中符合设定条件的多个相似度，将剩余的相似度设置为零；
[0199]
将经过所述处理后的相似度确定为相似度矩阵中的一行，以得到相似度矩阵(即第一相似度矩阵)。
[0200]
从而，第二转移概率矩阵的确定过程可以实现为：
[0201]
对于所述相似度矩阵(即上述第一相似度矩阵)中被保留的任一相似度，确定所述任一相似度对应的两个图像；
[0202]
确定所述两个图像对应的两个时空点；
[0203]
确定与所述两个时空点中的摄像头标识相对应的概率密度函数；
[0204]
根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；
[0205]
将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素；所述相似度矩阵中取值为零的相似度在第二转移概率矩阵中对应的元素为零。
[0206]
另外，可选地，第一相似度矩阵还可以通过如下方式获得：
[0207]
分别确定所述参考图像的特征向量与其他图像的特征向量之间的相似度；
[0208]
确定所述相似度中符合设定条件的多个相似度；
[0209]
确定所述多个相似度对应的图像中，两两图像对应的特征向量之间的相似度，以得到相似度矩阵(即第一相似度矩阵)。
[0210]
基于此，第二转移概率矩阵可以通过如下方式获得：
[0211]
对于所述相似度矩阵(即第一相似度矩阵)中的任一相似度，确定所述任一相似度对应的两个图像；
[0212]
确定所述两个图像对应的两个时空点；
[0213]
确定与所述两个时空点中的摄像头标识相对应的概率密度函数；
[0214]
根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；
[0215]
将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素。
[0216]
上述方案的详细实施过程可以参考前述其他实施例中的相关说明，在此不赘述。
[0217]
如前文所述，本发明提供的图像检索方法可以在云端来执行，在云端可以部署有若干计算节点，每个计算节点中都具有计算、存储等处理资源。在云端，可以组织由多个计算节点来提供某种服务，当然，一个计算节点也可以提供一种或多种服务。
[0218]
针对本发明提供的方案，云端可以提供有用于完成图像检索方法的服务，称为目标服务。当用户需要使用该目标服务的时候，调用该目标服务，以向云端触发调用该目标服务的请求，在该请求中可以携带有多个摄像头各自拍得的视频。云端确定响应该请求的计算节点，利用该计算节点中的处理资源(即目标服务对应的处理资源)执行如下步骤：
[0219]
获取多个图像各自对应的特征向量和时空点，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集，所述时空点由采集时间和摄像头标识组成；
[0220]
根据两两特征向量之间的相似度，确定第一转移概率矩阵；
[0221]
根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵；
[0222]
根据所述第一转移概率矩阵和所述第二转移概率矩阵，确定第三转移概率矩阵；
[0223]
基于所述第三转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
[0224]
上述步骤的具体实现方式可以参考前述其他实施例中的相关说明，在此不赘述。
[0225]
另外，可选地，响应于调用目标服务的请求，确定所述目标服务对应的处理资源后，云端还可以利用所述目标服务对应的处理资源执行如下步骤：
[0226]
获取多个图像各自对应的特征向量，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集；
[0227]
根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，所述概率映射函数用于度量任意两个特征向量对应的两个图像中都包含所述目标对象的概率；
[0228]
基于所述第一转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
[0229]
上述步骤的具体实现方式可以参考前述其他实施例中的相关说明，在此不赘述。
[0230]
以下将详细描述本发明的一个或多个实施例的图像检索装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
[0231]
图7为本发明实施例提供的一种图像检索装置的结构示意图，如图7所示，该装置包括：获取模块11、确定模块12、排序模块13。
[0232]
获取模块11，用于获取多个图像各自对应的特征向量，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集。
[0233]
确定模块12，用于根据设定的概率映射函数对两两特征向量之间的相似度进行映射，以确定第一转移概率矩阵，所述概率映射函数用于度量任意两个特征向量对应的两个图像中都包含所述目标对象的概率。
[0234]
排序模块13，用于基于所述第一转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
[0235]
可选地于，确定模块12具体可以用于：根据两两特征向量之间的相似度，确定第一相似度矩阵；根据设定的概率映射函数，通过将所述第一相似度矩阵中的相似度映射为概率值，以得到第二相似度矩阵；根据所述第二相似度矩阵，确定第一转移概率矩阵。
[0236]
可选地，排序模块13具体可以用于：基于所述第一转移概率矩阵，自所述参考图像对应的特征向量开始，在所述多个图像各自对应的特征向量中进行随机游走，以确定所述多个图像各自对应的排序分值；根据所述多个图像各自对应的排序分值，顺序输出所述多个图像。
[0237]
可选地，所述获取模块11还用于：获取所述多个图像各自对应的时空点，所述时空点由采集时间和摄像头标识组成。所述确定模块12还用于：根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵；根据所述第一转移概率矩阵和所述第二转移概率矩阵，确定第三转移概率矩阵。所述排序模块13还用于：基于所述第三转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
[0238]
可选地，确定模块12具体可以用于：对于所述多个图像中的任一图像，分别确定所述任一图像的特征向量与其他图像的特征向量之间的相似度；对所述任一图像的特征向量与其他图像的特征向量之间的相似度进行如下处理：保留所述相似度中符合设定条件的多
个相似度，将剩余的相似度设置为零；将经过所述处理后的相似度确定为第一相似度矩阵中的一行，以得到第一相似度矩阵。
[0239]
基于此，在根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵的过程中，确定模块12具体可以用于：对于所述第一相似度矩阵中被保留的任一相似度，确定所述任一相似度对应的两个图像；确定所述两个图像对应的两个时空点；确定与所述两个时空点中的摄像头标识相对应的概率密度函数；根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素；所述第一相似度矩阵中取值为零的相似度在所述第二转移概率矩阵中对应的元素为零。
[0240]
可选地，在确定第一相似度矩阵的过程中，确定模块12具体可以用于：分别确定所述参考图像的特征向量与其他图像的特征向量之间的相似度；确定所述相似度中符合设定条件的多个相似度；确定所述多个相似度对应的图像中，两两图像对应的特征向量之间的相似度，以得到第一相似度矩阵。基于此，在根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵的过程中，确定模块12具体可以用于：对于所述第一相似度矩阵中的任一相似度，确定所述任一相似度对应的两个图像；确定所述两个图像对应的两个时空点；确定与所述两个时空点中的摄像头标识相对应的概率密度函数；根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素。
[0241]
可选地，确定模块12还可以用于：获取多个样本图像各自对应的特征向量；对所述多个样本图像进行标注，以标注各样本图像中是否包含所述目标对象；确定任意两个样本图像的特征向量之间的相似度，以及根据所述任意两个样本图像的标注信息确定所述任意两个样本图像对应的参考概率值，所述参考概率值用于度量所述任意两个样本图像中都包含所述目标对象的概率；以所述任意两个样本图像的特征向量之间的相似度为自变量，以所述任意两个样本图像对应的参考概率值为函数值，通过单调回归的方式拟合出所述概率映射函数。
[0242]
图7所示装置可以执行前述图1至图5所示实施例中提供的图像检索方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
[0243]
在一个可能的设计中，上述图7所示图像检索装置的结构可实现为一电子设备，如图8所示，该电子设备可以包括：第一处理器21、第一存储器22。其中，第一存储器22上存储有可执行代码，当所述可执行代码被第一处理器21执行时，使第一处理器21至少可以实现如前述图1至图5所示实施例中提供的图像检索方法。
[0244]
可选地，该电子设备中还可以包括第一通信接口23，用于与其他设备进行通信。
[0245]
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图5所示实施例中提供的图像检索方法。
[0246]
图9为本发明实施例提供的一种图像检索装置的结构示意图，如图9所示，该装置包括：获取模块31、第一确定模块32、第二确定模块33、第三确定模块34、排序模块35。
[0247]
获取模块31，用于获取多个图像各自对应的特征向量和时空点，所述多个图像中包括参考图像，所述参考图像中包含目标对象，所述多个图像由多个摄像头采集，所述时空点由采集时间和摄像头标识组成。
[0248]
第一确定模块32，用于根据两两特征向量之间的相似度，确定第一转移概率矩阵。
[0249]
第二确定模块33，用于根据设定的用于度量两两摄像头之间的转移时间差的概率密度函数，以及两两时空点对应的采集时间和摄像头标识，通过确定所述两两时空点之间的转移概率，以得到第二转移概率矩阵。
[0250]
第三确定模块34，用于根据所述第一转移概率矩阵和所述第二转移概率矩阵，确定第三转移概率矩阵。
[0251]
排序模块35，用于基于所述第三转移概率矩阵，通过流形排序方法，顺序输出所述多个图像。
[0252]
可选地，排序模块35具体可以用于：基于所述第三转移概率矩阵，自所述参考图像对应的特征向量开始，在所述多个图像各自对应的特征向量中进行随机游走，以确定所述多个图像各自对应的排序分值；根据所述多个图像各自对应的排序分值，顺序输出所述多个图像。
[0253]
可选地，第一确定模块32具体可用于：根据两两特征向量之间的相似度，确定相似度矩阵；根据所述相似度矩阵确定第一转移概率矩阵。
[0254]
可选地，第一确定模块32具体可用于：根据两两特征向量之间的相似度以及设定的概率映射函数，确定相似度矩阵，所述概率映射函数用于度量任意两个特征向量对应的两个图像中都包含所述目标对象的概率。
[0255]
可选地，第一确定模块32具体可用于：根据两两特征向量之间的相似度，确定第一相似度矩阵；根据设定的概率映射函数，通过将所述第一相似度矩阵中的相似度映射为概率值，以得到第二相似度矩阵，所述相似度矩阵为所述第二相似度矩阵。
[0256]
可选地，第一确定模块32还可用于：获取由所述多个摄像头采集的多个样本图像各自对应的特征向量；对所述多个样本图像进行标注，以标注各样本图像中是否包含所述目标对象；确定任意两个样本图像的特征向量之间的相似度，以及根据所述任意两个样本图像的标注信息确定所述任意两个样本图像对应的参考概率值，所述参考概率值用于度量所述任意两个样本图像中都包含所述目标对象的概率；以所述任意两个样本图像的特征向量之间的相似度为自变量，以所述任意两个样本图像对应的参考概率值为函数值，通过单调回归的方式拟合出所述概率映射函数。
[0257]
可选地，第一确定模块32具体可用于：对于所述多个图像中的任一图像，分别确定所述任一图像的特征向量与其他图像的特征向量之间的相似度；对所述任一图像的特征向量与其他图像的特征向量之间的相似度进行如下处理：保留所述相似度中符合设定条件的多个相似度，将剩余的相似度设置为零；将经过所述处理后的相似度确定为相似度矩阵中的一行，以得到相似度矩阵。
[0258]
基于此，可选地，第二确定模块33具体可以用于：对于所述相似度矩阵中被保留的任一相似度，确定所述任一相似度对应的两个图像；确定所述两个图像对应的两个时空点；确定与所述两个时空点中的摄像头标识相对应的概率密度函数；根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；将所述转移概率确定
为第二转移概率矩阵中与所述任一相似度对应的元素；所述相似度矩阵中取值为零的相似度在所述第二转移概率矩阵中对应的元素为零。
[0259]
可选地，第一确定模块32具体可用于：分别确定所述参考图像的特征向量与其他图像的特征向量之间的相似度；确定所述相似度中符合设定条件的多个相似度；确定所述多个相似度对应的图像中，两两图像对应的特征向量之间的相似度，以得到相似度矩阵。
[0260]
基于此，可选地，第二确定模块33具体可以用于：对于所述相似度矩阵中的任一相似度，确定所述任一相似度对应的两个图像；确定所述两个图像对应的两个时空点；确定与所述两个时空点中的摄像头标识相对应的概率密度函数；根据所述两个时空点中的采集时间和所述概率密度函数，确定所述两个时空点间的转移概率；将所述转移概率确定为第二转移概率矩阵中与所述任一相似度对应的元素。
[0261]
图9所示装置可以执行前述图6所示实施例中提供的图像检索方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
[0262]
在一个可能的设计中，上述图9所示图像检索装置的结构可实现为一电子设备，如图10所示，该电子设备可以包括：第二处理器41、第二存储器42。其中，第二存储器42上存储有可执行代码，当所述可执行代码被第二处理器41执行时，使第二处理器41至少可以实现如前述图6所示实施例中提供的图像检索方法。
[0263]
可选地，该电子设备中还可以包括第二通信接口43，用于与其他设备进行通信。
[0264]
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图6所示实施例中提供的图像检索方法。
[0265]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0266]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0267]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。