图像检索方法、装置、电子设备、计算机可读存储介质与流程

1.本发明涉及图像处理技术领域，尤其是涉及一种图像检索方法、装置、电子设备、计算机可读存储介质。


背景技术：

2.随着各种社交网络的兴起，网络中的图像、视频数据每天都以指数级的速度增长，进而形成了强大的图像数据库。如何快速有效地从巨大的图像数据库中检索出用户需要的图片，成为图像检索领域一个重要的发展方向。
3.图像检索大致可分为两种：(1)基于文本的图像检索技术，利用文本描述的方式表示图像特征。(2)基于内容的图像检索技术(content
‑
based retrieval，简称cbr)，该技术对图像的颜色、纹理、布局等进行分析和检索。目前基于内容的图像检索技术占据主流地位，很多研究主要体现在特征提取方法上，忽略了输入图像上有效信息的占比大小，这会导致需要提取的特征较多，检索时间较长，降低检索效率。


技术实现要素：

4.本发明提供一种图像检索方法、装置、电子设备、计算机可读存储介质。其能够提高检索效率。
5.为解决上述技术问题，本发明提供的第一个技术方案为：提供一种图像检索方法，包括：利用注意力机制对待检索图像进行处理，进而得到所述待检索图像的待识别区域；对所述待识别区域进行特征提取，进而得到第一特征集合；基于所述第一特征集合与样本库中的样本图像的第二特征集合的相似度，得到所述待检索图像对应的匹配图像。
6.其中，所述利用注意力机制对待检索图像进行处理，进而得到所述待检索图像的待识别区域的步骤，包括：利用空间变换网络对所述待检索图像进行处理，进而得到所述待识别区域。
7.其中，所述利用空间变换网络对所述待检索图像进行处理，进而得到所述待识别区域的步骤，包括：利用空间变换网络对所述待检索图像进行缩放、裁剪、旋转以及非刚性变形的空间变换中至少一种处理，进而得到所述待识别区域。
8.其中，所述利用空间变换网络对所述待检索图像进行处理，进而得到所述待识别区域的步骤，包括：对所述待检索图像进行处理，进而得到空间变换对应的参数；基于所述参数将所述待检索图像的源像素坐标系映射到目标坐标系上；计算所述目标坐标系中各个坐标的像素值；基于所述像素值得到所述待识别区域
9.其中，所述对所述待检索图像进行处理，进而得到空间变换对应的参数的步骤包括：利用定位网络对所述待检索图像进行处理，进而得到空间变换对应的参数；所述定位网络由全连接层以及回归层组成。
10.其中，所述基于所述参数将所述待检索图像的源像素坐标系映射到目标坐标系上的步骤，包括：利用网络生成器基于所述参数将所述待检索图像的源像素坐标系映射到目
标坐标系上。
11.其中，所述计算所述目标坐标系中各个坐标的像素值的步骤，包括：利用采样器基于双线性插值的方式计算所述目标坐标系中各个坐标的像素值。
12.其中，所述对所述待识别区域进行特征提取，进而得到第一特征集合的步骤，包括：对所述待识别区域进行特征提取，进而得到所述待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种，所述待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种为所述第一特征集合。
13.其中，所述对所述待识别区域进行特征提取，进而得到所述待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种的步骤，包括：利用深度学习算法/卷积神经网络算法对所述待识别区域进行处理，进而得到所述深度特征；利用颜色直方图算法对所述待识别区域进行处理，进而得到所述颜色特征；利用几何不变矩算法对所述待识别区域进行处理，进而得到所述几何特征；利用尺度不变特征变换算法对所述待识别区域进行处理，进而得到所述纹理特征。
14.其中，所述基于所述第一特征集合与样本库中的样本图像的第二特征集合的相似度，得到所述待检索图像对应的匹配图像的步骤，包括：计算得到所述第一特征集合与所述第二特征集合的距离值；根据所述距离值确定所述第一特征集合与所述第二特征集合的相似度，基于所述相似度得到所述待检索图像对应的匹配图像。
15.其中，所述距离值包括：欧式距离、曼哈顿距离、切比雪夫距离、汉明距离中任意一种。
16.为解决上述技术问题，本发明提供的第二个技术方案为：提供一种图像检索装置，包括：处理模块，用于利用注意力机制对待检索图像进行处理，进而得到所述待检索图像的待识别区域；特征提取模块，用于对所述待识别区域进行特征提取，进而得到第一特征集合；检索模块，用于基于所述第一特征集合与样本库中的样本图像的第二特征集合的相似度，得到所述待检索图像对应的匹配图像。
17.为解决上述技术问题，本发明提供的第三个技术方案为：提供一种电子设备，包括：存储器和处理器，其中，存储器存储有程序指令，处理器从存储器调取程序指令以执行上述任一项的方法。
18.为解决上述技术问题，本发明提供的第四个技术方案为：提供一种计算机可读存储介质，存储有程序文件，程序文件能够被执行以实现上述任一项的方法。
19.本发明的有益效果，区别于现有技术的情况，本发明提供的图像检索方法，利用注意力机制对待检索图像进行处理，进而得到待识别区域，对待识别区域进行特征提取，进而得到第一特征集合，基于第一特征集合与样本库中的样本图像的第二特征集合的相似度，得到待检索图像对应的匹配图像。以此能够缩小待检索图像，将待检索图像中无效区域去除，避免对无效区域进行特征提取操作，减少特征提取数量，进而提高检索效率。
附图说明
20.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它
的附图，其中：
21.图1为本发明图像检索方法的一实施例的流程示意图；
22.图2为图1中步骤s11的一实施例的流程示意图；
23.图3为本发明图像检索装置的一实施例的结构示意图；
24.图4为本发明电子设备的一实施例的结构示意图；
25.图5为本发明计算机可读存储介质的一实施例的结构示意图。
具体实施方式
26.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.现有技术提出一种方案，其方案将人工智能的计算机视觉技术应用于图像检索。首先获取图像特征和文本特征，再构建相似度节点，在相似度节点之间传递相似度信息，根据权重信息对相似度节点进行过滤，最后基于更新后的相似度节点和过滤后的相似度节点确定目标相似度值，从而实现跨模态的信息检索过程。该方法需要提取图像特征和文本特征，过于繁琐，时效性较差，并且根据权重信息过滤相似度节点，会存在随机性。
28.现有技术提出一种方案，其方案基于整体特征描述和局部特征描述进行图像检索。首先将待检索图像输入至预先训练的深度学习分类网络，从待检索图像中提取出n维cnn特征，n为正整数，再基于n维cnn特征，从被检索图像集中召回第一预设数量的候选相似图像，然后从待检索图像中提取出局部特征，基于m维局部特征，从候选相似图像中召回第二预设数量的目标相似图像，最后根据相似度值筛选目标相似图像。该方法主要采用迭代的方式提取特征，后一项依赖于前一项，如果整体特征提取效果较差，那么局部特征就很差，解耦性不强，耗时较长。
29.本技术提出一种图像检索方法，其能够减少特征提取数量，实现图像快速检索，提高检索效率。具体结合以下实施例进行详细说明。
30.请参见图1，为本发明图像检索方法的第一实施例的流程示意图，具体包括：
31.步骤s11：利用注意力机制对待检索图像进行处理，进而得到所述待检索图像的待识别区域。
32.在一实施例中，利用空间变换网络作为注意力机制对待检索图像进行处理，进而得到待检索图像的待识别区域。在一实施例中，空间变换网络具有卷积神经网络算法，以此可以利用卷积神经网络的空间不变形特点，有效避免待检索图像因为相机采集不当而导致的变形问题。空间变换网络可以通过标准的反向传播进行训练，实现端到端的训练。
33.空间变换网络是一种动态机制，可以通过对待检索图像进行适当的变换，例如对待检索图像进行缩放、裁剪、旋转以及非刚性变形的空间变换中至少一种处理，进而从待检索图像中得到待识别区域。通过空间变换网络得到待识别区域，能够去除一部分复杂的背景，减少特征提取数量，简化分类人物，提高分类性能，进而提高检索效率。具体的，空间变换网络由输入层、定位网络、网格生成器、采样器和输出层组成。先将待检测的原始图像进行输入，通过定位网络得到参数，采用网格生成器根据目标坐标生成新的网格点用来存放
仿射变换后的图像，再将变换后的像素点通过采样器赋值到输出层中。
34.请结合图2，步骤s11具体包括：
35.步骤s111：对所述待检索图像进行处理，进而得到空间变换对应的参数。
36.在一具体实施例中，可以利用定位网络对待检索图像进行处理，进而得到空间变换对应的参数。
37.具体的，定位网络由全连接层以及回归层组成。利用全连接层对待检索图像i∈r
h*w*c
进行处理，输出处理结果，利用回归层对处理结果进行处理，进而得到空间变换对应的参数θ。其中，h为待检索图像的高，w为待检索图像的宽，c为通道数。
38.在一实施例中，空间变换为2d放射变换，因此参数θ是一个6维的向量。
39.步骤s112：基于所述参数将所述待检索图像的源像素坐标系映射到目标坐标系上。
40.具体的，利用网格生成器基于定位网络生成的参数将待检索图像的源像素坐标系映射到目标坐标系上。例如g＝{g
i
}，其中，g为源像素坐标系，g
i
为目标坐标系，目标坐标的集合形成待检索图像在目标坐标系上的输出图像m∈r
h
′
*w
′
*c
；其中h
′
为输出图像的高，w
′
为输出图像的宽，c为通道数。输出图像的通道数与待检索图像的通道数一致。
41.具体的，可以通过参数经计算得到将待检索图像的原坐标系映射到目标坐标系上的映射系数，具体为：
[0042][0043]
其中，是目标坐标，为待检索图像的像素坐标，为参数θ。
[0044]
具体而言，网格生成器首先创建与待检索图像尺寸相同的形状为(h,w)的归一化网格，即覆盖整个待检索图像的一组索引由于算法对这个网格应用了2d仿射变换，将定位网络生成的参数θ重塑为2x3矩阵，并执行式(1)的乘法运算，从而产生所需的参数化采样网格。
[0045]
只需要定位网络生成的6个参数就可以对待检索图像进行裁剪、平移、旋转、缩放和倾斜等变换。它允许裁剪变换是缩放的，那么映射的规则网格将位于一个面积小于范围的平行四边形中。
[0046]
本提案的目的是找到待检索图像中的待识别区域，故而使用如下变换参数：
[0047][0048]
其中，s为滑动窗口的尺寸大小，tx为滑动窗口中心位置在x轴上的移动距离，ty为滑动窗口中心位置在y轴上的移动距离。通过改变s、t
x
和t
y
来进行裁剪、平移和缩放操作。通过上述公式(1)以及公式(2)即可得到将待检索图像的原坐标系映射到目标坐标系上的映
射系数，网格生成器基于映射系数将所述待检索图像的源像素坐标系映射到目标坐标系上。
[0049]
步骤s113：计算所述目标坐标系中各个坐标的像素值。
[0050]
在将所述待检索图像的源像素坐标系映射到目标坐标系上后，利用采样器基于双线性插值的方式计算所述目标坐标系中各个坐标的像素值。并根据像素值的大小得到采样点t0(g
i
)。
[0051]
步骤s114：基于所述像素值得到所述待识别区域。
[0052]
在一实施例中，利用采样器基于所述采样点对所述待检索图像进行处理，进而得到所述待识别区域。
[0053]
为了执行待检索图像的空间变换，采样器需要取得该组采样点t
θ
(g)以及待检索图像来产生采样输出图像m。t
θ
(g)中的每个坐标定义待检索图像中的空间位置，每个坐标应用采样核来获得输出图像(待识别图像)m中的特定像素处的值。
[0054][0055]
其中，是通道c中位置像素i的输出值，所有位置像素的输出组形成待识别图像；c＝1,2
……
，c；是输入图像通道c中位置(n,m)处的值。对于输入的每个通道都采用相同的采样方式，因此每个通道都以相同的方式进行转换，以此即可得到待识别图像。
[0056]
步骤s12：对所述待识别区域进行特征提取，进而得到第一特征集合。
[0057]
具体的，可以对待识别区域进行特征提取，进而得到待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种。其中，待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种为所述第一特征集合。
[0058]
例如，利用深度学习算法/卷积神经网络算法对所述待识别区域进行处理，进而得到待识别区域的深度特征。或者，利用颜色直方图算法对所述待识别区域进行处理，进而得到待识别区域的颜色特征。或者，利用几何不变矩算法对待识别区域进行处理，进而得到待识别区域的几何特征。或者，利用尺度不变特征变换算法对所述待识别区域进行处理，进而得到待识别区域的纹理特征。
[0059]
本技术可以根据需求利用上述方法中任一种或任意组合提取得到任一种特征或任意组合特征。
[0060]
步骤s13：基于所述第一特征集合与样本库中的样本图像的第二特征集合的相似度，得到所述待检索图像对应的匹配图像。
[0061]
具体地，在提取得到待识别图像的第一特征集合后，比较第一特征集合与样本库中样本图像的第二特征集合的相似度，若相似度大于阈值，则第二特征集合对应的图像即为待检索图像对应的匹配图像。
[0062]
在一具体实施例中，在计算第一特征集合与样本库中样本图像的第二特征集合的相似度时，可以进一步计算得到第一特征集合与所述第二特征集合的距离值，根据距离值确定所述第一特征集合与所述第二特征集合的相似度，基于所述相似度得到所述待检索图像对应的匹配图像。可以理解的，与第一特征集合的距离越近的第二特征集合，与第一特征
集合的相似度越高。
[0063]
在一实施例中，可以利用欧式距离计算方法计算第一特征集合与第二特征集合的欧式距离。或者，还可以利用曼哈顿距离计算方法计算第一特征集合与第二特征集合的曼哈顿距离。或者，还可以利用切比雪夫距离计算方法计算第一特征集合与第二特征集合的切比雪夫距离。或者，还可以利用汉明距离计算方式计算第一特征集合与第二特征集合的汉明距离，具体不做限定。
[0064]
本发明提供的图像检索方法，利用空间变换网络对待检索图像进行处理，得到待识别图像，以此利用了卷积神经网络的空间不变性特点，有效避免了待检索图像因为相机采集不当导致的形变问题。利用空间变换网络得到待识别区域，减小待检索图像的尺寸，避免对无效区域进行特征提取操作，减少特征提取数量，并且能够避免相机采集图像造成的倾斜、扭转问题，能够提高检索效率。利用深度学习算法、卷积神经网络算法、颜色直方图算法、几何不变矩算法、尺度不变特征变换算法中任一种或任意组合对待识别区域进行特征提取，避免了人为提取特征的不确定性，提高特征的准确性。根据相似性度量方法计算待检索图像的第一特征集合与样本库中的第二特征集合的距离，可以数字化输出每个相似样本的得分，保证检索的正确性。
[0065]
请参见图3，为本发明图像检索装置的一实施例的结构示意图，具体包括：处理模块31、特征提取模块32以及检索模块33。
[0066]
其中，处理模块31用于利用注意力机制对待检索图像进行处理，进而得到所述待检索图像的待识别区域。
[0067]
在一实施例中，处理模块31用于利用空间变换网络作为注意力机制对待检索图像进行处理，进而得到待检索图像的待识别区域。空间变换网络具有卷积神经网络算法，以此可以利用卷积神经网络的空间不变形特点，有效避免待检索图像因为相机采集不当而导致的变形问题。空间变换网络可以通过标准的反向传播进行训练，实现端到端的训练。
[0068]
空间变换网络是一种动态机制，可以通过对待检索图像进行适当的变换，例如对待检索图像进行缩放、裁剪、旋转以及非刚性变形的空间变换中至少一种处理，进而从待检索图像中得到待识别区域。通过空间变换网络得到待识别区域，能够去除一部分复杂的背景，减少特征提取数量，简化分类人物，提高分类性能，进而提高检索效率。
[0069]
具体的，处理模块31用于对所述待检索图像进行处理，进而得到空间变换对应的参数。在一具体实施例中，可以利用定位网络对待检索图像进行处理，进而得到空间变换对应的参数。
[0070]
处理模块31还用于将所述待检索图像的像素坐标定义到规则网络上，进而得到目标坐标。具体的，处理模块31用于利用采样核根据待检索图像的像素坐标将待检索图像定义到规则网络上，进而得到每个像素坐标的目标坐标。
[0071]
处理模块31用于利用所述参数以及所述目标坐标计算得到变换参数，以及基于所述变换参数以及所述目标坐标计算得到采样点。
[0072]
处理模块31用于基于所述采样点对所述待检索图像进行处理，进而得到所述待识别区域。在一实施例中，处理模块31用于利用采样器基于所述采样点对所述待检索图像进行处理，进而得到所述待识别区域。
[0073]
特征提取模块32用于对所述待识别区域进行特征提取，进而得到第一特征集合。
[0074]
具体的，特征提取模块32可以对待识别区域进行特征提取，进而得到待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种。其中，待识别区域的颜色特征、几何特征、纹理特征、深度特征中至少一种为所述第一特征集合。
[0075]
例如，特征提取模块32利用深度学习算法/卷积神经网络算法对所述待识别区域进行处理，进而得到待识别区域的深度特征。或者，特征提取模块32利用颜色直方图算法对所述待识别区域进行处理，进而得到待识别区域的颜色特征。或者，特征提取模块32利用几何不变矩算法对待识别区域进行处理，进而得到待识别区域的几何特征。或者，特征提取模块32利用尺度不变特征变换算法对所述待识别区域进行处理，进而得到待识别区域的纹理特征。本技术可以根据需求利用上述方法中任一种或任意组合提取得到任一种特征或任意组合特征。
[0076]
检索模块33用于基于所述第一特征集合与样本库中的样本图像的第二特征集合的相似度，得到所述待检索图像对应的匹配图像。具体地，在特征提取模块32提取得到待识别图像的第一特征集合后，检索模块33比较第一特征集合与样本库中样本图像的第二特征集合的相似度，若相似度大于阈值，则第二特征集合对应的图像即为待检索图像对应的匹配图像。
[0077]
在一具体实施例中，检索模块33在计算第一特征集合与样本库中样本图像的第二特征集合的相似度时，可以进一步计算得到第一特征集合与所述第二特征集合的距离值，根据距离值确定所述第一特征集合与所述第二特征集合的相似度，基于所述相似度得到所述待检索图像对应的匹配图像。可以理解的，与第一特征集合的距离越近的第二特征集合，与第一特征集合的相似度越高。
[0078]
在一实施例中，检索模块33可以利用欧式距离计算方法计算第一特征集合与第二特征集合的欧式距离。或者，检索模块33还可以利用曼哈顿距离计算方法计算第一特征集合与第二特征集合的曼哈顿距离。或者，检索模块33还可以利用切比雪夫距离计算方法计算第一特征集合与第二特征集合的切比雪夫距离。或者，检索模块33还可以利用汉明距离计算方式计算第一特征集合与第二特征集合的汉明距离，具体不做限定。
[0079]
本发明提供的图像检索装置，利用空间变换网络对待检索图像进行处理，得到待识别图像，以此利用了卷积神经网络的空间不变性特点，有效避免了待检索图像因为相机采集不当导致的形变问题。利用空间变换网络得到待识别区域，减小待检索图像的尺寸，避免对无效区域进行特征提取操作，减少特征提取数量，并且能够避免相机采集图像造成的倾斜、扭转问题，能够提高检索效率。利用深度学习算法、卷积神经网络算法、颜色直方图算法、几何不变矩算法、尺度不变特征变换算法中任一种或任意组合对待识别区域进行特征提取，避免了人为提取特征的不确定性，提高特征的准确性。根据相似性度量方法计算待检索图像的第一特征集合与样本库中的第二特征集合的距离，可以数字化输出每个相似样本的得分，保证检索的正确性。
[0080]
请参见图4，为本发明电子设备的一实施例的结构示意图，电子设备包括相互连接的存储器202和处理器201。
[0081]
存储器202用于存储实现上述任意一项的设备的方法的程序指令。
[0082]
处理器201用于执行存储器202存储的程序指令。
[0083]
其中，处理器201还可以称为cpu(central processing unit，中央处理单元)。处
理器201可能是一种集成电路芯片，具有信号的处理能力。处理器201还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0084]
存储器202可以为内存条、tf卡等，可以存储设备的电子设备中全部信息，包括输入的原始数据、计算机程序、中间运行结果和最终运行结果都保存在存储器中。它根据控制器指定的位置存入和取出信息。有了存储器，电子设备才有记忆功能，才能保证正常工作。电子设备的存储器按用途可分为主存储器(内存)和辅助存储器(外存),也有分为外部存储器和内部存储器的分类方法。外存通常是磁性介质或光盘等，能长期保存信息。内存指主板上的存储部件，用来存放当前正在执行的数据和程序，但仅用于暂时存放程序和数据，关闭电源或断电，数据会丢失。
[0085]
在本技术所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0086]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0087]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0088]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，系统服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。
[0089]
请参阅图5，为本发明计算机可读存储介质的结构示意图。本技术的存储介质存储有能够实现上述所有方法的程序文件203，其中，该程序文件203可以以软件产品的形式存储在上述存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施方式方法的全部或部分步骤。而前述的存储装置包括：u盘、移动硬盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
[0090]
以上仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术
领域，均同理包括在本发明的专利保护范围内。