一种图像搜索方法、装置、设备以及存储介质与流程

1.本公开涉及人工智能技术领域，具体为计算机视觉和深度学习技术领域，可应用于ocr光学字符识别等场景下。


背景技术：

2.当今互联网络能够为用户提供的信息越来越多，因此，用户可以通过互联网络搜索自己所需的信息。例如，搜索自己所需的商品信息、搜索自己所需的工作资料信息等。
3.通常情况下，用户在客户端输入搜索文本，客户端向服务端发送上述搜索文本，然后服务端基于上述搜索文本进行搜索，得到搜索结果，并向客户端反馈上述搜索结果。
4.然而，一些情况下，上述搜索文本较为复杂，导致用户在客户端输入搜索文本困难；另一种情况下，用户难以确定搜索文本，例如，用户想要搜索一件不知道名称的商品时，不知道以什么文本对该商品进行描述。
5.但是针对上述情况，用户能够获得相关的图像。所以，亟需一种图像搜索方案，以实现基于图像进行图像搜索。


技术实现要素：

6.本公开提供了一种图像搜索方法、装置、设备以及存储介质。
7.根据本公开的一方面，提供了一种图像搜索方法，包括：
8.提取源图像的图像特征；
9.根据所述源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为所述源图像的相似图像的第一置信度；
10.提取所述源图像的文本特征；
11.根据所述源图像的文本特征和所述搜索库中入库图像的文本特征，获得入库图像为所述源图像的相似图像的第二置信度；
12.根据入库图像对应的第一置信度和第二置信度，从入库图像中确定所述源图像的搜索结果。
13.根据本公开的另一方面，提供了一种图像搜索装置，包括：
14.图像特征提取模块，用于提取源图像的图像特征；
15.第一置信度获得模块，用于根据所述源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为所述源图像的相似图像的第一置信度；
16.文本特征提取模块，用于提取所述源图像的文本特征；
17.第二置信度获得模块，用于根据所述源图像的文本特征和所述搜索库中入库图像的文本特征，获得入库图像为所述源图像的相似图像的第二置信度；
18.搜索结果确定模块，用于根据入库图像对应的第一置信度和第二置信度，从入库图像中确定所述源图像的搜索结果。
19.根据本公开的另一方面，提供了一种电子设备，包括：
20.至少一个处理器；以及
21.与所述至少一个处理器通信连接的存储器；其中，
22.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述图像搜索方法。
23.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述图像搜索方法。
24.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现上述图像搜索方法。
25.由以上可见，应用本公开实施例提供的方案进行图像搜索时，由于第一置信度是根据源图像的图像特征和搜索库中入库图像的图像特征获得的，第二置信度是根据源图像的文本特征和搜索库中入库图像的文本特征获得的，所以，第一置信度是从图像特征角度反映源图像与入库图像之间的相似度，第二置信度是从文本特征角度反映源图像与入库图像之间的相似度。鉴于此，在从入库图像中确定源图像的搜索结果时，综合考虑了图像特征和文本特征，入库图像对应的第一置信度和第二置信度能够能够全面、准确地反映源图像与入库图像之间的相似度，从而使得源图像的搜索结果的准确度高。
26.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
27.附图用于更好地理解本方案，不构成对本公开的限定。其中：
28.图1为本公开实施例提供的第一种图像搜索方法的流程示意图；
29.图2为本公开实施例提供的第二种图像搜索方法的流程示意图；
30.图3为本公开实施例提供的第三种图像搜索方法的流程示意图；
31.图4为本公开实施例提供的第四种图像搜索方法的流程示意图；
32.图5为本公开实施例提供的一种图像搜索方法的流程框图；
33.图6为本公开实施例提供的第一种图像搜索装置的结构示意图；
34.图7为本公开实施例提供的第二种图像搜索装置的结构示意图；
35.图8为本公开实施例提供的第三种图像搜索装置的结构示意图；
36.图9为本公开实施例提供的第四种图像搜索装置的结构示意图
37.图10是用来实现本公开实施例的图像搜索方法的电子设备的框图；
具体实施方式
38.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
39.下面先对本公开实施例的应用场景和执行主体进行说明。
40.本公开实施例的应用场景为：存在信息搜索需求的情况下，基于图像进行搜索的场景。
41.例如，上述应用场景可以是：购物软件基于图像为用户搜索商品图像的场景，这种情况下，用户通过购物软件向服务器上传所要搜索的商品的图像1，服务器搜索与图像1相似的商品图像，并向购物软件反馈搜索到的商品图像，购物软件在用户界面上显示服务器反馈的商品图像。
42.上述应用场景还可以是：搜索网站基于图像为用户查询资料的场景，这种情况下，用户通过客户端展示的搜索网站的用户界面向服务器上传所要查询的内容的图像2，服务器搜索与图像2具有相似内容的图像，并向上述客户端反馈搜索到的图像，客户端在搜索网站的用户界面显示服务器反馈的图像。
43.本公开实施例的执行主体为能够提供搜索服务的服务器，也可以是具有搜索功能的终端设备。
44.下面再对本公开实施例提供的图像搜索方法进行具体说明。
45.参见图1，图1为本公开实施例提供的第一种图像搜索方法的流程示意图，上述方法包括以下步骤s101-s105。
46.步骤s101：提取源图像的图像特征。
47.上述源图像为图像搜索过程中作为搜索基准的图像。这样在源图像作为搜索基准的情况下，图像搜索过程中所搜索到的图像是与上述源图像相关的图像。
48.上述源图像可以是用户上传的图像，还可以是用户正在浏览的一张图像，还可以是用户在预设时间段内浏览过的一张图像等。
49.上述源图像在不同的应用场景下具有不同的内容。例如，上述源图像的内容可以是商品，可以是景点等。
50.本公开的一个实施例中，源图像可以是针对药品的图像。由于药品的名称一般比较复杂，不便于用户输入，这样当源图像是针对药品的图像时，免去了用户输入药品名称，降低了用户针对药品进行搜索的难度。
51.源图像的图像特征可以包括图像的颜色特征、纹理特征、形状特征或者空间特征等。
52.具体的，可以通过以下两种不同的方式提取源图像的图像特征。
53.一种实施方式中，可以采用预设的图像特征提取算法，提取源图像的图像特征。上述图像特征提取算法可以为sift(scale-invariant feature transform，尺度不变特征变换)、hog(histogram of oriented gradient，方向梯度直方图)等。
54.另一种实施方式中，可以将源图像输入预先训练的图像特征提取模型，获得图像特征提取模型输出的预设维度的图像特征。
55.上述预设维度可以为512维度、256维度等。
56.图像特征提取模型为用于提取图像的图像特征的模型。上述图像特征提取模型可以是vit(vision transformer，视觉转换器)、vgg(visual geometry group，超分辨率测试序列)等。
57.可以采用有监督训练方式获得上述图像特征提取模型。具体的，获得样本图像和样本图像的标注图像特征，将样本图像输入第一初始神经网络模型，得到第一初始神经网络模型对样本图像进行图像特征提取得到的图像特征，根据得到的图像特征与标注图像特征，计算第一初始神经网络模型进行特征提取的损失值，根据损失值调整第一初始神经网
络模型的模型参数。反复执行上述过程，在满足训练结束条件后，完成模型训练，将训练后的模型作为图像特征提取模型。
58.上述第一初始神经网络模型可以是cnn(convolutional neural networks，卷积神经网络)、rnn(recurrent neural network，循环神经网络)等。
59.由于图像特征提取模型是预先训练得到的，在采用大量的样本图像对模型进行训练过程中，图像特征提取模型能够学习到图像特征的规律。这样将源图像输入至图像特征提取模型后，图像特征提取模型能够较为准确的提取出源图像的图像特征。
60.步骤s102：根据源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为源图像的相似图像的第一置信度。
61.上述搜索库可以是与源图像的图像类型相对应的图像库。例如：当源图像为针对药品的图像时，搜索库为药品图像库，这样搜索库中存储的入库图像均为针对药品的图像；当源图像为针对服饰的图像时，搜索库为服饰图像库，这样搜索库中存储的入库图像均为针对服饰的图像。
62.入库图像是指搜索库中已存储的图像。
63.入库图像的图像特征可以是预先对入库图像进行图像特征提取得到的图像特征。上述图像特征可以存储在搜索库中。
64.入库图像的图像特征提取方式可以与前述源图像的图像特征提取方式相同，这里不再赘述。
65.由于第一置信度是根据源图像的图像特征和入库图像的图像特征获得的置信度，所以，第一置信度从图像特征的角度反映了入库图像与源图像之间的相似度。这样可以认为，第一置信度越高，入库图像与源图像之间的相似度越大，入库图像是源图像的相似图像的可能性越高；第一置信度越低，入库图像与源图像之间的相似度越小，入库图像是源图像的相似图像的可能性越低。
66.具体的，上述步骤s102中，可以针对搜索库中每一入库图像获得第一置信度，还可以仅针对搜索库中的部分入库图像获得第一置信度。
67.具体的，可以通过不同的方式获得第一置信度。
68.一种实施方式中，计算源图像的图像特征与入库图像的图像特征之间的距离，将上述距离转换为入库图像与源图像之间的相似度，作为第一置信度。
69.上述距离可以为欧式距离、余弦距离等。
70.在对距离进行转换时，可以根据预设的距离与相似度之间的对应关系，将上述距离转换为入库图像与源图像之间的相似度。
71.获得第一置信度的其他实施方式可以参见图3对应的实施例，在此不进行详述。
72.步骤s103：提取源图像的文本特征。
73.具体的，本步骤中可以先对源图像进行文本识别，得到识别结果；然后提取识别结果的文本特征，作为源图像的文本特征。
74.在进行文本识别时，可以对源图像进行文本检测，确定源图像中的文本区域，识别文本区域中的文本，得到识别结果。
75.当源图像中多个区域存在文本时，可以检测得到多个文本区域。在这种情况下，可以从多个文本区域中选择部分文本区域，将所选择的文本区域作为后续进行文本识别的区
域；还可以检测到的所有文本区域均作为后续进行文本识别的区域。
76.在从多个文本区域中选择部分文本区域时，可以基于文本区域的尺寸，从多个文本区域中选择。例如：可以选择最大尺寸的文本区域、选择尺寸大于预设尺寸阈值的文本区域等。
77.在识别文本区域中的文本时，可以采用文本识别算法识别文本区域中的文本，上述文本识别算法可以为ocr(optical character recognition，光学字符识别)算法、seq2seq(sequence to sequence，序列对序列)算法等。
78.下面对提取识别结果的文本特征的方式进行说明。
79.一种实施方式中，采用预设的文本特征提取算法，提取识别结果的文本特征，作为源图像的文本特征。
80.上述文本特征提取算法可以为：tf-idf(term frequency
–
inverse document frequency，词频-逆向文件频率)、word2vec(word to vector，词向量)等。
81.另一种实施方式中，将识别结果输入预先训练的文本特征提取模型，获得文本特征提取模型输出的文本特征，作为源图像的文本特征。
82.上述文本特征提取模型为用于提取文本的文本特征的模型。上述文本特征提取模型可以是sim-bert(similar-bidirectional encoder representation from transformers,相似双向编码器)、n-gram(汉语语言模型)等。
83.可以采用有监督训练方式获得上述文本特征提取模型。具体的，获得样本文本和样本文本的标注文本特征，将样本文本输入第二初始神经网络模型，得到第二初始神经网络模型对样本文本进行文本特征提取得到的文本特征，根据得到的文本特征与标注文本特征，计算第二初始神经网络模型进行特征提取的损失值，根据损失值调整第二初始神经网络模型的模型参数。反复执行上述过程，在满足训练结束条件后，完成模型训练，将训练后的模型作为文本特征提取模型。
84.上述第二初始神经网络模型可以是cnn、rnn等。
85.由于文本特征提取模型是预先训练得到的，在采用大量的样本文本对模型进行训练过程中，文本特征提取模型能够学习到文本特征的规律。这样将识别结果输入至文本特征提取模型后，文本特征提取模型能够较为准确的提取出识别结果的文本特征，从而获得较准确的源图像的文本特征。
86.步骤s104：根据源图像的文本特征和搜索库中入库图像的文本特征，获得入库图像为源图像的相似图像的第二置信度。
87.入库图像的文本特征可以是预先对入库图像进行文本特征提取得到的，上述入库图像的文本特征可以存储在搜索库中。
88.入库图像的图像特征提取方式可以与前述源图像的文本特征提取方式相同，这里不再赘述。
89.由于第二置信度是根据源图像的文本特征和入库图像的文本特征获得的置信度，所以，第二置信度从文本特征角度反映了入库图像与源图像之间的相似度。这样可以认为，第二置信度越高，入库图像与源图像之间的相似度越大，入库图像是源图像的相似图像的可能性越高；第二置信度越低，入库图像与源图像之间的相似度越小，入库图像是源图像的相似图像的可能性越低。
90.具体的，上述步骤s104中，可以针对搜索库中每一入库图像获得第二置信度，还可以仅针对搜索库中部分入库图像获得第二置信度。
91.具体的，可以通过不同的方式获得第二置信度。
92.一种实施方式中，计算源图像的文本特征与入库图像的文本特征之间的距离，将上述距离转换为入库图像与源图像之间的相似度，作为第二置信度。
93.上述距离可以为欧式距离、余弦距离等。
94.在对距离进行转换时，可以根据预设的距离与相似度之间的对应关系，将上述距离转换为入库图像与源图像之间的相似度。
95.获得第二置信度的其他实施方式可以参见图3对应的实施例，在此不进行详述。
96.步骤s105：根据入库图像对应的第一置信度和第二置信度，从入库图像中确定源图像的搜索结果。
97.具体的，可以按照以下两种方式确定源图像的搜索结果。
98.一种实施方式中，可以基于入库图像对应的第一置信度和第二置信度，分别从入库图像中确定源图像的相似图像，作为源图像的搜索结果。
99.在这种实施方式中，可以按照以下两种方式确定源图像的搜索结果。
100.第一种，基于第一置信度,从入库图像中确定源图像的第一相似图像，并基于第二置信度，从入库图像中确定源图像的第二相似图像，根据第一相似图像和第二相似图像，确定源图像的搜索结果。
101.在选择第一相似图像时，可以将所对应的第一置信度大于第一置信度阈值的入库图像，确定为第一相似图像，上述第一置信度阈值可以为90％、95％等；也可以将第一预设数量个第一置信度最高的入库图像，确定为第一相似图像，上述第一预设数量数量可以为10、20等。
102.在选择第二相似图像时，可以将所对应的第二置信度大于第二置信度阈值的入库图像，确定为第二相似图像，上述第二置信度阈值可以为85％、95％等；也可以将第二预设数量个第二置信度最高的入库图像，确定为第二相似图像，上述第二预设数量数量可以为5、10等。
103.在确定源图像的搜索结果时，一种实现方式中，可以将第一相似图像和第二相似图像确定为源图像的搜索结果；
104.另一种实现方式中，可以确定第一相似图像和第二相似图像中发生重复的重复图像，若重复图像的数量大于第三预设数量，将重复图像确定为源图像的搜索结果；若重复图像的数量小于或等于第三预设数量，根据第一相似图像和第二相似图像中未发生重复的未重复图像对应的第一置信度和第二置信度，从未重复图像中确定图像，作为源图像的搜索结果，并将重复图像确定为源图像的搜索结果。上述第三预设数量数量可以为20、30等。
105.在从未重复图像中确定源图像的搜索结果时，可以选择未重复图像所对应的第一置信度大于第三置信度阈值、且所对应的第二置信度大于第四置信度阈值的图像，作为源图像的搜索结果；也可以计算未重复图像对应的第一置信度和第二置信度的平均值，确定目标数量个平均值最高的未重复图像，上述目标数量为第三预设数量与重复图像的数量之间的差值。
106.第二种，基于第一置信度,从入库图像中确定源图像的第三相似图像，根据第三相
似图像对应的第二置信度，从第三相似图像中确定源图像的第四相似图像，作为源图像的搜索结果。
107.在选择第三相似图像时，可以将所对应的第一置信度大于第五置信度阈值的入库图像，确定为第三相似图像，上述第五置信度阈值可以为90％、95％等；也可以将第四预设数量个第一置信度最高的入库图像，确定为第三相似图像，上述第四预设数量数量可以为10、20等。
108.在选择第四相似图像时，可以将第三相似图像所对应的第二置信度大于第六置信度阈值的入库图像，确定为第四相似图像，上述第六置信度阈值可以为85％、95％等；也可以将第五预设数量个第二置信度最高的入库图像，确定为第四相似图像，上述第五预设数量数量可以为5、10等。
109.另一种实施方式中，可以结合入库图像对应的第一置信度和第二置信度，从入库图像中确定源图像的相似图像，作为源图像的搜索结果。上述实施方式的具体实现过程可以参见后续图3所示实施例，在此不进行详述。
110.由以上可见，应用本实施例提供的方案进行图像搜索时，由于第一置信度是根据源图像的图像特征和搜索库中入库图像的图像特征获得的，第二置信度是根据源图像的文本特征和搜索库中入库图像的文本特征获得的，所以，第一置信度是从图像特征角度反映源图像与入库图像之间的相似度，第二置信度是从文本特征角度反映源图像与入库图像之间的相似度。鉴于此，在从入库图像中确定源图像的搜索结果时，综合考虑了图像特征和文本特征，入库图像对应的第一置信度和第二置信度能够全面、准确地反映源图像与入库图像之间的相似度，从而使得源图像的搜索结果的准确度高。
111.另外，在源图像不清楚、有遮挡、反光等情况下，源图像的图像特征会发生较大的变化，这样会导致提取得到的图像特征并不能准确表征源图像，但是上述情况对文本影响较小，这样提取得到的文本特征依然能够较为准确地表征源图像。本实施例提供的图像搜索方案中，不仅考虑了图像特征，还引入了文本特征，因此，即使源图像发生了上述所列举的情况，依然能够较为准确地确定源图像的搜索结果。
112.再者，若搜索库中存储的是各种产品的图像，源图像所针对的产品外观发生改变，而外观变化后的图像未及时更新至搜索库，这种情况下，如果源图像为外观变化后的图像，虽然外观变化后的图像和外观变化前的图像之间图像特征不同，但是由于本公开实施例提供的方案中，不仅考虑了图像特征，还考虑了文本特征，所以，依然能够准确的获得图像搜索结果。
113.参见图2，图2为本公开实施例提供的第二种图像搜索方法的流程示意图，与上述图1所示实施例相比，在从入库图像中确定源图像的搜索结果之前，还包括以下步骤s206-s207。
114.具体的，本实施例中图像搜索方法包括以下步骤s206-s207。
115.步骤s201：提取源图像的图像特征。
116.步骤s202：根据源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为源图像的相似图像的第一置信度。
117.步骤s203：提取源图像的文本特征。
118.步骤s204：根据源图像的文本特征和搜索库中入库图像的文本特征，获得入库图
像为源图像的相似图像的第二置信度。
119.上述步骤s201-s204分别与前述步骤s101-s104相同，这里不再详述。
120.步骤s206：根据入库图像对应的第一置信度，从入库图像中确定源图像的相似图像，作为第一候选图像。
121.上述第一候选图像是根据入库图像对应的第一置信度确定的，由于第一置信度从图像特征的角度反映了入库图像与源图像之间的相似度，所以，第一候选图像是从图像特征的角度作为源图像的相似图像。
122.具体的，可以通过以下两种方式确定第一候选图像。
123.一种实施方式中，确定所对应的第一置信度大于第七置信度阈值的入库图像，作为第一候选图像。上述第七置信度阈值可以为90％，95％等。
124.另一种实施方式中，确定第二预设数量个第一置信度最大的入库图像，作为第一候选图像。上述第二预设数量可以是10、20等。
125.步骤s207：根据入库图像对应的第二置信度，从入库图像中确定源图像的相似图像，作为第二候选图像。
126.上述第二候选图像是根据入库图像对应的第二置信度确定的，由于第二置信度从文本特征的角度反映了入库图像与源图像之间的相似度，所以，第二候选图像是从文本特征的角度作为源图像的相似图像。
127.具体的，可以通过以下两种方式确定第一候选图像。
128.一种实施方式中，确定所对应的第二置信度大于第八置信度阈值的入库图像，作为第二候选图像。上述第八置信度阈值可以为80％，90％等。
129.另一种实施方式中，确定第三预设数量个第二置信度最大的入库图像，作为第二候选图像。上述第三预设数量可以是5、10等。
130.在上述基础上，图1所示的步骤s105，可以按照以下步骤s205实现。
131.步骤s205：根据各目标候选图像对应的第一置信度和第二置信度，从各目标候选图像中确定源图像的搜索结果。
132.上述目标候选图像为：由第一候选图像和第二候选图像确定的图像。
133.本公开的一个实施例中，上述目标候选图像可以是通过以下两种方式确定得到的图像。
134.第一种方式，确定第一候选图像与第二候选图像之间重复的候选图像，作为目标候选图像。
135.具体的，可以确定第一候选图像的图像标识与第二候选图像的图像标识之间发生重复的图像标识，将所确定的图像标识对应的候选图像作为目标候选图像。
136.例如：第一候选图像的图像标识包括：p1、p2、p3、
……
、p9，第二候选图像的图像标识包括：p3、p4、p5、
……
、p11，上述图像标识之间发生重复的图像标识为：p3、p4、
……
、p9，所以目标候选图像包括：标识为p3、p4、
……
、p9的候选图像。
137.由于第一候选图像与第二候选图像之间重复的候选图像不仅从图像特征的角度与源图像相似，还从文本特征的角度与源图像相似，所以，将上述重复的候选图像确定为目标候选图像，能够提高目标候选图像的准确度。
138.第二种方式，将第一候选图像与第二候选图像确定为目标候选图像。
139.当第一候选图像与第二候选图像之间不存在重复的图像时，目标候选图像包括第一候选图像和第二候选图像。
140.当第一候选图像与第二候选图像之间存在重复的图像时，目标候选图像包括上述重复的图像、第一候选图像中除重复的图像之外的图像、第二候选图像中除重复的图像之外的图像。
141.由于将第一候选图像与第二候选图像均确定为目标候选图像，这样可以使得所确定的目标候选图像较为全面和丰富。
142.由以上可见，应用本实施例提供的方案进行图像搜索时，基于各目标候选图像对应的第一置信度和第二置信度，从各目标候选图像中确定源图像的搜索结果。由于目标候选图像是根据第一候选图像和第二候选图像确定得到的图像，第一候选图像是根据第一置信度从入库图像中确定的图像，第二候选图像是根据第二置信度从入库图像中确定的图像，也就是第一候选图像是基于第一置信度从入库图像中初步筛选得到的图像，第二候选图像是基于第二置信度从入库图像中初步筛选得到的图像，所以，目标候选图像是从初步筛选得到的图像中进一步筛选得到的图像，目标候选图像的数量比较少，从数量较少的目标候选图像中确定源图像的搜索结果，提高了确定搜索结果的效率。
143.由前述图1所示实施例的步骤s105可知，确定源图像的搜索结果的具体方式可以为结合入库图像对应的第一置信度和第二置信度，从入库图像中确定源图像的相似图像，作为源图像的搜索结果。具体实现上述确定源图像的搜索结果的实现方式可以参见下述图3所示实施例中描述的确定源图像的搜索结果的方式。
144.参见图3，图3为本公开实施例提供的第三种图像搜索方法的流程示意图。在上述图1所示实施例的基础上，确定源图像的搜索结果，可以包括以下步骤s305-s307。
145.具体的，图3所示实施例中图像搜索方法包括以下步骤s301-s307。
146.步骤s301：提取源图像的图像特征。
147.步骤s302：根据源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为源图像的相似图像的第一置信度。
148.步骤s303：提取源图像的文本特征。
149.步骤s304：根据源图像的文本特征和搜索库中入库图像的文本特征，获得入库图像为源图像的相似图像的第二置信度。
150.上述步骤s301-s304分别与前述步骤s101-s104相同，这里不再详述。
151.步骤s305：根据同一入库图像对应的第一置信度和第二置信度，计算入库图像为源图像的相似图像的第三置信度。
152.本步骤中，可以针对搜索库中的每一入库图像均获得第三置信度，还可以仅针对搜索库中的部分入库图像获得第三置信度。
153.具体的，可以通过以下两种不同的方式获得一张入库图像的第三置信度。
154.一种实施方式中，计算入库图像对应的第一置信度和第二置信度的平均值，作为该入库图像对应的第三置信度。
155.例如：入库图像对应的第一置信度为90％，第二置信度为80％，计算第一置信度和第二置信度的平均值为：(90％ 80％)/2＝85％，这样该入库图像对应的第三置信度为85％。
156.另一种实施方式中，可以预先为第一置信度和第二置信度分别设置有权重，按照第一置信度对应的第一权重和第二置信度对应的第二权重，对入库图像对应的第一置信度和第二置信度进行加权求和，将计算得到的值确定为该入库图像对应的第三置信度。
157.例如：假设，第一置信度对应的第一权重为0.6，第二置信度对应的第二权重为0.4，一张入库图像对应的第一置信度为85％，对应的第二置信度为80％，这样按照第一权重和第二权重，对第一置信度和第二置信度进行加权求和得到：0.6*85％ 0.4*80％＝83％，此时，该图库图像对应的第三置信度为83％。
158.步骤s306：根据入库图像对应的第三置信度，对入库图像进行排序。
159.具体的，可以按照以下两种不同方式对入库图像进行排序。
160.一种实施方式中，可以按照第三置信度由高到低的顺序对入库图像进行排序，在排序后的图像中越靠前的图像的第三置信度越高；在排序后的图像中越靠后的图像的第三置信度越低。
161.另一种实施方式中，可以按照第三置信度由低到高的顺序对入库图像进行排序，在排序后的图像中越靠前的图像的第三置信度越低；在排序后的图像中越靠后的图像的第三置信度越高。
162.步骤s307：基于排序结果，从入库图像中确定源图像的搜索结果。
163.在按照第三置信度由高到低的顺序对入库图像进行排序的情况下，可以从排序后的入库图像中确定前预设数量个入库图像，作为源图像的搜索结果。
164.在按照第三置信度由低到高的顺序对入库图像进行排序的情况下，可以从排序后的入库图像中确定后预设数量个入库图像，作为源图像的搜索结果。
165.由于第三置信度是根据入库图像对应的第一置信度和第二置信度计算得到的置信度，所以，第三置信度综合考虑了图像特征和文本特征，从这两个角度反映了源图像与入库图像之间的相似度，这样第三置信度能够更加全面、准确地反映源图像与入库图像之间的相似度。从而基于入库图像对应的第三置信度，能够准确地对入库图像进行排序，进而使得所确定的搜索结果的准确度高。
166.区别于前述图1所示实施例中描述的获得第一置信度、第二置信度的方式，还可以通过下述图4所示实施例中描述的方式获得第一置信度和第二置信度。
167.参见图4，图4为本公开实施例提供的第四种图像搜索方法的流程示意图，在上述图1或图2所示实施例的基础上，在获得第一置信度、第二置信度之前，还可以包括以下步骤s406-s407。
168.具体的，本实施例中图像搜索方法包括以下步骤s401-s407。
169.步骤s401：提取源图像的图像特征。
170.上述步骤s401与前述步骤s101相同，这里不再详述。
171.步骤s406：确定源图像的目标图像类型。
172.图像类型与划分维度有关，例如：当划分维度为图像内容维度时，图像的图像类型可以包括：食品类型、药品类型、人类型、动物类型、车辆类型等；当划分维度为图像来源维度时，图像的图像类型可以包括拍摄类型、合成类型、绘制类型等。
173.具体的，可以通过以下两种方式确定目标图像类型。
174.一种实施方式中，获得用户上传的源图像的目标图像类型。
175.另一种实施方式中，对源图像进行图像分析，确定源图像的图像类型。
176.例如，可以采用预设的图像分类算法对源图像进行图像分类，得到源图像的分类结果，作为目标图像类型。上述图像分类算法包括：knn(k-nearestneighbor，最邻近点结算法)、svm(support vector machines，支持向量机)等。
177.步骤s407：确定搜索库中目标图像类型的目标入库图像。
178.搜索库中各入库图像的图像类型可以是预先获得的，这样可以基于所获得的图像类型预先对各入库图像的图像类型进行标记。在此基础上，一种实施方式中，确定目标图像类型的目标标识，从入库图像中确定图像类型的标识为目标标识的入库图像，作为目标入库图像。
179.上述目标标识可以是根据预设的图像类型与标识之间的对应关系，确定目标图像类型对应的标识，作为目标标识。
180.在上述基础上，图1所示的步骤s102，可以按照以下步骤s402实现。
181.步骤s402：根据源图像的图像特征和目标入库图像的图像特征，获得目标入库图像为源图像的相似图像的第一置信度。
182.具体的，可以计算源图像的图像特征与目标入库图像的图像特征之间的距离，将计算得到的距离转换为目标入库图像与源图像之间的相似度，作为第一置信度。上述距离可以为欧式距离、余弦距离等。
183.在对距离进行转换时，可以根据预设的距离与相似度之间的对应关系，将上述距离转换为入库图像与源图像之间的相似度。
184.步骤s403：提取源图像的文本特征。
185.上述步骤s403与前述步骤s103相同，这里不再详述。
186.在上述基础上，图1所示的步骤s104，可以按照以下步骤s404实现。
187.步骤s404：根据源图像的文本特征和目标入库图像的文本特征，获得目标入库图像为源图像的相似图像的第二置信度。
188.具体的，可以计算源图像的文本特征与目标入库图像的文本特征之间的距离，将计算得到的距离转换为目标入库图像与源图像之间的相似度，作为第二置信度。
189.上述距离可以为欧式距离、余弦距离等。
190.在对距离进行转换时，可以根据预设的距离与相似度之间的对应关系，将上述距离转换为入库图像与源图像之间的相似度。
191.步骤s405：根据入库图像对应的第一置信度和第二置信度，从入库图像中确定源图像的搜索结果。
192.其中，上述步骤s405与上述图1所示的步骤s105相同，这里不再详述。
193.由以上可见，由于目标入库图像是搜索库中类型为目标图像类型的入库图像，目标入库图像的数量远小于搜索库中所有入库图像的数量，那么根据源图像的图像特征和目标入库图像的图像特征，能够较快地获得目标入库图像对应的第一置信度，并且根据源图像的文本特征和目标入库图像的文本特征，能够较快地获得目标入库图像对应的第二置信度，提高了获得第一置信度和第二置信度的效率，从而提高了进行图像搜索的效率。
194.以下结合图5，对本公开实施例提供的图像搜索方法进行具体说明。图5为本公开实施例提供的一种图像搜索方法的流程框图。
195.首先，对图5中涉及到的各个模型进行说明。
196.图5中涉及的网络模型或算法包括vit、ocr-engine、word2vec。
197.其中，vit用于对图像进行图像特征提取，是本公开实施例中提及的一种图像特征提取模型；
198.ocr-engine(ocr引擎)用于对图像进行文本识别。
199.word2vec用于对识别结果进行文本特征提取，是本公开实施例中提及的一种文本特征提取模型。
200.其次，对图5所示的模型训练流程进行说明。
201.在图5所示的实施例中，源图像为针对药品的图像，以下为方便描述，将针对药品的图像称为药品源图像。
202.在左侧分支中，将药品源图像输入vit，获得vit输出的512维度的特征向量，作为源图像的图像特征；将源图像的图像特征与药品搜索库中每一入库图像的图像特征进行比对，得到每一入库图像为源图像的相似图像的第一置信度。
203.在右侧分支中，将药品源图像输入ocr-engine，将ocr-engine输出的识别结果输入word2vec，得到word2vec输出的128维度的特征向量，作为源图像的文本特征；将源图像的文本特征与药品搜索库中每一入库图像的文本特征进行比对，得到每一入库图像为源图像的相似图像的第二置信度。
204.根据同一入库图像的第一置信度和第二置信度，计算入库图像为源图像的相似图像的第三置信度，基于入库图像对应的第三置信度，确定源图像的搜索结果。
205.与上述图像搜索方法相对应的，本公开还提供了一种图像搜索装置。
206.参见图6，图6为本公开实施例提供的第一种图像搜索装置的结构示意图，上述装置包括以下模块601-605。
207.图像特征提取模块601，用于提取源图像的图像特征；
208.第一置信度获得模块602，用于根据所述源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为所述源图像的相似图像的第一置信度；
209.文本特征提取模块603，用于提取所述源图像的文本特征；
210.第二置信度获得模块604，用于根据所述源图像的文本特征和所述搜索库中入库图像的文本特征，获得入库图像为所述源图像的相似图像的第二置信度；
211.搜索结果确定模块605，用于根据入库图像对应的第一置信度和第二置信度，从入库图像中确定所述源图像的搜索结果。
212.由以上可见，应用本实施例提供的方案进行图像搜索时，由于第一置信度是根据源图像的图像特征和搜索库中入库图像的图像特征获得的，第二置信度是根据源图像的文本特征和搜索库中入库图像的文本特征获得的，所以，第一置信度是从图像特征角度反映源图像与入库图像之间的相似度，第二置信度是从文本特征角度反映源图像与入库图像之间的相似度。鉴于此，在从入库图像中确定源图像的搜索结果时，综合考虑了图像特征和文本特征，入库图像对应的第一置信度和第二置信度能够全面、准确地反映源图像与入库图像之间的相似度，从而使得源图像的搜索结果的准确度高。
213.参见图7，图7为本公开实施例提供的第二种图像搜索装置的结构示意图，上述装置包括以下模块701-707。
214.图像特征提取模块701，用于提取源图像的图像特征；
215.第一置信度获得模块702，用于根据所述源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为所述源图像的相似图像的第一置信度；
216.文本特征提取模块703，用于提取所述源图像的文本特征；
217.第二置信度获得模块704，用于根据所述源图像的文本特征和所述搜索库中入库图像的文本特征，获得入库图像为所述源图像的相似图像的第二置信度；
218.上述模块701-704与图6所示实施例中模块601-604相同。
219.置信度计算子模块705，根据同一入库图像对应的第一置信度和第二置信度，计算入库图像为所述源图像的相似图像的第三置信度；
220.图像排序子模块706，用于根据入库图像对应的第三置信度，对入库图像进行排序；
221.搜索结果确定子模块707，用于基于排序结果，从入库图像中确定所述源图像的搜索结果。
222.由于第三置信度是根据入库图像对应的第一置信度和第二置信度计算得到的置信度，所以，第三置信度综合考虑了图像特征和文本特征，从这两个角度反映了源图像与入库图像之间的相似度，这样第三置信度能够更加全面、准确地反映源图像与入库图像之间的相似度。从而基于入库图像对应的第三置信度，能够准确地对入库图像进行排序，进而使得所确定的搜索结果的准确度高。
223.参见图8，图8为本公开实施例提供的第三种图像搜索装置的结构示意图，上述装置包括以下模块801-807。
224.图像特征提取模块801，用于提取源图像的图像特征；
225.第一置信度获得模块802，用于根据所述源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为所述源图像的相似图像的第一置信度；
226.文本特征提取模块803，用于提取所述源图像的文本特征；
227.第二置信度获得模块804，用于根据所述源图像的文本特征和所述搜索库中入库图像的文本特征，获得入库图像为所述源图像的相似图像的第二置信度；
228.上述模块801-804与图6所示实施例中模块601-604相同。
229.第一图像确定模块806，用于根据入库图像对应的第一置信度，从入库图像中确定所述源图像的相似图像，作为第一候选图像；
230.第二图像确定模块807，用于根据入库图像对应的第二置信度，从入库图像中确定所述源图像的相似图像，作为第二候选图像；
231.搜索结果确定模块805，具体用于根据各目标候选图像对应的第一置信度和第二置信度，从各目标候选图像中确定所述源图像的搜索结果，其中，所述目标候选图像为：由所述第一候选图像和第二候选图像确定的图像。
232.由以上可见，应用本实施例提供的方案进行图像搜索时，基于各目标候选图像对应的第一置信度和第二置信度，从各目标候选图像中确定源图像的搜索结果。由于目标候选图像是根据第一候选图像和第二候选图像确定得到的图像，第一候选图像是根据第一置信度从入库图像中确定的图像，第二候选图像是根据第二置信度从入库图像中确定的图像，也就是第一候选图像是基于第一置信度从入库图像中初步筛选得到的图像，第二候选
图像是基于第二置信度从入库图像中初步筛选得到的图像，所以，目标候选图像是从初步筛选得到的图像中进一步筛选得到的图像，目标候选图像的数量比较少，从数量较少的目标候选图像中确定源图像的搜索结果，提高了确定搜索结果的效率。
233.本公开的一个实施例中，通过以下方式确定所述目标候选图像：
234.所述候选图像确定模块具体用于将所述第一候选图像与所述第二候选图像确定为目标候选图像；或确定所述第一候选图像与所述第二候选图像之间重复的候选图像，作为目标候选图像。
235.这样，由于第一候选图像与第二候选图像之间重复的候选图像不仅从图像特征的角度与源图像相似，还从文本特征的角度与源图像相似，所以，将上述重复的候选图像确定为目标候选图像，能够提高目标候选图像的准确度；并且由于将第一候选图像与第二候选图像均确定为目标候选图像，这样可以使得所确定的目标候选图像较为全面和丰富。
236.本公开的一个实施例中，上述图像特征提取模块，具体用于将源图像输入预先训练的图像特征提取模型，获得所述图像特征提取模型输出的预设维度的图像特征。
237.由于图像特征提取模型是预先训练得到的，在采用大量的样本图像对模型进行训练过程中，图像特征提取模型能够学习到图像特征的规律。这样将源图像输入至图像特征提取模型后，图像特征提取模型能够较为准确的提取出源图像的图像特征。
238.本公开的一个实施例中，上述文本特征提取模块，具体用于对所述源图像进行文本识别，得到识别结果；将所述识别结果输入预先训练的文本特征提取模型，获得所述文本特征提取模型输出的文本特征，作为所述源图像的文本特征。
239.由于文本特征提取模型是预先训练得到的，在采用大量的样本文本对模型进行训练过程中，文本特征提取模型能够学习到文本特征的规律。这样将识别结果输入至文本特征提取模型后，文本特征提取模型能够较为准确的提取出识别结果的文本特征，从而获得较准确的源图像的文本特征。
240.参见图9，图9为本公开实施例提供的第四种图像搜索装置的结构示意图，上述装置包括901-907。
241.图像特征提取模块901，用于提取源图像的图像特征；
242.上述模块901与图6所示实施例中模块601相同。
243.类型确定模块906，用于根据所述源图像的图像特征和搜索库中入库图像的图像特征，获得入库图像为所述源图像的相似图像的第一置信度之前，确定所述源图像的目标图像类型；
244.第三图像确定模块907，具体用于根据所述源图像的图像特征和目标入库图像的图像特征，获得目标入库图像为所述源图像的相似图像的第一置信度；
245.第一置信度获得模块902，具体用于根据所述源图像的图像特征和目标入库图像的图像特征，获得目标入库图像为所述源图像的相似图像的第二置信度。
246.文本特征提取模块903，用于提取所述源图像的文本特征；
247.上述模块903与图6所示实施例中模块603相同。
248.第二置信度获得模块904，用于根据所述源图像的图像特征和目标入库图像的图像特征，获得目标入库图像为所述源图像的相似图像的第二置信度；
249.搜索结果确定模块905，用于根据入库图像对应的第一置信度和第二置信度，从入
库图像中确定所述源图像的搜索结果。
250.上述模块905与图6所示实施例中模块605相同。
251.由以上可见，由于目标入库图像是搜索库中类型为目标图像类型的入库图像，目标入库图像的数量远小于搜索库中所有入库图像的数量，那么根据源图像的图像特征和目标入库图像的图像特征，能够较快地获得目标入库图像对应的第一置信度，并且根据源图像的文本特征和目标入库图像的文本特征，能够较快地获得目标入库图像对应的第二置信度，提高了获得第一置信度和第二置信度的效率，从而提高了进行图像搜索的效率。
252.本公开的一个实施例中，上述源图像为：针对药品的图像。
253.由于药品的名称一般比较复杂，不便于用户输入，这样当源图像是针对药品的图像时，免去了用户输入药品名称，降低了用户针对药品进行搜索的难度。
254.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
255.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
256.本公开实施例提供了一种电子设备，上述一种电子设备，包括：
257.至少一个处理器；以及
258.与所述至少一个处理器通信连接的存储器；其中，
259.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行图像搜索方法。
260.本公开实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行图像搜索方法。
261.本公开实施例提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现图像搜索方法。
262.由以上可见，应用本实施例提供的方案进行图像搜索时，由于第一置信度是根据源图像的图像特征和搜索库中入库图像的图像特征获得的，第二置信度是根据源图像的文本特征和搜索库中入库图像的文本特征获得的，所以，第一置信度是从图像特征角度反映源图像与入库图像之间的相似度，第二置信度是从文本特征角度反映源图像与入库图像之间的相似度。鉴于此，在从入库图像中确定源图像的搜索结果时，综合考虑了图像特征和文本特征，入库图像对应的第一置信度和第二置信度能够全面、准确地反映源图像与入库图像之间的相似度，从而使得源图像的搜索结果高。
263.图10示出了可以用来实施本公开的实施例的示例电子设备1000的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
264.如图10所示，设备1000包括计算单元1001，其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储单元1008加载到随机访问存储器(ram)1003中的计算机程序，来执行各种适当的动作和处理。在ram 1003中，还可存储设备1000操作所需的各种程序
和数据。计算单元1001、rom 1002以及ram 1003通过总线1004彼此相连。输入/输出(i/o)接口1005也连接至总线1004。
265.设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储单元1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
266.计算单元1001可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元1001执行上文所描述的各个方法和处理，例如图像搜索方法。例如，在一些实施例中，图像搜索方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1008。在一些实施例中，计算机程序的部分或者全部可以经由rom1002和/或通信单元1009而被载入和/或安装到设备1000上。当计算机程序加载到ram 1003并由计算单元1001执行时，可以执行上文描述的图像搜索方法的一个或多个步骤。备选地，在其他实施例中，计算单元1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行图像搜索方法。
267.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
268.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
269.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
270.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视
器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
271.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
272.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
273.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
274.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。