图像检索方法、装置和设备与流程

本发明涉及图像处理，尤其涉及一种图像检索方法、装置和设备。

背景技术：

1、随着多模态大模型技术的发展，文搜图（文本到图像检索）在安防、交通、电商、内容管理等领域得到广泛应用。用户通常通过输入自然语言描述来查找目标图像，这就要求检索系统能够准确理解文本语义并与海量图像内容进行匹配，以检索到目标图像。

2、目前，在进行文搜图时，是将用户输入的文本提示词通过预训练的多模态模型（如对比语言-图像预训练（contrastive language-image pre-training，clip））提取全局语义特征向量，然后在图像库中逐一计算每张图像与该全局语义特征向量的相似度，最终返回相似度最高的若干图像作为检索结果。

3、然而，上述方式中，在文本提示词中包含复杂语义的情况下，通过提取的全局语义特征向量进行图像检索时，检索精度较低。

技术实现思路

1、本发明提供一种图像检索方法、装置和设备，用以解决现有技术中图像检索精度较低的缺陷，实现提高图像的检索精度的目的。

2、本发明提供一种图像检索方法，包括：

3、获取用户输入的文本提示词；

4、将所述文本提示词拆解为至少两个具有独立语义的词元；

5、基于各所述词元对应的用户关注度和识别精度，确定各所述词元的检索优先级；

6、基于各所述词元的检索优先级，依次使用各所述词元进行图像迭代检索，直至所有词元均完成检索，将最后一轮检索得到的候选图像集合，确定为所述文本提示词对应的检索图像，其中，后一轮检索是基于前一轮检索得到的候选图像集合进行的。

7、根据本发明提供的一种图像检索方法，所述基于各所述词元对应的用户关注度和识别精度，确定各所述词元的检索优先级，包括：

8、针对各所述词元，基于所述用户的历史检索行为，确定所述词元的用户关注度得分；

9、获取所述词元的识别精度得分；

10、基于所述用户关注度得分和所述识别精度得分，确定所述词元的综合得分；

11、基于各所述词元的综合得分，确定各所述词元的检索优先级。

12、根据本发明提供的一种图像检索方法，所述获取所述词元的识别精度得分，包括：

13、将包含所述词元所描述视觉特征的至少两张样本图像输入至识别模型中，得到所述识别模型输出的各所述样本图像的识别结果，基于各所述识别结果和对应样本图像的真实标签，确定所述词元的识别准确率，并将所述识别准确率确定为所述词元的识别精度得分；

14、或者，

15、将包含所述词元所描述视觉特征的样本图像输入至预先训练的离线识别模型中，得到所述离线识别模型输出的识别置信度，并基于所述识别置信度确定所述词元的识别精度得分。

16、根据本发明提供的一种图像检索方法，所述基于各所述词元的检索优先级，依次使用各所述词元进行图像迭代检索，包括：

17、按照各所述词元的检索优先级顺序，依次遍历各所述词元；

18、在当前遍历到的词元为首个词元的情况下，在第一图像库中进行检索，得到第一候选图像集合；在当前遍历到的词元为非首个词元的情况下，在上一轮检索得到的候选图像集合中进行检索，得到第一候选图像集合；

19、在共享参数库中存在与所述当前遍历到的词元对应的目标分类模型的情况下，利用所述目标分类模型对所述第一候选图像集合中的图像进行筛选，得到第二候选图像集合；所述共享参数库中包括多个样本词元和各所述样本词元对应的分类模型；

20、将所述第二候选图像集合确定为下一轮检索的检索空间，以供下一个词元进行图像检索。

21、根据本发明提供的一种图像检索方法，所述利用所述目标分类模型对所述第一候选图像集合中的图像进行筛选，得到第二候选图像集合，包括：

22、将所述第一候选图像集合中的各图像输入所述目标分类模型，得到所述目标分类模型输出的匹配置信度；

23、基于所述匹配置信度与预设置信度的比较结果，从所述第一候选图像集合中确定满足预设置信度要求的图像，得到所述第二候选图像集合。

24、根据本发明提供的一种图像检索方法，所述第一候选图像集合中的图像数量与所述当前遍历到的词元的识别精度相关。

25、根据本发明提供的一种图像检索方法，所述方法还包括：

26、在所述共享参数库中不存在与所述当前遍历到的词元对应的目标分类模型的情况下，将所述第一候选图像集合确定为所述第二候选图像集合。

27、根据本发明提供的一种图像检索方法，所述分类模型为基于如下方式训练得到的：

28、基于所述用户在预设时间段内的历史检索记录，确定至少一个样本词元；

29、针对各所述样本词元，使用所述样本词元在第二图像库中进行检索，得到所述样本词元对应的检索图像集合；

30、将所述检索图像集合中的各图像输入初始分类模型，得到对应的预测结果；

31、获取所述用户针对各所述预测结果的反馈信息；

32、以所述反馈信息作为训练标签，对所述初始分类模型的参数进行调整，得到在线训练后的分类模型；

33、将所述样本词元和对应的训练后的分类模型关联存储至所述共享参数库。

34、本发明还提供一种图像检索装置，包括：

35、获取模块，用于获取用户输入的文本提示词；

36、拆解模块，用于将所述文本提示词拆解为至少两个具有独立语义的词元；

37、确定模块，用于基于各所述词元对应的用户关注度和识别精度，确定各所述词元的检索优先级；

38、检索模块，用于基于各所述词元的检索优先级，依次使用各所述词元进行图像迭代检索，直至所有词元均完成检索，将最后一轮检索得到的候选图像集合，确定为所述文本提示词对应的检索图像，其中，后一轮检索是基于前一轮检索得到的候选图像集合进行的。

39、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述图像检索方法。

40、本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述图像检索方法。

41、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述图像检索方法。

42、本发明提供的图像检索方法、装置和设备，通过获取用户输入的文本提示词，将文本提示词拆解为至少两个具有独立语义的词元，基于各词元对应的用户关注度和识别精度，确定各词元的检索优先级，基于各词元的检索优先级，依次使用各词元进行图像迭代检索，直至所有词元均完成检索，将最后一轮检索得到的候选图像集合，确定为文本提示词对应的检索图像，其中，后一轮检索是基于前一轮检索得到的候选图像集合进行的。由于将包含复杂语义的文本提示词拆解为多个独立的词元，并按照检索优先级顺序在逐步缩小的候选图像集合中进行迭代匹配，避免了不同语义要素之间因被压缩为同一全局特征向量而产生的相互干扰，从而可以使得最终检索到的图像能够同时满足各词元所描述的语义条件，由此可以提高图像的检索精度。