基于用户反馈的文搜图方法、装置、电子设备及存储介质与流程

本技术属于图像检索，尤其涉及一种基于用户反馈的文搜图方法、装置、电子设备及存储介质。

背景技术：

1、随着深度学习技术的快速发展，多模态跨模态检索技术已成为图像搜索领域的核心技术方向，其中clip模型凭借大规模图文对对比学习的优势，能够将文本与图像映射至同一语义空间，实现高效的文搜图检索，广泛应用于一句话找事、一句话找人等场景。目前，现有文搜图的典型检索流程为：用户输入查询文本→系统通过clip模型提取文本特征向量→与图库中预先存储的图像特征向量计算相似度→根据相似度排序返回检索结果。clip模型为通用预训练模型，其语义理解基于大规模公开数据集，未考虑具体用户的个性化搜索偏好，导致同一搜索词在不同用户使用时，检索结果与用户真实意图存在偏差，用户体验较差；用户对检索结果进行人工筛选、标注的正负样本数据，未有效利用，无法通过用户反馈实现检索模型的持续优化，形成“检索-反馈-优化”的闭环；若采用传统微调方式优化clip模型，需重新训练深度神经网络，存在计算成本高、训练周期长、资源消耗大的问题，无法满足在线实时优化的业务需求；将查询文本的clip特征向量视为固定值，不会随着用户多轮反馈进行动态调整，导致系统无法逐步逼近用户的真实搜索意图，优化效果有限。因此，亟需一种能够在不改动clip模型主体结构、不涉及具体模型训练算法的前提下，实现轻量级在线优化、用户反馈高效复用、查询语义动态演化的基于用户反馈的文搜图方法，以解决现有方法存在个性化适配不足、用户的反馈无法复用、模型优化成本高、查询语义无法动态演化等问题。

技术实现思路

1、本技术实施例提供了一种基于用户反馈的文搜图方法，可以解决现有方法存在个性化适配不足、用户的反馈无法复用、模型优化成本高、查询语义无法动态演化等问题。通过提取查询用户的目标查询文本对应的目标特征向量，并计算目标特征向量与查询意图组中的语义中心向量之间的相似度，在存在相似度大于预设相似度阈值的目标查询意图组时，则调用目标查询意图组中的最新分类模型对第一图像查询结果进行分类预测，得到目标查询文本的最终图像查询结果，在不存在相似度大于预设相似度阈值的目标查询意图组，则将第一图像查询结果作为目标查询文本的最终图像查询结果，从而将最终图像查询结果返回给查询用户，解决了现有方法存在个性化适配不足、用户的反馈无法复用、模型优化成本高、查询语义无法动态演化等问题，提高查询准确度。

2、第一方面，本技术实施例提供一种基于用户反馈的文搜图方法，所述方法包括以下步骤：

3、获取查询用户的目标查询文本及所述目标查询文本的第一图像查询结果，并获取所述用户的至少一个查询意图组，所述查询意图组包括语义中心向量以及最新分类模型，所述查询意图组根据训练用户的历史多次图像查询结果的反馈结果进行构建与更新；

4、提取所述目标查询文本对应的目标特征向量，并计算所述目标特征向量与所述查询意图组中的所述语义中心向量之间的相似度；

5、若存在所述相似度大于预设相似度阈值的目标查询意图组，则调用所述目标查询意图组中的所述最新分类模型对所述第一图像查询结果进行分类预测，得到所述目标查询文本的最终图像查询结果；

6、若不存在所述相似度大于预设相似度阈值的目标查询意图组，则将所述第一图像查询结果作为所述目标查询文本的最终图像查询结果；

7、将所述最终图像查询结果返回给所述查询用户。

8、可选的，所述获取所述用户的至少一个查询意图组，包括：

9、获取训练用户的初次查询文本以及所述初次查询文本的第二图像查询结果，所述第二图像查询结果包括根据所述初次查询文本查询到的图像数据；

10、接收所述用户针对所述第二图像查询结果的第一反馈结果，所述第一反馈结果包括所述用户选择的第一正样本图像和第一负样本图像，所述第一正样本图像为所述第二图像查询结果中符合所述训练用户的意图的图像数据，所述第一负样本图像为所述第二图像查询结果中不符合所述训练用户的意图的图像数据；

11、基于所述第一正样本图像和所述第一负样本图像，训练得到初始分类模型；

12、根据所述第一正样本图像的特征向量以及所述初次查询文本的特征向量，生成初始中心向量；

13、根据所述初始分类模型以及初始中心向量，构建所述用户的查询意图组。

14、可选的，所述获取所述用户的至少一个查询意图组，还包括：

15、获取训练用户的后续查询文本以及所述后续查询文本的第三图像查询结果，所述第三图像查询结果包括根据所述后续查询文本查询到的图像数据；

16、接收所述用户针对所述第三图像查询结果的第二反馈结果，所述第二反馈结果包括所述用户选择的第二正样本图像和第二负样本图像，所述第二正样本图像为所述第三图像查询结果中符合所述训练用户的意图的图像数据，所述第二负样本图像为所述第三图像查询结果中不符合所述训练用户的意图的图像数据；

17、根据所述后续查询文本的特征向量与已有查询意图组中的所述语义中心向量之间的相似度，确定出与所述后续查询文本对应的待更新查询意图组；

18、基于所述第二正样本图像和所述第二负样本图像以及待更新查询意图组对应的历史正样本图像和历史负样本图像，对前次训练得到的分类模型进行训练，得到更新后的分类模型；

19、根据所述后续查询文本的特征向量以及所述待更新查询意图组的语义中心向量，生成更新后的中心向量；

20、根据所述更新后的分类模型以及更新后的中心向量，更新所述用户的查询意图组。

21、可选的，所述基于所述第二正样本图像和所述第二负样本图像以及待更新查询意图组对应的历史正样本图像和历史负样本图像，对前次训练得到的分类模型进行训练，得到更新后的分类模型，包括：

22、在所述第二正样本图像和所述第二负样本图像以及待更新查询意图组对应的历史正样本图像和历史负样本图像中，按时间顺序取最近的预设数量个正样本图像和负样本图像作为训练数据；

23、通过所述训练数据对前次训练得到的分类模型进行训练，得到更新后的分类模型。

24、可选的，所述根据所述后续查询文本的特征向量以及所述待更新查询意图组的语义中心向量，生成更新后的中心向量，包括：

25、获取所述待更新查询意图组的累计训练次数；

26、基于所述待更新查询意图组的累计训练次数，将所述待更新查询意图组的语义中心向量与所述后续查询文本的特征向量进行融合，得到更新后的中心向量。

27、可选的，在所述得到最新的查询意图组之后，所述方法还包括：

28、将最新分类模型进行序列化处理，持久化存储至分布式文件存储载体；

29、将最新的查询意图组的元数据写入数据库，元数据包括：查询意图组id、查询语义中心向量、累计训练次数、当前次正负样本图像的数量及标识、分类模型的存储路径、训练时间、最后调用时间、相似度匹配阈值、分类权重配置、训练用户的系统用户id；

30、将查询语义中心向量缓存至缓存数据库。

31、可选的，所述调用所述目标查询意图组中的所述最新分类模型对所述第一图像查询结果进行分类预测，得到所述目标查询文本的最终图像查询结果，包括：

32、调用所述目标查询意图组中的所述最新分类模型对所述第一图像查询结果进行分类预测，得到所述第一图像查询结果中各个图像数据的置信度；

33、根据所述置信度，对所述第一图像查询结果中各个图像数据进行过滤与排序，得到所述目标查询文本的最终图像查询结果。

34、第二方面，本技术实施例提供一种基于用户反馈的文搜图装置，所述基于用户反馈的文搜图装置包括：

35、获取模块，用于获取查询用户的目标查询文本及所述目标查询文本的第一图像查询结果，并获取所述用户的至少一个查询意图组，所述查询意图组包括语义中心向量以及最新分类模型，所述查询意图组根据训练用户的历史多次图像查询结果的反馈结果进行构建与更新；

36、第一处理模块，用于提取所述目标查询文本对应的目标特征向量，并计算所述目标特征向量与所述查询意图组中的所述语义中心向量之间的相似度；

37、分类预测模块，用于若存在所述相似度大于预设相似度阈值的目标查询意图组，则调用所述目标查询意图组中的所述最新分类模型对所述第一图像查询结果进行分类预测，得到所述目标查询文本的最终图像查询结果；

38、第二处理模块，用于若不存在所述相似度大于预设相似度阈值的目标查询意图组，则将所述第一图像查询结果作为所述目标查询文本的最终图像查询结果；

39、返回模块，用于将所述最终图像查询结果返回给所述查询用户。

40、第三方面，本发明实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本发明实施例提供的基于用户反馈的文搜图方法中的步骤。

41、第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现发明实施例提供的基于用户反馈的文搜图方法中的步骤。

42、本技术的上述方案有如下的有益效果：获取查询用户的目标查询文本及目标查询文本的第一图像查询结果，并获取用户的至少一个查询意图组，查询意图组包括语义中心向量以及最新分类模型，查询意图组根据训练用户的历史多次图像查询结果的反馈结果进行构建与更新；提取目标查询文本对应的目标特征向量，并计算目标特征向量与所述查询意图组中的语义中心向量之间的相似度；若存在相似度大于预设相似度阈值的目标查询意图组，则调用目标查询意图组中的最新分类模型对第一图像查询结果进行分类预测，得到目标查询文本的最终图像查询结果；若不存在相似度大于预设相似度阈值的目标查询意图组，则将第一图像查询结果作为目标查询文本的最终图像查询结果；将最终图像查询结果返回给查询用户。本发明通过提取查询用户的目标查询文本对应的目标特征向量，并计算目标特征向量与查询意图组中的语义中心向量之间的相似度，在存在相似度大于预设相似度阈值的目标查询意图组时，则调用目标查询意图组中的最新分类模型对第一图像查询结果进行分类预测，得到目标查询文本的最终图像查询结果，在不存在相似度大于预设相似度阈值的目标查询意图组，则将第一图像查询结果作为目标查询文本的最终图像查询结果，从而将最终图像查询结果返回给查询用户，解决了现有方法存在个性化适配不足、用户的反馈无法复用、模型优化成本高、查询语义无法动态演化等问题，提高查询准确度。

43、本技术的其它有益效果将在随后的具体实施方式部分予以详细说明。