基于记忆增强查询意图理解的高效对话式检索方法及装置

本发明涉及视频跨模态检索，尤其涉及一种基于记忆增强查询意图理解的高效对话式检索方法及装置。

背景技术：

1、随着互联网多媒体内容的快速增长以及智能终端的普及，面向图像、视频、文档等多媒体数据的检索需求不断增加。用户在实际检索过程中往往难以在单轮输入中准确、完整地表达目标对象的属性、类别、场景、关系等细节约束，检索系统通常需要通过多轮交互逐步了解用户意图，例如通过询问“颜色/材质/动作/场景”等限定条件，或根据用户对候选结果的进一步描述不断修正查询，从而形成对话式检索流程。对话式检索的目标在于在多轮交互中持续更新并准确理解用户意图，使每一轮输出的候选结果更接近用户真实需求，同时保证系统响应的实时性与可扩展性。然而，对话式检索与传统单轮检索相比存在显著差异，其一，对话轮次内的信息是逐步增量输入的，用户可能在后续轮次引入新的限制条件；其二，早期轮次信息对最终意图通常具有关键作用，但其重要性可能被后续信息掩盖。因此，对话式检索不仅要求模型具备跨轮语义理解能力，还要求在长会话场景下具备稳定性与高效率。现有对话式检索方法对于用户的多轮查询意图理解方法大致可分为两类，其一，将当前轮文本与历史轮次文本拼接后整体编码，再与候选图像进行匹配检索；其二，使用现有大模型将多轮对话内容进行重写，合并为一句完整的查询文本以适配传统检索框架。而上述方案仍存在显著不足，对话历史拼接会导致输入序列随轮次增长而变长，带来重复计算、延迟上升及长序列语义稀释问题；查询重写虽然可以缩短文本输入，但在重写过程中，大模型的引入会带来额外的计算量开销，且可能出现信息遗漏或语义漂移；因此，亟需一种能够在多轮对话中以较低计算开销持续建模用户意图、能够对遗忘信息进行选择性补全、并能有效利用历史检索结果反馈实现查询细化的高效对话式检索方法及装置。

技术实现思路

1、本发明目的在于针对对话式检索中历史文本重复编码、大模型重构历史对话文本计算量大、跨轮连续性弱等问题，提出一种基于记忆增强查询意图理解的高效对话式检索方法及装置。

2、本发明的目的是通过以下技术方案来实现的：一种基于记忆增强查询意图理解的高效对话式检索方法，包括：

3、构建对话式检索网络模型，模型每一轮对话包括：

4、对待检索图像进行特征提取，并对当前检索轮次的文本进行特征编码；

5、维护一组固定长度的可学习记忆特征，使用记忆特征与文本特征进行交互更新，得到当前对话轮次的记忆特征；

6、将该轮对话的特征与更新后的记忆特征进行交互编码和聚合，得到键特征，全局表示向量作为键对应的值，将键值对存储到历史对话语义库；

7、从历史对话语义库中检索在语义上与当前记忆疏远的历史表示，将其重新融入当前记忆， 对记忆特征进行增强，引入前一轮的检索结果，精炼当前轮的查询表示；

8、基于待检索图像的特征和当前轮的最终查询表示进行相似度排序，得到当前轮的检索结果；

9、对模型进行训练，将视频和多轮对话文本输入到训练好的模型中，执行对话式检索。

10、进一步地，所述对待检索图像进行特征提取，并对当前检索轮次的文本进行特征编码包括：

11、对若干个图像所组成的候选图像库，使用预训练的blip模型来提取各个候选图像的特征向量集合；

12、对当前第轮查询时，给定由若干个单词所组成的查询对话，使用预训练的blip模型来提取单词的特征向量集合。

13、进一步地，所述维护一组固定长度的可学习记忆特征包括：

14、首轮对话中初始化一组记忆特征；

15、记忆特征与首轮查询文本特征输入到transformer中，记忆特征作为query，查询对话特征同时作为key和value，进行交互编码，得到附带查询文本语义的记忆特征；

16、在后续轮次中将上一轮次的记忆特征与当前轮次查询文本特征输入到transformer中进行交互编码。

17、进一步地，所述历史对话语义库的键值对包括：

18、附带查询文本语义的记忆特征作为query，单词的文本特征同时作为key和value，输入transformer中进行交互编码，得到编码键特征；

19、用权重向量与编码得到的编码键特征进行点乘并通过softmax层，得到每个编码键特征向量对应的权重，加权聚合得到当前轮次最终的键特征；所述全局表示向量为检索轮对话单词特征的首位，作为当前轮次键特征对应的值。

20、进一步地，所述从历史对话语义库中检索在语义上与当前记忆疏远的历史表示包括：

21、通过键特征相同的注意力池化方式，对当前轮的记忆特征进行聚合，作为当前记忆状态的全局表示；

22、计算当前记忆状态的全局表示与历史对话语义库中所有存储数据的键部分的相似度；选取相似度最低的n条存储数据作为语义补充；

23、同时，对于被选中的语义补充数据，基于相似度的逆向关系计算归一化的召回权重，即：

24、

25、其中，为当前记忆状态的全局表示，为历史对话语义库中存储数据的键部分。

26、进一步地，所述对记忆特征进行增强包括：

27、对于被选中的语义补充数据，将每条数据对应的值部分按召回权重聚合为最终的遗忘信息召回表示，当前检索轮的记忆特征作为query，遗忘信息召回表示同时作为key和value，通过交叉注意力与当前检索轮的记忆特征进行交互编码，得到当前检索轮增强后的记忆特征。

28、进一步地，所述引入前一轮的检索结果，精炼当前轮的查询表示包括：

29、取第检索轮中最终检索排名的前k个图像结果，并在获取的所有待检索图像的特征中选择对应的图像特征，构成前检索轮候选图像特征集合；

30、通过一个全连接层将投影到与当前增强后的记忆特征相同的维度，得到；作为query，同时作为key和value，输入到transformer中来对它们进行交互编码，得到最终的记忆特征；

31、将最终的记忆特征进一步通过与键特征相同的注意力池化方式聚合为当前检索轮的全局查询向量，并投影到与图像特征相同的嵌入维度，得到当前检索轮的最终查询向量。

32、进一步地，所述对模型进行训练包括：

33、通过端到端方式训练模型，并使用对比学习损失将最终的查询文本表示与其对应图像的视觉特征进行对齐；在每个检索轮中，模型计算一个检索损失，使当前检索轮的查询表示更接近其匹配图像，同时将其与同一小批次内的不匹配样本拉开距离，即：

34、

35、其中代表在小批量的数据大小，或代表该批次中互为正样本的查询文本和图像，或代表该批次中互为负样本的查询文本和图像，为温度系数；

36、最终的训练损失为所有对话轮次的损失平均值。

37、另一方面还提供了一种基于记忆增强查询意图理解的高效对话式检索装置，包括存储器和一个或多个处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现所述的一种基于记忆增强查询意图理解的高效对话式检索方法。

38、另一方面还提供了一种计算机可读存储介质，其上存储有程序，所述程序被处理器执行时，实现所述的一种基于记忆增强查询意图理解的高效对话式检索方法。

39、本发明的有益效果：

40、本发明通过构建一种持久且轻量的语义记忆机制，在多轮对话检索过程中以固定长度的记忆表示跨轮累积与精炼用户查询意图，使当前轮查询仅需与既有记忆进行交互即可完成新语义的融合与既有意图的保持，从而避免对整段对话历史进行重复编码或重构带来的高开销与长序列稀释问题；同时，考虑到对话轮次增长会引发语义漂移或部分遗忘，本发明进一步将各轮对话语义以历史上下文形式进行存储，并基于相似度评估遗忘程度对信息量大的历史语义进行选择性召回，用于强化当前记忆状态、恢复逐渐淡化的意图约束，进而在“新近语义”与“长期语义”之间保持平衡并提升长对话下的鲁棒性与一致性；此外，针对现有方法常将每一轮视为独立检索步骤、忽略轮间反馈连续性的不足，本发明引入检索结果驱动的视觉反馈机制，利用上一轮候选结果所包含的视觉语义线索引导下一轮查询表示的形成与细化，使跨轮意图建模更加连贯且检索定位更精确；综上，本发明在有效提升多轮对话检索精度与连贯性的同时，使整体计算开销在工程上保持近似常量增长，适用于在线交互与大规模候选库的高效检索应用场景。