数据查询方法、数据处理方法、装置、电子设备及计算机可读存储介质与流程

摘要: 本技术涉及信息检索,特别涉及数据查询方法、数据处理方法、装置、电子设备及计算机可读存储介质。背景技术:1、稠密检索是当前企业知识库问答、语义搜索、rag系统的核...
数据查询方法、数据处理方法、装置、电子设备及计算机可读存储介质与流程

本技术涉及信息检索,特别涉及数据查询方法、数据处理方法、装置、电子设备及计算机可读存储介质。

背景技术:

1、稠密检索是当前企业知识库问答、语义搜索、rag系统的核心组件,其核心技术在于基于大语言模型嵌入(如qwen3-embedding)通过将文本编码为高维稠密向量,再以余弦相似度匹配查询与文档,相较于传统稀疏检索(如bm25)具备显著更好的语义理解能力。然而,目前通用嵌入模型在特定垂直领域(安全、医疗、法律、金融等)常表现不足,原因在于:一方面,通用指令与领域语义存在偏差,即通用模型的指令(如“检索与问题相关的段落”)对领域专业查询的导向作用有限,无法贴合专业用语的语义习惯,从而导致检索结果不准确的问题;另一方面,数十亿参数的模型进行全参数微调需要大量算力、时间以及完整的监督数据,且当文档的编码方式随训练发生变化时,已建立的向量索引(通常包含数百万乃至数亿文档向量)也需要全量重建,成本极高。

2、因此,如何在有效降低数据查询成本的同时,保证数据查询结果的准确性,是本领域技术人员亟待解决的问题。

技术实现思路

1、本技术的目的是提供数据查询方法、数据处理方法、装置、电子设备及计算机可读存储介质,可以在有效降低数据查询成本的同时,保证数据查询结果的准确性。

2、第一方面,本技术公开了一种数据查询方法,包括:

3、接收目标查询指令,并确定所述目标查询指令的任务标识;

4、将与所述任务标识相匹配的软提示向量插入所述目标查询指令,得到所述优化后查询指令;

5、利用目标模型对所述优化后查询指令进行编码处理,得到查询嵌入向量;

6、将所述查询嵌入向量与预设置的文档向量索引进行匹配,得到目标文档向量索引对应的文档数据并将所述文档数据作为所述目标查询指令对应的查询结果;

7、其中,所述文档向量索引由所述目标模型按照原始编码方式对全量文档数据进行编码后预先构建,且在数据查询过程中保持不变。

8、优选地,所述文档向量索引的设置过程,包括:

9、获取全量文档数据;

10、利用所述目标模型对各所述文档数据进行编码处理,得到文档嵌入向量;

11、根据所述文档嵌入向量构建相应的文档向量索引。

12、本技术公开了一种数据处理方法,包括:

13、获取多组相互对应的查询样本和文档样本嵌入向量,对各所述查询样本插入可训练软提示向量,得到各优化查询样本;所述文档样本嵌入向量为对应文档样本的预编码向量;

14、利用目标模型对各所述优化查询样本进行编码处理,得到查询样本嵌入向量;

15、根据所述查询样本嵌入向量和文档样本嵌入向量进行损失计算,并利用损失值对所述可训练软提示向量进行迭代更新,得到软提示向量;

16、其中,所述软提示向量用于插入目标查询指令以优化指令,使目标模型基于优化后的指令进行文档查询。

17、优选地,对各所述查询样本插入可训练软提示向量,得到各优化查询样本,包括:

18、将所述查询样本拆分为查询指令段和查询文本段;

19、在所述查询指令段和所述查询文本段之间插入所述可训练软提示向量,得到所述优化查询样本。

20、优选地,对各所述查询样本插入可训练软提示向量,得到各优化查询样本,包括:

21、根据所述查询样本的批注数量确定所述可训练软提示向量的目标数量;

22、将所述目标数量个可训练软提示向量插入所述查询样本,得到所述优化查询样本。

23、优选地,对各所述查询样本插入可训练软提示向量,得到各优化查询样本之前,还包括:

24、确定所述查询样本和所述文档样本所属的数据查询领域;

25、获取所述数据查询领域对应的描述性文本;

26、利用所述目标模型对所述描述性文本进行编码处理,得到所述可训练软提示向量的初始值。

27、优选地,根据所述查询样本嵌入向量和所述文档样本嵌入向量进行损失计算,包括:

28、根据所述查询样本嵌入向量和所述文档样本嵌入向量计算得到对比学习损失;

29、对所述对比学习损失叠加所述可训练软提示向量对应的损失,得到所述损失值。

30、第二方面,本技术还公开了一种数据查询装置,包括:

31、指令接收模块,用于接收目标查询指令,并确定所述目标查询指令的任务标识;

32、指令优化模块,用于将与所述任务标识相匹配的软提示向量插入所述目标查询指令,得到所述优化后查询指令;

33、向量化模块,用于利用目标模型对所述优化后查询指令进行编码处理,得到查询嵌入向量;

34、查询处理模块,用于将所述查询嵌入向量与预设置的文档向量索引进行匹配,得到目标文档向量索引对应的文档数据作为所述目标查询指令对应的查询结果;

35、其中,所述文档向量索引由所述目标模型按照原始编码方式对全量文档数据进行编码后预先构建,且在数据查询过程中保持不变。

36、本技术公开了一种数据处理装置,包括:

37、样本优化模块,用于获取多组相互对应的查询样本和文档样本嵌入向量,对各所述查询样本插入可训练软提示向量,得到各优化查询样本;所述文档样本嵌入向量为对应文档样本的预编码向量;

38、向量处理模块,用于利用目标模型对各所述优化查询样本进行编码处理,得到查询样本嵌入向量;

39、训练模块,用于根据所述查询样本嵌入向量和文档样本嵌入向量进行损失计算,并利用损失值对所述可训练软提示向量进行迭代更新,得到软提示向量;

40、其中,所述软提示向量用于插入目标查询指令以优化指令,使目标模型基于优化后的指令进行文档查询。

41、第三方面,本技术还公开了一种电子设备,包括:

42、存储器,用于存储计算机程序;

43、处理器,用于执行所述计算机程序时实现如上所述的任一种数据查询方法或数据处理方法的步骤。

44、第四方面,本技术还公开了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的任一种数据查询方法或数据处理方法的步骤。

45、应用本技术所提供的一种数据查询方法,包括:接收目标查询指令,并确定目标查询指令的任务标识;将与任务标识相匹配的软提示向量插入目标查询指令,得到优化后查询指令;利用目标模型对优化后查询指令进行编码处理,得到查询嵌入向量;将查询嵌入向量与预设置的文档向量索引进行匹配,得到目标文档向量索引对应的文档数据并将文档数据作为目标查询指令对应的查询结果;其中,文档向量索引由目标模型按照原始编码方式对全量文档数据进行编码后预先构建,且在数据查询过程中保持不变。

46、可见,本技术所提供的数据查询方法,通过接收目标查询指令并确定其任务标识,动态插入与该标识相匹配的软提示向量,使原始查询在编码前获得针对特定任务的语义引导,从而增强目标模型对查询意图的编码表征,提升与文档向量的匹配精准度。同时,由于文档向量索引由目标模型按照原始编码方式预先构建,且在全部查询过程中保持不变,该方法无需因查询侧的调整而重建已有向量索引,大幅降低了索引维护与更新的系统开销。综上,本方案在保持索引结构稳定的前提下,通过查询侧的软提示适配,实现了查询准确性与工程成本的有效平衡。

47、应用本技术所提供的一种数据处理方法,该方法包括:获取多组相互对应的查询样本和文档样本嵌入向量,对各查询样本插入可训练软提示向量,得到各优化查询样本;文档样本嵌入向量为对应文档样本的预编码向量;利用目标模型对各优化查询样本进行编码处理,得到查询样本嵌入向量;根据查询样本嵌入向量和文档样本嵌入向量进行损失计算,并利用损失值对可训练软提示向量进行迭代更新,得到软提示向量;其中,软提示向量用于插入目标查询指令以优化指令,使目标模型基于优化后的指令进行文档查询。

48、可见,本技术所提供的数据处理方法,获得的软提示向量用于插入目标查询指令以优化指令,使目标模型基于优化后的指令进行文档查询。在生成该软提示向量的过程中,文档样本嵌入向量采用预编码向量,这使得文档侧的原始编码基准得以完整保留。因此,已构建的文档向量索引在软提示向量生成后无需进行任何重建或更新操作,始终保持预先构建的稳定状态。同时,该软提示向量作为可独立配置的参数,能够在查询阶段按照需求灵活接入目标查询指令,通过调整查询输入的表征方式来适配目标模型,而无需对目标模型的模型参数或网络结构进行任何改动。从而在不改变既有索引和模型的基础上,实现对查询指令的有效优化。

49、本技术所提供的装置、电子设备及计算机可读存储介质,均具有上述有益效果,在此不再赘述。