长上下文检索增强生成方法、装置、设备、介质及产品与流程

本技术涉及自然语言处理领域，特别是涉及一种长上下文检索增强生成方法、装置、设备、介质及产品。

背景技术：

1、随着大规模语言模型的快速发展，人工智能在处理跨领域知识、理解复杂语义关系以及执行推理任务方面展现出前所未有的能力。尤其在长文本问答、企业知识管理和多轮决策系统等场景中，检索增强生成（rag）技术已成为扩展语言模型知识边界的核心途径。用户只需提交一个问题，系统便能够从外部知识库中检索大量相关材料，随后将这些内容整合输入至语言模型，从而生成信息充分、逻辑严密的回答。这种方式极大提升了语言模型对事实性知识的掌握，使许多高成本、高专业度的信息处理任务实现自动化。然而，随着可检索知识规模的不断扩大，模型需要处理的上下文长度迅速增长，庞大的检索内容使得系统在推理阶段面临显著的计算成本问题，导致推理效率低下。

2、综上，现有技术中的检索增强生成方法存在长上下文检索增强生成推理计算成本高、效率低的技术问题。

技术实现思路

1、本技术的目的是提供一种长上下文检索增强生成方法、装置、设备、介质及产品，可以解决现有技术中的检索增强生成方法存在长上下文检索增强生成推理计算成本高、效率低的技术问题。

2、为实现上述目的，本技术提供了如下方案：

3、第一方面，本技术提供了一种长上下文检索增强生成方法，包括：

4、获取基于问题词元检索到的待处理文本；

5、根据待处理文本和预设编码器，生成多个初始块嵌入向量；

6、将多个初始块嵌入向量转换至预设解码器的输入格式，得到多个目标块嵌入向量；

7、将多个目标块嵌入向量和问题词元输入至预设解码器，生成目标问题解答。

8、可选地，根据待处理文本和预设编码器，生成多个初始块嵌入向量，具体包括：将待处理文本按照预设长度或语意边界进行划分，得到多个上下文块；利用预设编码器对多个上下文块进行编码压缩，得到多个初始块嵌入向量。

9、可选地，将多个目标块嵌入向量和问题词元输入至预设解码器，生成目标问题解答，具体包括：将多个目标块嵌入向量和问题词元进行拼接，得到拼接序列；利用解码器，对拼接序列进行解码处理，生成目标问题解答。

10、可选地，利用解码器，对拼接序列进行解码处理，生成目标问题解答，具体包括：利用解码器，计算多个目标块嵌入向量与问题向量的相关性，得到多个相似度，其中，问题向量根据问题词元确定；将多个相似度与预设相似度阈值进行对比，确定高相似度，其中，高相似度为多个相似度中大于预设相似度阈值的相似度；将高相似度对应的目标块嵌入向量转换为原始上下文块；根据原始上下文块和非高相似度对应的多个目标块嵌入向量，生成目标问题解答。

11、可选地，将多个目标块嵌入向量和问题词元输入至预设解码器，生成目标问题解答，具体包括：构建奖励函数，其中，奖励函数包括生成质量和计算成本惩罚，生成质量根据生成文本和原始文本的相似度确定，计算成本惩罚根据解码开销确定；基于奖励函数和问题词元，利用预设解码器对多个目标块嵌入向量进行分类，得到分类结果；根据分类结果，生成目标问题解答，其中，分类结果中包括解压缩类和压缩类，解压缩类对应的目标块嵌入向量在用于生成目标问题解答时需要转换为原始上下文块，压缩类对应的目标块嵌入向量在用于生成目标问题解答时保持压缩形式。

12、可选地，将多个初始块嵌入向量转换至预设解码器的输入格式，得到多个目标块嵌入向量，具体包括：利用预设投影层将多个初始块嵌入向量转换至预设解码器的输入格式，得到多个目标块嵌入向量，其中，预设投影层和预设编码器通过基于块重建任务的联合预训练得到。

13、第二方面，本技术提供了一种长上下文检索增强生成装置，包括：

14、获取模块，用于获取基于问题词元检索到的待处理文本；第一生成模块，用于根据所述待处理文本和预设编码器，通过编码压缩生成多个初始块嵌入向量；转换模块，用于将多个初始块嵌入向量转换至预设解码器的输入格式，得到多个目标块嵌入向量；第二生成模块，用于将多个目标块嵌入向量和问题词元输入至预设解码器，生成目标问题解答。

15、可选地，第一生成模块还用于：将待处理文本按照预设长度或语意边界进行划分，得到多个上下文块；利用所述预设编码器对所述多个上下文块进行降维压缩处理，得到所述多个初始块嵌入向量。

16、可选地，第二生成模块还用于：将多个目标块嵌入向量和问题词元进行拼接，得到拼接序列；利用解码器，对拼接序列进行解码处理，生成目标问题解答。

17、可选地，第二生成模块还用于：利用解码器，计算多个目标块嵌入向量与问题向量的相关性，得到多个相似度，其中，问题向量根据问题词元确定；将多个相似度与预设相似度阈值进行对比，确定高相似度，其中，高相似度为多个相似度中大于预设相似度阈值的相似度；将高相似度对应的目标块嵌入向量转换为原始上下文块；根据原始上下文块和非高相似度对应的多个目标块嵌入向量，生成目标问题解答。

18、可选地，第二生成模块还用于：构建奖励函数，其中，奖励函数包括生成质量和计算成本惩罚，生成质量根据生成文本和原始文本的相似度确定，计算成本惩罚根据解码开销确定；基于奖励函数和问题词元，利用预设解码器对多个目标块嵌入向量进行分类，得到分类结果；根据分类结果，生成目标问题解答，其中，分类结果中包括解压缩类和压缩类，解压缩类对应的目标块嵌入向量在用于生成目标问题解答时需要转换为原始上下文块，压缩类对应的目标块嵌入向量在用于生成目标问题解答时保持压缩形式。

19、可选地，转换模块还用于：利用预设投影层将多个初始块嵌入向量转换至预设解码器的输入格式，得到多个目标块嵌入向量，其中，预设投影层和预设编码器通过基于块重建任务的联合预训练得到。

20、第三方面，本技术提供了一种计算机设备，包括：存储器、处理器以存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述中任一项所述的长上下文检索增强生成方法的步骤。

21、第四方面，本技术提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述中任一项所述的长上下文检索增强生成方法的步骤。

22、第五方面，本技术提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述中任一项所述的长上下文检索增强生成方法的步骤。

23、根据本技术提供的具体实施例，本技术公开了以下技术效果：

24、本技术提供了一种长上下文检索增强生成方法、装置、设备、介质及产品，方法先基于问题词元检索待处理文本，避免全量文本冗余计算；再通过预设编码器将待处理文本生成初始块嵌入向量，以紧凑向量替代长文本序列，压缩数据体量并降低编码计算量；接着将初始块嵌入向量转换为预设解码器兼容的输入格式，保证向量与解码器输入空间对齐，避免格式不匹配导致的无效计算；最后将目标块嵌入向量与问题词元输入预设解码器生成目标问题解答，以块级向量参与解码计算，减少长文本词元的注意力运算量，从检索、编码、格式对齐到解码全流程降低推理开销。综上，本发明提供的方法在精简数据规模、降低计算复杂度的同时，完整保留了核心语义信息，进而解决了现有技术中的检索增强生成方法存在长上下文检索增强生成推理计算成本高、效率低的技术问题。