一种检索增强生成方法及装置与流程

本申请涉及自然语言处理，特别是涉及一种检索增强生成方法及装置。

背景技术：

1、随着深度学习技术的飞速发展，大语言模型（large language models，llms）在自然语言生成任务中展现出卓越的能力。为了解决大语言模型固有的知识滞后性和幻觉问题，检索增强生成（retrieval-augmented generation，rag）技术成为行业主流方案，该技术通过从外部知识库检索相关文档作为上下文，引导大模型生成准确答案。

2、然而，现有的检索增强生成技术仍存在以下瓶颈：

3、传统稀疏检索的语义鸿沟：目前大多数工业级rag系统仍依赖tf-idf（termfrequency-inverse document frequency‌，‌词频-逆文档频率）、bm25（best matching25）等基于关键词匹配的稀疏向量空间模型，这类方法主要基于字面重叠度进行检索，难以捕捉查询与文档之间的深层语义关联。例如，当用户提问包含同义词或改写句式（如“坏蛋”与“反派”）而与文档中的词汇不完全匹配时，传统稀疏检索方法往往无法召回正确文档。

4、“一模型通吃”架构的计算开销大、延迟高、输出质量无法保障：为了弥补检索精度的不足，部分现有方案倾向于利用大语言模型本身进行多轮检索、重排序甚至阅读理解。虽然提升了准确率，但大语言模型参数量巨大，推理成本高昂。若对海量文档直接应用大语言模型进行全量扫描及阅读，会导致极高的模型调用成本和秒级以上的响应延迟，难以满足实时交互需求。另外，大语言模型的上下文窗口（context window）虽然在不断扩大，但经过多轮检索、重排序和阅读理解，会向大语言模型中输入过长的文本，不仅浪费大语言模型的算力，还极易引入噪声，导致模型注意力分散（lost in the middle）现象，即对输入文本中的无关或次要内容分配了过多权重，影响大语言模型的输出质量。

技术实现思路

1、本申请提供一种检索增强生成方法及装置，以解决或至少部分解决相关技术中的缺陷或不足。

2、第一方面，本申请提供一种检索增强生成方法，所述检索增强生成方法包括：

3、获取原始问题文本，并基于所述原始问题文本通过问题编码器映射得到问题稠密向量；

4、根据预设的知识稠密向量集合中的每一知识稠密向量与所述问题稠密向量的相似度，从每一所述知识稠密向量对应的文本段落中筛选得到候选段落集合；所述知识稠密向量集合为通过段落编码器分别对多个文本段落进行映射得到的，所述多个文本段落为对预存的多个文档中的内容进行分割得到的；

5、根据所述候选段落集合中的每一候选段落与所述原始问题文本的相关度，从所述候选段落集合中筛选得到关键段落集合；

6、基于所述原始问题文本和所述关键段落集合生成结构化问题提示词；

7、将所述结构化问题提示词输入大语言模型，通过所述大语言模型生成得到所述原始问题文本对应的答案文本。

8、第二方面，本申请提供一种检索增强生成装置，所述检索增强生成装置包括：

9、问题编码模块，用于获取原始问题文本，并基于所述原始问题文本通过问题编码器映射得到问题稠密向量；

10、第一筛选模块，用于根据预设的知识稠密向量集合中的每一知识稠密向量与所述问题稠密向量的相似度，从每一所述知识稠密向量对应的文本段落中筛选得到候选段落集合；所述知识稠密向量集合为通过段落编码器分别对多个文本段落进行映射得到的，所述多个文本段落为对预存的多个文档中的内容进行分割得到的；

11、第二筛选模块，用于根据所述候选段落集合中的每一候选段落与所述原始问题文本的相关度，从所述候选段落集合中筛选得到关键段落集合；

12、提示词生成模块，用于基于所述原始问题文本和所述关键段落集合生成结构化问题提示词；

13、答案生成模块，用于将所述结构化问题提示词输入大语言模型，通过所述大语言模型生成得到所述原始问题文本对应的答案文本。

14、根据本申请提供的具体实施例，本申请公开了以下技术效果：

15、本申请提供了一种检索增强生成方法及装置，通过大小模型协同实现答案的检索增强生成。首先，本申请实施例通过小型模型（即问题编码器和段落编码器）将原始问题文本和作为知识的多个文本段落映射为能够捕捉语义的稠密向量，并利用稠密向量的相似度在稠密向量空间衡量原始问题文本与文本段落的距离，如此，能够提升对于问题的同义词和隐含语义的捕捉能力，有效克服语义鸿沟，提高了文本段落召回的准确度；其次，本申请实施例基于与问题语义的相似度对多个文本段落进行粗粒度检索初筛，进一步基于与问题的相关度实现对粗粒度初筛得到的文本段落进行细粒度检索筛选，实现了基于语义相似度和文本相关度的分级检索筛选，然后再将问题与分级检索筛选得到的文本段落整合为提示词进而输入大语言模型中，通过对知识的分级检索筛选，能够预先将大语言模型的输入上下文大幅压缩，并确保大语言模型的输入上下文为高置信度信息，如此，无需多轮调用大语言模型，从而避免大语言模型的算力浪费，降低了大语言模型的生成延迟，大语言模型基于高置信度且长度不会过长的输入上下文进行答案生成，能够避免模型注意力分散现象，提升大语言模型的输出质量。

1.一种检索增强生成方法，其特征在于，所述检索增强生成方法包括：

2.根据权利要求1所述的检索增强生成方法，其特征在于，所述问题编码器和/或所述段落编码器通过训练得到，所述问题编码器和/或所述段落编码器的训练方法包括：

3.根据权利要求2所述的检索增强生成方法，其特征在于，所述问题编码器和/或所述段落编码器的训练目标为最小化所述文本段落正样本的负对数似然损失函数；

4.根据权利要求1所述的检索增强生成方法，其特征在于，所述根据所述候选段落集合中的每一候选段落与所述原始问题文本的相关度，从所述候选段落集合中筛选得到关键段落集合，包括：

5.根据权利要求4所述的检索增强生成方法，其特征在于，所述概率预测模型表示为以下公式(2)；

6.根据权利要求4所述的检索增强生成方法，其特征在于，所述根据所述候选段落的概率分数，确定所述候选段落的相关性得分，包括：

7.根据权利要求1所述的检索增强生成方法，其特征在于，所述基于所述原始问题文本通过问题编码器映射得到问题稠密向量，包括：

8.根据权利要求4所述的检索增强生成方法，其特征在于，所述基于所述原始问题文本和所述关键段落集合生成结构化问题提示词，包括：

9.根据权利要求1所述的检索增强生成方法，其特征在于，所述知识稠密向量与所述问题稠密向量的相似度通过以下公式(4)确定；

10.一种检索增强生成装置，其特征在于，所述检索增强生成装置包括：