基于检索增强生成的问题根因定位方法、设备及存储介质与流程

本申请涉及数据处理，尤其涉及一种基于检索增强生成的问题根因定位方法、设备及存储介质。

背景技术：

1、当前，在知识问答、摘要归纳等任务场景中，常见的实现方式是从外部知识库中检索与用户问题或主题相关的文档片段，然后将这些片段作为上下文提供给大语言模型，由大语言模型基于检索到的素材进行理解、归纳与生成，最终输出有据可查的答案或摘要；通过结合大语言模型和检索增强系统，提升了问答、摘要等任务的准确性与可信度。

2、在基于检索结果对检索增强生成系统进行性能评估时，现有的方法是通过人工抽查或检索召回率、答案相似度等指标进行性能评估。然而，这种方式无法系统性地评估检索增强生成系统在广泛知识覆盖与复杂语境理解两个维度上的综合表现，难以快速判断问题根源在于知识源缺陷、检索模块失效，还是大语言模型生成能力不足，导致优化工作盲目且效率低下。

3、上述内容仅用于辅助理解本申请的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种基于检索增强生成的问题根因定位方法，旨在解决如何快速、准确地将性能问题映射到具体的技术环节，提升调优的针对性和效率的技术问题。

2、为了解决上述问题，本申请提供了一种基于检索增强生成的问题根因定位方法，上述基于检索增强生成的问题根因定位方法包括：

3、获取预训练的大语言模型输出的目标推理结果，对所述目标推理结果进行多维度评分，得到评分结果；

4、将所述评分结果按照知识点维度和问题类型维度进行聚合，并基于聚合结果生成热力图；

5、根据所述热力图中分数的分布模式，确定所述目标推理结果对应的问题根因，其中，不同的所述分布模式对应不同的所述问题根因。

6、在一实施例中，所述对所述目标推理结果进行多维度评分，得到评分结果的步骤包括：

7、基于所述大语言模型的评估器，对所述目标推理结果进行多维度评分，得到子评分，所述子评分包括准确性评分、完整性评分、忠实度评分以及逻辑性评分中的一项或者多项；

8、对各个所述子评分进行加权求和，得到所述评分结果。

9、在一实施例中，所述根据所述热力图中分数的分布模式，确定所述检索结果的问题根因的步骤包括：

10、将所述热力图中各个问题类型行和各个知识点列的所述综合平均分，分别与预设的性能阈值进行对比；

11、若存在所述问题类型行的所述综合平均分小于对应的所述性能阈值，则确认所述问题根因是知识点覆盖度不足，和/或，检索准确性不足；

12、若存在所述知识点列的所述综合平均分小于对应的所述性能阈值，则确认所述问题根因是所述语义大模型的推理能力不足。

13、在一实施例中，所述将所述评分结果按照知识点维度和问题类型维度进行聚合，并基于聚合结果生成热力图的步骤包括：

14、按照各个所述评分结果的知识点标签和问题类型标签，确定各个所述评分结果的综合平均分；

15、将所述知识点标签作为横坐标，所述问题类型标签作为纵坐标，所述平均分作为色值，生成所述热力图。

16、在一实施例中，在所述若存在所述行的所述综合平均分小于对应的所述性能阈值，则确认所述问题根因是知识点覆盖度不足，和/或，检索准确性不足的步骤之后，所述的基于检索增强生成的问题根因定位方法还包括：

17、确定所述综合平均分小于对应的所述性能阈值的目标知识列，将所述目标知识列对应的目标知识点标签为作为检索关键词，基于所述检索关键词对知识库进行补充；

18、和/或，对预设的检索相似度阈值以及检索结果的筛选数量进行调整，得到更新后的检索参数，基于更新后的所述检索参数进行检索；

19、和/或，调用所述检索增强模块，采用密集向量检索与稀疏关键词检索的策略进行检索。

20、在一实施例中，在所述若存在所述列的所述综合平均分小于对应的所述性能阈值，则确认所述问题根因是所述语义大模型的推理能力不足的步骤之后，所述的基于检索增强生成的问题根因定位方法还包括：

21、当存在所述问题类型行的所述综合平均分小于对应的所述性能阈值，基于所述问题类型行对预设的提示词模版进行改进；

22、和/或，基于所述问题类型行对应的测试问题，对所述大语言模型进行微调；

23、获取所述大语言模型生成的多个的推理路径，以及各个所述推理路径对应的初始推理结果，将出现次数最多的所述始推理结果确定为所述目标推理结果。

24、在一实施例中，在所述将所述热力图中各个行和各个列的所述综合平均分，分别与预设的性能阈值进行对比的步骤之后，所述的基于检索增强生成的问题根因定位方法还包括：

25、若存在所述问题类型行的所述综合平均分小于对应的所述性能阈值，和/或，所述知识点列的所述综合平均分小于对应的所述性能阈值，则确认存在低分单元格。

26、在一实施例中，在所述获取预训练的大语言模型输出的目标检索结果，对所述目标检索结果进行多维度评分，得到评分结果的步骤之前，所述的基于检索增强生成的问题根因定位方法还包括：

27、根据测试问题、期望答案、所述测试问题的知识点标签以及所述测试问题的问题类型标签，生成测试集；

28、调用检索增强生成模块，对所述测试集进行遍历检索，得到检索结果；

29、将所述检索结果和所述测试问题输入所述大语言模型，得到所述测试问题对应的测试结果。

30、此外，为实现上述目的，本申请还提出一种基于检索增强生成的问题根因定位方法设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的基于检索增强生成的问题根因定位方法的步骤。

31、此外，为实现上述目的，本申请还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于检索增强生成的问题根因定位方法的步骤。

32、本申请提供了一种基于检索增强生成的问题根因定位方法，通过知识-语境二维评估框架和热力图，将rag在知识覆盖和语境处理两个维度的性能以直观图像呈现，能够一目了然地掌握系统的全局能力图谱与局部短板。通过分析热力图中分数的分布模式，能够快速、准确地将性能问题映射到具体的技术环节，提升了调优的针对性和效率。

1.一种基于检索增强生成的问题根因定位方法，其特征在于，所述基于检索增强生成的问题根因定位方法包括：

2.如权利要求1所述的基于检索增强生成的问题根因定位方法，其特征在于，所述对所述目标推理结果进行多维度评分，得到评分结果的步骤包括：

3.如权利要求1所述的基于检索增强生成的问题根因定位方法，其特征在于，所述根据所述热力图中分数的分布模式，确定所述检索结果的问题根因的步骤包括：

4.如权利要求3所述的基于检索增强生成的问题根因定位方法，其特征在于，所述将所述评分结果按照知识点维度和问题类型维度进行聚合，并基于聚合结果生成热力图的步骤包括：

5.如权利要求3所述的基于检索增强生成的问题根因定位方法，其特征在于，在所述若存在所述行的所述综合平均分小于对应的所述性能阈值，则确认所述问题根因是知识点覆盖度不足，和/或，检索准确性不足的步骤之后，所述的基于检索增强生成的问题根因定位方法还包括：

6.如权利要求3所述的基于检索增强生成的问题根因定位方法，其特征在于，在所述若存在所述列的所述综合平均分小于对应的所述性能阈值，则确认所述问题根因是所述语义大模型的推理能力不足的步骤之后，所述的基于检索增强生成的问题根因定位方法还包括：

7.如权利要求3所述的基于检索增强生成的问题根因定位方法，其特征在于，在所述将所述热力图中各个行和各个列的所述综合平均分，分别与预设的性能阈值进行对比的步骤之后，所述的基于检索增强生成的问题根因定位方法还包括：

8.如权利要求1所述的基于检索增强生成的问题根因定位方法，其特征在于，在所述获取预训练的大语言模型输出的目标检索结果，对所述目标检索结果进行多维度评分，得到评分结果的步骤之前，所述的基于检索增强生成的问题根因定位方法还包括：

9.一种基于检索增强生成的问题根因定位设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如权利要求1至8中任一项所述的基于检索增强生成的问题根因定位方法的步骤。

10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的基于检索增强生成的问题根因定位方法的步骤。