大语言模型生成内容的匹配方法、装置与计算机设备与流程

本技术涉及人工智能与信息检索，特别是涉及一种大语言模型生成内容的匹配方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

背景技术：

1、在大语言模型的应用场景中，为生成的文本片段自动标注来源是提升内容可信度的关键环节。具体来说，引用标注旨在为大语言模型生成的内容提供高可信度的依据，可以强制要求引用内容具备客观的字面来源，能够有效降低并抑制大语言模型产生“幻觉”的风险。

2、目前，在为大语言模型生成的文本匹配引用来源时，通常采用单一的相似度计算方式，例如，仅将查询文本和文档库文本转化为向量后，计算两者之间的余弦相似度，若相似度分数高于预设的固定阈值，则视为匹配成功，该单一维度的匹配策略难以保证高精度的匹配，容易出现误匹配或漏匹配，导致大语言模型在输出内容时引用到不相关的文档片段，影响最终呈现的引用信息的参考价值，存在大语言模型生成内容的引用准确性较低的问题。

技术实现思路

1、基于此，有必要针对上述技术问题，提供一种能够提高大语言模型生成内容的引用准确性的大语言模型生成内容的匹配方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

2、第一方面，本技术提供了一种大语言模型生成内容的匹配方法，包括：

3、获取大语言模型生成的模型响应内容，以及所述模型响应内容对应的候选文档片段集合；所述候选文档片段集合包括多个候选文档片段；

4、确定所述模型响应内容与所述候选文档片段之间在多个维度的相似度特征值；所述多个维度的相似度特征值至少包括向量语义特征值、关键词检索特征值与词汇重叠特征值；

5、获取所述多个候选文档片段的数量特征与各所述相似度特征值的分布特征，以及，根据所述数量特征与所述分布特征，确定所述向量语义特征值、所述关键词检索特征值与所述词汇重叠特征值各自对应的权重；

6、根据所述权重，对所述向量语义特征值、所述关键词检索特征值与所述词汇重叠特征值进行处理，得到所述候选文档片段对应的匹配分数，以及，提取各所述候选文档片段对应的所述匹配分数的统计特征；

7、基于所述统计特征确定出用于筛选所述候选文档片段的目标阈值，以及，将所述匹配分数满足所述目标阈值的候选文档片段标注为所述模型响应内容的引用来源。

8、在其中一个实施例中，所述确定所述模型响应内容与所述候选文档片段之间在多个维度的相似度特征值，包括：

9、根据所述模型响应内容和所述候选文档片段各自对应的特征向量之间的向量相似度，确定所述向量语义特征值；

10、从所述模型响应内容中提取对应的关键词，根据所述关键词在所述候选文档片段中的词频与逆文档频率，确定所述关键词检索特征值；

11、根据所述模型响应内容与所述候选文档片段之间的字面重叠程度，确定所述词汇重叠特征值；

12、根据所述向量语义特征值、所述关键词检索特征值与所述词汇重叠特征值，确定所述多个维度的相似度特征值。

13、在其中一个实施例中，所述根据所述数量特征与所述分布特征，确定所述向量语义特征值、所述关键词检索特征值与所述词汇重叠特征值各自对应的权重，包括：

14、将预设权重确定为所述词汇重叠特征值对应的权重；

15、根据所述数量特征，确定所述向量语义特征值与所述关键词检索特征值各自对应的基础权重；

16、根据所述分布特征，对各所述基础权重进行调整，得到所述向量语义特征值与所述关键词检索特征值对应的权重。

17、在其中一个实施例中，所述根据所述数量特征，确定所述向量语义特征值与所述关键词检索特征值各自对应的基础权重，包括：

18、在所述数量特征指示的候选文档片段数量小于第一数量阈值的情况下，将所述向量语义特征值对应的基础权重确定为第一权重值，以及将所述关键词检索特征值对应的基础权重确定为第二权重值；

19、在所述候选文档片段数量大于或等于第二数量阈值的情况下，将所述向量语义特征值对应的基础权重确定为第三权重值，以及将所述关键词检索特征值对应的基础权重确定为第四权重值；其中，所述第二数量阈值大于所述第一数量阈值，所述第三权重值小于所述第一权重值，所述第四权重值大于所述第二权重值；

20、在所述候选文档片段数量大于或等于所述第一数量阈值，以及小于所述第二数量阈值的情况下，在所述第一权重值与所述第三权重值之间进行插值计算，确定所述向量语义特征值对应的基础权重，以及，在所述第二权重值与所述第四权重值之间进行插值计算，确定所述关键词检索特征值对应的基础权重。

21、在其中一个实施例中，所述分布特征包括标准差与均值；所述根据所述分布特征，对各所述基础权重进行调整，包括：

22、在所述向量语义特征值对应的标准差大于所述关键词检索特征值对应的标准差的情况下，提高所述向量语义特征值的基础权重，以及降低所述关键词检索特征值的基础权重；

23、在所述关键词检索特征值对应的标准差大于所述向量语义特征值对应的标准差的情况下，提高所述关键词检索特征值的基础权重，以及降低所述向量语义特征值的基础权重；

24、在所述向量语义特征值对应的均值大于预设均值阈值，且所述关键词检索特征值对应的均值小于或等于所述预设均值阈值的情况下，提高所述向量语义特征值对应的基础权重，以及降低所述关键词检索特征值对应的基础权重；

25、在所述关键词检索特征值对应的均值大于所述预设均值阈值，且所述向量语义特征值对应的均值小于或等于所述预设均值阈值的情况下，提高所述关键词检索特征值对应的基础权重，以及降低所述向量语义特征值对应的基础权重。

26、在其中一个实施例中，所述统计特征包括最高分、最低分、标准差以及均值；所述基于所述统计特征确定出用于筛选所述候选文档片段的目标阈值，包括：

27、在所述最高分小于第一极值阈值的情况下，降低用于筛选所述候选文档片段的初始阈值；在所述最低分大于第二极值阈值的情况下，提高所述初始阈值；所述第二极值阈值大于所述第一极值阈值；

28、在所述标准差大于预设离散阈值的情况下，降低所述初始阈值；在所述标准差小于预设集中阈值的情况下，提高所述初始阈值；所述预设集中阈值小于所述预设离散阈值；

29、在所述均值大于第一均值阈值的情况下，提高所述初始阈值；在所述均值小于第二均值阈值的情况下，降低所述初始阈值；所述第二均值阈值小于所述第一均值阈值；

30、根据调整后的所述初始阈值，确定所述目标阈值。

31、第二方面，本技术还提供了一种大语言模型生成内容的匹配装置，包括：

32、获取模块，用于获取大语言模型生成的模型响应内容，以及所述模型响应内容对应的候选文档片段集合；所述候选文档片段集合包括多个候选文档片段；

33、确定模块，用于确定所述模型响应内容与所述候选文档片段之间在多个维度的相似度特征值；所述多个维度的相似度特征值至少包括向量语义特征值、关键词检索特征值与词汇重叠特征值；

34、所述确定模块，还用于获取所述多个候选文档片段的数量特征与各所述相似度特征值的分布特征，以及，根据所述数量特征与所述分布特征，确定所述向量语义特征值、所述关键词检索特征值与所述词汇重叠特征值各自对应的权重；

35、计算模块，用于根据所述权重，对所述向量语义特征值、所述关键词检索特征值与所述词汇重叠特征值进行处理，得到所述候选文档片段对应的匹配分数，以及，提取各所述候选文档片段对应的所述匹配分数的统计特征；

36、标注模块，用于基于所述统计特征确定出用于筛选所述候选文档片段的目标阈值，以及，将所述匹配分数满足所述目标阈值的候选文档片段标注为所述模型响应内容的引用来源。

37、第三方面，本技术还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

38、第四方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法的步骤。

39、第五方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。

40、上述大语言模型生成内容的匹配方法、装置、计算机设备、计算机可读存储介质和计算机程序产品，获取大语言模型生成的模型响应内容，以及模型响应内容对应的候选文档片段集合，候选文档片段集合包括多个候选文档片段；确定模型响应内容与候选文档片段之间在多个维度的相似度特征值，多个维度的相似度特征值至少包括向量语义特征值、关键词检索特征值与词汇重叠特征值；获取多个候选文档片段的数量特征与各相似度特征值的分布特征，以及，根据数量特征与分布特征，确定向量语义特征值、关键词检索特征值与词汇重叠特征值各自对应的权重；根据权重，对向量语义特征值、关键词检索特征值与词汇重叠特征值进行处理，得到候选文档片段对应的匹配分数，以及，提取各候选文档片段对应的匹配分数的统计特征；基于统计特征确定出用于筛选候选文档片段的目标阈值，以及，将匹配分数满足目标阈值的候选文档片段标注为模型响应内容的引用来源。如此，通过向量语义、关键词检索与词汇重叠等多个维度的相似度特征值对各候选文档片段进行加权评分，根据候选文档片段集合的数量特征及各相似度特征值的分布特征动态确定各维度特征值的权重，并基于各候选文档片段匹配分数的统计特征自适应确定筛选阈值，使得匹配过程能够兼顾语义理解、关键词区分与字面验证，避免了单一维度匹配和固定阈值所带来的误匹配与漏匹配问题，实现了高精度、高鲁棒性的内容匹配，从而提升了大语言模型生成内容的引用准确性，并降低了因引用错误而产生的“幻觉”风险。