模型可信度评估方法、装置、电子设备及介质与流程

本技术实施例涉及人工智能，具体涉及一种模型可信度评估方法、装置、电子设备及介质。

背景技术：

1、近年来，大语言模型（large language models，llm）在对话系统、内容生成、任务执行等多个领域取得了广泛应用。然而，随着模型能力的不断提升，大语言模型可能生成与事实不符的虚假信息，甚至在某些情况下输出明知不实的陈述。

2、目前，相关技术中，对模型进行可信度评估主要分为三类方案：一是基于事实库核查方法，通过将生成内容与事实数据库或检索引擎比对判断真伪；二是基于一致性检测的方法，通过对比模型多次输出的差异评估模型可信度；三是基于对比学习的方法，通过构建真假互补的问答样本对，依托概率互补特性判别回答真伪。

3、然而，相关技术仅依赖输出文本判断模型可信度，属于黑盒检测方法，难以解释判断依据；且易受语句修辞、语言模糊性干扰，应对复杂语义场景能力不足，误判概率较高，无法满足高可靠场景下的模型可信度评估需求。

技术实现思路

1、本技术提供一种模型可信度评估方法、装置、电子设备及介质，以解决相关技术中仅依托输出文本评估模型可信度、判定逻辑缺乏可解释性且易产生误判的问题。

2、第一方面，本技术实施例提供了一种模型可信度评估的方法，该方法包括：获取预设语言模型在对目标语句进行推理时产生的激活向量，激活向量用于表征预设语言模型对目标语句完成语义理解后形成的内在认知结果；基于预构建的语句真值方向向量和语义极性方向向量，对激活向量进行投影处理，得到激活向量在语句真值方向和语义极性方向的特征向量，特征向量用于表征目标语句的真实性判定结果以及目标语句的语义句式类型；基于特征向量和真伪分类器，分析预设语言模型的推理可信度，以得到可信度评估结果，真伪分类器是基于构建的样本语句集合预先训练得到的。

3、在一些实施例中，基于预构建的语句真值方向向量和语义极性方向向量，对激活向量进行投影处理，得到激活向量在语句真值方向和语义极性方向的特征向量包括：基于样本语句集合中的至少一个主题语句集合，确定激活向量对应的目标样本激活向量均值，目标样本激活向量均值为目标语句对应的主题语句集合中的至少一个样本激活向量的样本激活向量均值；基于目标样本激活向量均值，对激活向量进行中心化处理，得到目标语句对应的更新激活向量；基于语句真值方向向量，对更新激活向量进行投影处理，得到更新激活向量沿语句真值方向的真值方向投影值；基于语义极性方向向量，对更新激活向量进行投影处理，得到更新激活向量沿语义极性方向的极性方向投影值；基于目标语句对应的词元数量，对真值方向投影值进行归一化处理，得到更新真值方向投影值，并整合更新真值方向投影值和极性方向投影值，得到特征向量。

4、在一些实施例中，基于特征向量和真伪分类器，分析预设语言模型的推理可信度，以得到可信度评估结果包括：将特征向量输入至真伪分类器，生成预设语言模型对应的可信度概率值；在可信度概率值大于或等于预设概率阈值的情况下，确定可信度结果为预设语言模型对目标语句的推理结果可信；在可信度概率值小于预设概率阈值的情况下，确定可信度结果为预设语言模型对目标语句的推理结果不可信。

5、在一些实施例中，该方法包括：对至少一个样本语句进行主题划分，得到至少一个主题语句集合；基于第一主题语句集合中的至少一个主题语句的语句真实性，对至少一个主题语句进行真伪标注，得到至少一个主题语句对应的至少一个语句真伪标签，第一主题语句集合为至少一个主题语句集合中的任一主题语句集合；基于至少一个主题语句的语义极性，对至少一个主题语句进行语义极性标注，得到至少一个主题语句对应的至少一个语义极性标签，语义极性用于指示至少一个主题语句为肯定语句或否定语句；将至少一个主题语句输入至预设语言模型进行推理，获取至少一个主题语句对应的至少一个样本激活向量；基于至少一个样本激活向量、至少一个语句真伪标签和至少一个语义极性标签，构建样本语句集合。

6、在一些实施例中，基于预构建的语句真值方向向量和语义极性方向向量，对激活向量进行投影处理，得到激活向量在语句真值方向和语义极性方向的特征向量，之前，该方法包括：确定第一主题语句集合对应的至少一个样本激活向量的第一样本激活向量均值；基于第一样本激活向量均值、至少一个语句真伪标签和至少一个语义极性标签，对至少一个样本激活向量中的各激活向量构建包含初始语句真值方向向量和初始语义极性方向向量的第一线性组合关系；基于预设拟合算法，对至少一个第一线性组合关系进行拟合处理，得到真值方向向量和极性方向向量。

7、在一些实施例中，基于特征向量和真伪分类器，分析预设语言模型的推理可信度，以得到可信度评估结果，之前，该方法包括：基于第一样本激活向量均值，对至少一个样本激活向量进行中心化处理，得到至少一个更新样本激活向量；基于语句真值方向向量和语义极性方向向量，对至少一个更新样本激活向量进行投影处理，得到至少一个更新样本激活向量对应的至少一个样本特征向量；基于至少一个主题语句中各主题语句对应的词元数量，对至少一个样本特征向量进行归一化处理，得到至少一个更新样本特征向量；将至少一个更新样本特征向量作为初始真伪分类器的输入以及将至少一个语句真伪标签作为初始真伪分类器的监督信号，对初始真伪分类器进行训练，得到真伪分类器。

8、第二方面，本技术实施例提供了一种模型可信度评估装置，该装置包括：

9、获取单元，用于获取预设语言模型在对目标语句进行推理时产生的激活向量，激活向量用于表征预设语言模型对目标语句完成语义理解后形成的内在认知结果；

10、投影单元，用于基于预构建的语句真值方向向量和语义极性方向向量，对激活向量进行投影处理，得到激活向量在语句真值方向和语义极性方向的特征向量，特征向量用于表征目标语句的真实性判定结果以及目标语句的语义句式类型；

11、分析单元，用于基于特征向量和真伪分类器，分析预设语言模型的推理可信度，以得到可信度评估结果，真伪分类器是基于构建的样本语句集合预先训练得到的。

12、第三方面，本技术实施例提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，处理器用于运行计算机程序时，执行如第一方面任一实施例中描述的方法。

13、第四方面，本技术实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如第一方面任一实施例中描述的方法。

14、第五方面，本技术实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时执行如第一方面任一实施例中描述的方法。

15、本技术实施例提供的一种模型可信度评估方法，通过获取预设语言模型在对目标语句进行推理时产生的激活向量；基于预构建的语句真值方向向量和语义极性方向向量，对激活向量进行投影处理，得到激活向量在语句真值方向和语义极性方向的特征向量；基于特征向量和真伪分类器，分析预设语言模型的推理可信度。此过程突破了仅依靠输出文本评估模型可信度的黑盒局限，通过挖掘模型内部认知表征，兼顾语义句式干扰修正，有效降低误判概率，提升可信度评估结果的准确性与可解释性。

16、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。