输出信息的类别的预测方法和装置、存储介质及电子设备与流程

摘要: 本技术涉及大语言模型,具体而言,涉及一种输出信息的类别的预测方法和装置、存储介质及电子设备。背景技术:1、大型语言模型(largelanguagemodel,简...
输出信息的类别的预测方法和装置、存储介质及电子设备与流程

本技术涉及大语言模型,具体而言,涉及一种输出信息的类别的预测方法和装置、存储介质及电子设备。

背景技术:

1、大型语言模型(large language model,简称为llm)在自然语言生成任务中的生成内容存在幻觉现象,即生成内容看似流畅却与事实不符,这一问题在大语言模型经过对齐训练后依然存在。研究表明,llm的内部表征中包含线性的、可分离的真实性信号,理论上具备判别自身输出是否属实的基础。

2、现有技术中的白盒方法大多基于对llm某一特定层内部隐藏状态的分析,存在很多不足之处。例如:对比一致搜索方法虽然能在无监督条件下发现潜在的真实性方向,但其需要成对的正反面陈述数据,且仅能读取单一深度的表征信息;推理时干预方法隐式地假定某一特定层即为真实性信号的最优位置,通过在特定层级操控模型行为来实现目标;线性分类器训练方法在单层隐藏状态上训练线性分类器时,最佳读取层的选择高度依赖于具体数据集,且通常仅针对单一的终端隐藏状态进行分类,泛化能力受限。

3、相关技术中对大语言模型的技术检测方案都是将llm的真实性视为一张静态的快照,即假设真实性信号被固化在网络的某一特定层上。这种方法丢弃了分布在数十个transformer块中的判别信息,将模型深层的、渐进式的真实性建构过程强行坍缩为一个单点估计。从机理上看,前馈层作为分布式键值记忆逐层精细化预测,残差流作为共享总线传递组合后的表征,真实性实际上是在逐层传播中被逐步构造出来的,而非在某一层瞬间完成编码。而单层读取由于仅窥见了这一动态过程的一个局部断面,导致无法捕获跨层漂移中的互补类别差异;易受单层噪声和特定层特异性扰动的干扰;丧失了利用深层协作来抑制无关波动、增强共享类别信号的机会。

4、因此,相关技术中存在因仅读取大模型单一处理深度的静态状态、导致无法准确判断大模型输出内容真实性的问题。

技术实现思路

1、本技术实施例提供了一种输出信息的类别的预测方法和装置、存储介质及电子设备,以至少解决相关技术中因仅读取大模型单一处理深度的静态状态、导致无法准确判断大模型输出内容真实性的问题。

2、根据本技术实施例的一个实施例,提供了一种输出信息的类别的预测方法,包括:在目标模型完成对输入信息的前向传播,且未生成所述输入信息对应的第一个输出词元的情况下,获取所述目标模型内部的全部处理层级分别对应的第一内容倾向值,其中,所述第一内容倾向值为每个处理层级的隐藏状态向量经投影变换得到的标量值;基于所述每个处理层级的处理深度对多个第一内容倾向值进行排列,以生成用于表征所述第一内容倾向值随处理深度变化的数值序列;对所述数值序列进行汇聚运算,得到综合代表值,并将所述综合代表值输入至预设分类器中,根据所述预设分类器预测所述目标模型即将生成的输出信息的类别,其中,所述输出信息的类别包括:事实性输出信息、非事实性输出信息。

3、在一个示例性实施例中,获取所述目标模型内部的全部处理层级分别对应的第一内容倾向值,包括:在所述每个处理层级的注意力模块的输出端或所述每个处理层级的输出端获取第一隐藏状态向量,其中,所述第一隐藏状态向量为所述目标模型在所述输入信息的最后一个词元所对应的时间步上,于所述每个处理层级产生的隐藏状态向量;基于所述每个处理层级对应的预设投影规则对每个第一隐藏状态向量进行投影变换,得到所述每个处理层级对应的第一内容倾向值。

4、在一个示例性实施例中,在所述每个处理层级的注意力模块的输出端或所述每个处理层级的输出端获取第一隐藏状态向量,包括:确定所述每个处理层级的目标注意力头,其中,所述每个处理层级的注意力模块中包括:所述目标注意力头;获取所述目标注意力头在所述输入信息的最后一个词元所对应的时间步上的第一输出向量,并将所述第一输出向量确定为所述每个处理层级的第一隐藏状态向量。

5、在一个示例性实施例中,在所述每个处理层级的注意力模块的输出端或所述每个处理层级的输出端获取第一隐藏状态向量,还包括:获取所述每个处理层级的至少两个注意力头在所述输入信息的最后一个词元所对应的时间步上的第二输出向量,其中,所述每个处理层级的注意力模块包括所述每个处理层级的至少两个注意力头;将所述至少两个注意力头的第二输出向量进行拼接或加权求和,得到聚合向量,并将所述聚合向量确定为所述每个处理层级的第一隐藏状态向量。

6、在一个示例性实施例中,在所述每个处理层级的注意力模块的输出端或所述每个处理层级的输出端获取第一隐藏状态向量,还包括:获取所述每个处理层级在经过残差连接和归一化操作后通过输出端输出的第三输出向量,并将所述第三输出向量确定为所述每个处理层级的第一隐藏状态向量。

7、在一个示例性实施例中,在基于所述每个处理层级对应的预设投影规则对每个第一隐藏状态向量进行投影变换之前,所述方法还包括:构建包含标签的样本对集合,其中,所述样本对集合中的每个样本对均包含一个样本输入信息和一个样本输出信息,所述每个样本对均对应一个标签,所述标签用于指示所述每个样本对中的样本输出信息为事实性输出信息或非事实性输出信息;将所述每个样本对中的样本输入信息输入至冻结参数后的目标模型中,以确定所述每个处理层级对所述样本输入信息进行处理的过程中的第二隐藏状态向量,其中,所述第二隐藏状态向量与所述第一隐藏状态向量取自相同的处理位置和相同的词元位置,且所述第二隐藏状态向量与所述第一隐藏状态向量的维度相同;构建所述每个处理层级的投影向量,并基于所述每个处理层级的投影向量对每个第二隐藏状态向量进行投影变换,生成所述每个处理层级对应的第二内容倾向值,其中,所述投影向量的维度与所述第二隐藏状态向量的维度相同;基于所述每个处理层级对应的第二内容倾向值和所述每个样本对的标签构建每个投影向量对应的损失函数;基于每个损失函数,通过反向传播算法更新所述每个处理层级的投影向量,直至满足预设终止条件,并根据每个更新后的投影向量确定所述每个处理层级的预设投影规则,其中,所述预设终止条件包括以下至少之一:所述投影向量的更新次数达到预设次数、所有处理层级对应的损失函数值的和值小于预设损失阈值、在所述投影向量的相邻两次迭代更新中,所有处理层级对应的投影向量的范数变化量小于预设变化阈值。

8、在一个示例性实施例中,基于所述每个处理层级的投影向量对每个第二隐藏状态向量进行投影变换,生成所述每个处理层级对应的第二内容倾向值,包括:将所述每个处理层级的投影向量与所述每个处理层级的第二隐藏状态向量进行点积运算,得到标量形式的第二内容倾向值。

9、在一个示例性实施例中,所述损失函数的函数类型包括以下之一:二元交叉熵损失函数、对比损失函数。

10、在一个示例性实施例中,所述预设分类器为逻辑回归分类器。

11、在一个示例性实施例中,对所述数值序列进行汇聚运算,得到综合代表值,包括:计算所述数值序列中包含的多个第一内容倾向值的和值;基于所述多个第一内容倾向值的和值和所述数值序列中包含的第一内容倾向值的数量计算所述数值序列中包含的多个第一内容倾向值的算术平均值,并将所述算术平均值确定为所述综合代表值。

12、在一个示例性实施例中,对所述数值序列进行汇聚运算,得到综合代表值,还包括:确定所述数值序列中包含的多个第一内容倾向值中的中位数,并将所述中位数确定为所述综合代表值。

13、在一个示例性实施例中,对所述数值序列进行汇聚运算,得到综合代表值,还包括:确定所述数值序列中包含的每个第一内容倾向值对应的权重;根据所述权重对所述数值序列中包含的多个第一内容倾向值进行加权平均,以得到所述综合代表值。

14、在一个示例性实施例中,对所述数值序列进行汇聚运算,得到综合代表值,还包括:提取所述数值序列中的至少一个轨迹概括参数,其中,所述轨迹概括参数包括以下至少之一:表征所述数值序列波动幅度的离散度参数、表征所述数值序列的变化趋势的趋势参数、表征所述数值序列起始状态与结束状态之间的差异的端点差值参数;将所述至少一个轨迹概括参数组合为目标特征向量,并将所述目标特征向量映射为所述综合代表值。

15、在一个示例性实施例中,在根据所述预设分类器预测所述目标模型即将生成的输出信息的类别之后,所述方法还包括:在确定所述输出信息为非事实性输出信息的情况下,向所述目标模型发送停止指令,以使所述目标模型停止生成所述输出信息;获取所述输入信息对应的引导词,并根据所述引导词和所述输入信息生成目标输入信息;将所述目标输入信息输入至所述目标模型中;向所述目标模型发送生成指令,以使所述目标模型根据所述引导词和所述输入信息生成目标输出信息,并在所述目标模型生成所述目标输出信息之前,判断所述目标输出信息的类别,其中,所述目标输出信息的类别包括:事实性输出信息、非事实性输出信息;在确定所述目标输出信息为事实性输出信息的情况下,指示所述目标模型生成所述目标输出信息。

16、在一个示例性实施例中,通过以下方式至少之一获取所述引导词:在目标知识库中获取所述引导词;在预设事实模板中获取所述引导词;在历史事实性输出信息库中获取所述引导词。

17、在一个示例性实施例中,在向所述目标模型发送停止指令,以使所述目标模型停止生成所述输出信息之后,所述方法还包括:在未获取到所述引导词的情况下,向所述目标模型发送重新生成指令,以使所述目标模型基于所述输入信息重新生成输出信息,并生成重新生成的输出信息对应的风险提示信息。

18、根据本技术实施例的另一个实施例,还提供了一种输出信息的类别的预测装置,包括:获取模块,用于在目标模型完成对输入信息的前向传播,且未生成所述输入信息对应的第一个输出词元的情况下,获取所述目标模型内部的全部处理层级分别对应的第一内容倾向值,其中,所述第一内容倾向值为每个处理层级的隐藏状态向量经投影变换得到的标量值;排序模块,用于基于所述每个处理层级的处理深度对多个第一内容倾向值进行排列,以生成用于表征所述第一内容倾向值随处理深度变化的数值序列;预测模块,用于对所述数值序列进行汇聚运算,得到综合代表值,并将所述综合代表值输入至预设分类器中,根据所述预设分类器预测所述目标模型即将生成的输出信息的类别,其中,所述输出信息的类别包括:事实性输出信息、非事实性输出信息。

19、根据本技术实施例的又一方面,还提供了一种计算机可读的存储介质,该计算机可读的存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述输出信息的类别的预测方法。

20、根据本技术实施例的又一方面,还提供了一种电子装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,上述处理器通过计算机程序执行上述的输出信息的类别的预测方法。

21、根据本技术实施例的又一方面,还提供了一种计算机程序产品,包括计算机程序,其中,上述计算机程序被处理器执行上述的输出信息的类别的预测方法。

22、在本技术实施例中,在目标模型完成对输入信息的前向传播,且未生成输入信息对应的第一输出词元的情况下,获取目标模型内部的全部处理层级分别对应的第一内容倾向值,其中,第一内容倾向值为每个处理层级的隐藏状态向量经投影变换得到的变量值;基于每个处理层级的处理深度对多个第一内容倾向值进行排列,以生成用于表征第一内容倾向值随处理深度变化的数值序列;对数值序列进行汇聚运算,得到综合代表值,并将综合代表值输入至预设分类器中,根据预设分类器预测目标模型即将生成的输出信息是事实性输出信息还是非事实性输出信息。通过本技术实施例,解决了相关技术中因仅读取大模型单一处理深度的静态状态、导致无法准确判断大模型输出内容真实性的问题,进而准确判断大模型的输出内容的真实性。