一种模型审核方法、装置、介质及设备

摘要: 本申请涉及人工智能,具体涉及一种模型审核方法、装置、介质及设备。背景技术:1、大语言模型已在智能问答、客服交互、知识管理等场景中得到广泛应用。在实际部署中,模型...
一种模型审核方法、装置、介质及设备

本申请涉及人工智能,具体涉及一种模型审核方法、装置、介质及设备。

背景技术:

1、大语言模型已在智能问答、客服交互、知识管理等场景中得到广泛应用。在实际部署中,模型输出常表现出拒绝理由模糊、价值边界不清或过度迎合等问题,这些隐性问题在仅判断最终输出文本时往往难以被有效捕捉。

2、当前主流的模型安全防护手段通常采用输入关键词过滤、输出内容分类器或生成后大语言模型裁判等方式。这类安全机制均属于“事后检测”范畴,仅在模型生成完整回答后才进行审查,无法在高风险生成轨迹形成初期提供预警,具有明显的滞后性。此外,不同业务场景对模型输出可能存在差异化的抽象要求,传统基于固定文本规则或单一维度最终输出判定的方法,难以对这种复杂且灵活的多维生成目标进行提前感知。

3、因此,如何在模型输出最终完整回复之前,有效探测模型内部状态的动态变化,并对潜在的多样化的生成倾向进行早期感知和预警,已成为当前大语言模型可控生成与安全部署领域亟待解决的技术问题。

技术实现思路

1、本申请实施例提供一种模型审核方法、装置、介质及设备,能够在大语言模型输出完整回答之前进行风险识别,提高大语言模型的应用安全性。

2、为解决上述技术问题,本申请实施例提供以下技术方案:

3、一种模型审核方法,包括:

4、获取目标大语言模型的输入提示词、目标价值组以及待监测的至少一个监测层;所述目标价值组包括至少一个原子量规;

5、将所述输入提示词输入所述目标大语言模型进行前向传播,提取各所述监测层的隐藏状态特征;

6、针对所述目标价值组中的每个原子量规,获取所述原子量规在各所述监测层的量规向量;

7、基于所述隐藏状态特征与所述量规向量在所述监测层中的相似度,确定各所述原子量规的层相对证据;

8、根据所述层相对证据进行风险计算,得到风险结果;

9、根据所述风险结果确定所述目标大语言模型对应的审核处置结果。

10、一种模型审核装置,包括:

11、输入配置单元,用于获取目标大语言模型的输入提示词、目标价值组以及待监测的至少一个监测层;所述目标价值组包括至少一个原子量规;

12、激活提取单元,用于将所述输入提示词输入所述目标大语言模型进行前向传播,提取各所述监测层的隐藏状态特征;

13、向量获取单元,用于针对所述目标价值组中的每个原子量规,获取所述原子量规在各所述监测层的量规向量;

14、证据计算单元,用于基于所述隐藏状态特征与所述量规向量在所述监测层中的相似度,确定各所述原子量规的层相对证据;

15、风险判决单元,用于根据所述层相对证据进行风险计算,得到风险结果;

16、审核处置单元,用于根据所述风险结果确定所述目标大语言模型对应的审核处置结果。

17、一种计算机可读存储介质,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行上述模型审核方法。

18、一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述模型审核方法。

19、一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令,处理器执行所述计算机指令,使得实现上述模型审核方法。

20、在本申请实施例中,通过首先获取目标大语言模型的输入提示词、目标价值组以及待监测的至少一个监测层,其中目标价值组包括至少一个原子量规,随后将输入提示词输入目标大语言模型进行前向传播,提取各监测层的隐藏状态特征,进而针对目标价值组中的每个原子量规,获取原子量规在各监测层的量规向量,再基于隐藏状态特征与量规向量在监测层中的相似度,确定各原子量规的层相对证据,该层相对证据包括针对输入提示词的支持证据、抵制证据和显著性证据中的至少一种,而后根据层相对证据进行风险计算,得到风险结果,最后根据风险结果确定目标大语言模型对应的审核处置结果。通过将输入提示词输入目标大语言模型进行前向传播并在监测层提取隐藏状态特征,使系统能够在不生成完整回答的情况下获取目标大语言模型的内部表示,通过将隐藏状态特征与量规向量进行相似度计算并确定层相对证据,使抽象的价值维度得以借助原子量规在监测层中的方向向量转化为可量化的支持证据、抵制证据和显著性证据,进而通过风险计算将上述层相对证据合成为风险结果,并根据风险结果确定审核处置结果,使得目标大语言模型在输出最终完整回复之前即能够依据内部表示与价值维度的对齐关系获得量化的风险判断和对应的处置决策,从而实现了生成前对价值漂移的早期识别与可控干预,为大语言模型的可控生成与安全部署提供了前置保障。

21、本公开的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本公开而了解。本公开的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

1.一种模型审核方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标大语言模型的输入提示词、目标价值组以及待监测的至少一个监测层之前,还包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述第一隐藏状态特征和所述第二隐藏状态特征,确定所述原子量规在各所述监测层的差分方向,基于所述差分方向确定所述原子量规在各所述监测层的量规向量,包括:

4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述提取各所述监测层的隐藏状态特征,包括:

6.根据权利要求1所述的方法,其特征在于,所述针对所述目标价值组中的每个原子量规,获取所述原子量规在各所述监测层的量规向量,包括:

7.根据权利要求1所述的方法,其特征在于,所述基于所述隐藏状态特征与所述量规向量在所述监测层中的相似度,确定各所述原子量规的层相对证据,包括:

8.根据权利要求1所述的方法,其特征在于,所述根据所述层相对证据进行风险计算,得到风险结果,包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述目标激活、所述目标抵制、所述非目标牵引、所述清晰度激活和所述忽略度进行风险计算,得到所述风险结果,包括:

10.根据权利要求1所述的方法,其特征在于,所述根据所述风险结果确定所述目标大语言模型对应的审核处置结果,包括:

11.根据权利要求1所述的方法,其特征在于,所述根据所述风险结果确定所述目标大语言模型对应的审核处置结果之后,还包括:

12.根据权利要求1所述的方法,其特征在于,所述针对所述目标价值组中的每个原子量规,获取所述原子量规在各所述监测层的量规向量之后,还包括:

13.一种模型审核装置,其特征在于,包括:

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有多条指令,所述指令适于处理器进行加载,以执行权利要求1至12任一项所述的方法。

15.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至12任一项所述的方法。

16.一种计算机程序产品,包括计算机程序或指令,其特征在于,所述计算机程序或指令被处理器执行时实现权利要求1至12任一项所述的方法。