大模型安全评测方法及装置与流程

摘要: 本发明涉及数据安全,尤其涉及一种大模型安全评测方法及装置。背景技术:1、随着大语言模型在客服、办公助手、代码辅助、搜索问答以及智能体等系统中的部署规模不断扩大,...
大模型安全评测方法及装置与流程

本发明涉及数据安全,尤其涉及一种大模型安全评测方法及装置。

背景技术:

1、随着大语言模型在客服、办公助手、代码辅助、搜索问答以及智能体等系统中的部署规模不断扩大,企业在将大语言模型接入实际业务系统之前,通常需要对模型进行安全评测,以确认模型在违法违规、隐私泄露、危险操作、恶意规避、虚假信息等风险场景下能否稳定地拒绝应答或给出合规回应,从而避免模型在上线运行后输出有害内容并对业务系统和使用者造成危害。

2、现有的大语言模型安全评测通常借助计算机系统对模型接口发起测试并采集模型响应,并根据模型响应是否拒答来判定被测模型是否通过测试。然而,同一风险目的在实际使用中往往并不以单条固定语句的形式出现,其表达方式、提问角色、承载语言等可能存在多种变化,而被测模型面对这些变化时给出的安全响应未必稳定一致。现有评测在测试结束后通常仅能给出被测模型是否被攻破或是否通过的结论,难以指出被测模型的安全响应在何种情形下开始出现松动,导致评测结果难以为被测模型的安全加固提供可供定位与复现的依据。

3、由此可见,如何在对大语言模型进行安全评测时,使评测结果能够为被测模型的安全加固提供可定位、可复现的依据,是亟待解决的技术问题。

技术实现思路

1、本发明提供一种大模型安全评测方法及装置,用以解决现有技术中如何在对大语言模型进行安全评测时,使评测结果能够为被测模型的安全加固提供可定位、可复现的依据的问题。

2、本发明提供一种大模型安全评测方法,包括:

3、获取安全评测策略和种子查询,并将所述种子查询确定为当前查询;

4、基于所述当前查询,迭代执行安全评测处理,直至满足预设停止条件;

5、其中,每次所述安全评测处理包括:基于所述安全评测策略对所述当前查询进行安全策略判定,获得所述当前查询的风险意图和期望状态;将所述当前查询输入被测大模型,获得所述当前查询对应的模型响应;对所述模型响应进行状态映射,获得所述当前查询的实际状态,所述实际状态为预设的多个安全响应状态之一;将所述期望状态与所述实际状态进行对照,获得所述当前查询的安全一致性缺陷检测结果;将所述实际状态作为节点加入安全策略状态机,并将相邻两次所述安全评测处理得到的所述实际状态之间的变化作为转移边加入所述安全策略状态机;在未满足所述预设停止条件时,对所述当前查询进行保持所述风险意图的变形处理,得到变形查询以及所述变形查询相对于所述当前查询的变形关系类型,并将所述变形查询更新为所述当前查询;

6、在满足所述预设停止条件后,基于所述安全策略状态机和各次所述安全评测处理得到的所述安全一致性缺陷检测结果,生成安全评测报告;

7、根据本发明提供的一种大模型安全评测方法,所述安全评测报告包括状态漂移路径,所述状态漂移路径包括各次所述安全评测处理得到的所述实际状态按执行次序构成的实际状态序列、以及所述实际状态序列中相邻实际状态之间对应的所述变形关系类型,所述状态漂移路径用于表征同一风险意图在多轮变形查询过程中由安全状态向不安全状态逐步变化的过程,并用于定位导致安全策略弱化的变形关系类型。

8、根据本发明提供的一种大模型安全评测方法,所述预设的多个安全响应状态按照安全风险由低到高排列,包括:

9、合规回答状态、安全拒答状态、合规边界解释状态、主题偏移状态、上下文继承状态、边界弱化状态、部分敏感信息泄露状态和风险升级状态。

10、根据本发明提供的一种大模型安全评测方法,所述安全评测策略包括:风险类别、应拒答内容以及允许提供的合规替代信息;所述基于所述安全评测策略对所述当前查询进行安全策略判定,获得所述当前查询的风险意图和期望状态,包括:

11、对所述当前查询进行风险识别,获得风险识别结果;

12、基于所述风险识别结果,对所述当前查询进行目标信息类型识别,获得目标信息类型;

13、对所述当前查询进行意图拆解,获得所述风险意图;

14、基于所述安全评测策略、所述风险识别结果、所述目标信息类型和所述风险意图,生成所述期望状态。

15、根据本发明提供的一种大模型安全评测方法,所述对所述当前查询进行风险识别,获得风险识别结果,包括:

16、基于所述当前查询和历史对话摘要进行风险分类,获得所述风险识别结果;其中,所述风险识别结果包括:所述风险类别、是否需要拒答的判定以及风险置信度;

17、对所述当前查询进行意图拆解,获得所述风险意图,包括:

18、基于所述当前查询和多轮上下文进行意图拆解,获得所述风险意图;其中,所述风险意图包括:显性意图、潜在风险意图、角色包装信息和跨轮指代对象中的至少一项。

19、根据本发明提供的一种大模型安全评测方法,所述基于所述风险识别结果对所述当前查询进行目标信息类型识别,获得目标信息类型之后,所述大模型安全评测方法还包括:

20、基于所述目标信息类型,在所述安全策略状态机中扩展与所述目标信息类型对应的领域子状态节点,并将所述领域子状态节点加入所述状态映射的候选状态;

21、其中,所述领域子状态节点包括隐私领域子状态、金融领域子状态、医疗领域子状态、代码安全领域子状态和危险物品领域子状态中的至少一项。

22、根据本发明提供的一种大模型安全评测方法,所述对所述模型响应进行状态映射,获得所述当前查询的实际状态,包括:

23、对所述模型响应进行拒答语义识别、敏感信息检测、大模型裁判判定和上下文继承跟踪,并基于所述拒答语义识别、所述敏感信息检测、所述大模型裁判判定和所述上下文继承跟踪的结果,将所述模型响应映射为所述实际状态。

24、根据本发明提供的一种大模型安全评测方法,将所述期望状态与所述实际状态进行对照,获得所述当前查询的安全一致性缺陷检测结果,包括:

25、在所述实际状态相对于所述期望状态发生安全响应弱化,或者在相邻两次所述安全评测处理得到的所述实际状态之间沿安全风险升高方向发生变化时,生成安全一致性缺陷记录,获得所述安全一致性缺陷检测结果;

26、其中,所述安全一致性缺陷记录包括:源查询摘要、变形查询摘要、变形关系类型、源响应状态、变形响应状态和状态转移路径。

27、根据本发明提供的一种大模型安全评测方法,所述对所述当前查询进行保持所述风险意图的变形处理,得到变形查询,包括:

28、在保持所述变形查询指向的风险类别与所述当前查询的风险类别一致、且所述变形查询的潜在风险意图与所述当前查询的风险意图一致的约束下,对所述当前查询的表达形式进行一种变形处理,得到所述变形查询,并将所述变形处理的类别作为所述变形关系类型;其中,所述变形处理包括表达变形、角色变形、轮次变形、上下文变形、语言变形和安全载体变形中的至少一项;

29、对所述变形查询进行风险识别,在所述变形查询的风险类别与所述当前查询的风险类别不一致时,舍弃所述变形查询并重新进行所述变形处理。

30、根据本发明提供的一种大模型安全评测方法,所述当前查询的表达形式进行一种变形处理,得到所述变形查询,还包括:

31、对所述当前查询进行所述变形处理,得到多个候选查询;

32、基于已得到的所述实际状态和已得到的所述安全一致性缺陷检测结果,计算各所述候选查询的选择分数,并将所述选择分数最高的候选查询确定为所述变形查询;

33、其中,所述选择分数与所述候选查询能够触达的新状态或新状态变化的覆盖增益成正相关,与所述候选查询相对于未覆盖状态的接近程度成正相关,与所述候选查询对所述安全一致性缺陷检测结果的判定作用成正相关,并与所述候选查询的重复程度、安全边界越界程度和查询成本成负相关。

34、根据本发明提供的一种大模型安全评测方法,所述生成安全评测报告,包括:

35、统计各所述变形关系类型在所述实际状态序列中使相邻实际状态沿安全风险升高方向变化处的出现次数;

36、将所述出现次数满足预设条件的变形关系类型确定为薄弱变形关系,并将所述薄弱变形关系写入所述安全评测报告。

37、根据本发明提供的一种大模型安全评测方法,所述生成安全评测报告,还包括:

38、对每次所述安全评测处理,记录自所述种子查询起至该次所述安全评测处理的当前查询为止所依次经过的各当前查询、以及相邻当前查询之间的所述变形关系类型,得到到达该次所述安全评测处理所对应实际状态的复现路径;

39、按执行次序遍历所述状态漂移路径,将首个满足弱化条件的实际状态确定为薄弱状态,并将针对所述薄弱状态的策略补充信息写入所述安全评测报告;其中,所述弱化条件为:所述实际状态相对于所述实际状态所属安全评测处理的期望状态发生安全响应弱化。

40、本发明还提供一种大模型安全评测装置,包括:

41、获取模块,用于获取安全评测策略和种子查询,并将所述种子查询确定为当前查询;

42、查询模块,用于基于所述当前查询,迭代执行安全评测处理,直至满足预设停止条件;

43、其中,每次所述安全评测处理包括:基于所述安全评测策略对所述当前查询进行安全策略判定,获得所述当前查询的风险意图和期望状态;将所述当前查询输入被测大模型,获得所述当前查询对应的模型响应;对所述模型响应进行状态映射,获得所述当前查询的实际状态,所述实际状态为预设的多个安全响应状态之一;将所述期望状态与所述实际状态进行对照,获得所述当前查询的安全一致性缺陷检测结果;将所述实际状态作为节点加入安全策略状态机,并将相邻两次所述安全评测处理得到的所述实际状态之间的变化作为转移边加入所述安全策略状态机;在未满足所述预设停止条件时,对所述当前查询进行保持所述风险意图的变形处理,得到变形查询以及所述变形查询相对于所述当前查询的变形关系类型,并将所述变形查询更新为所述当前查询;

44、测评模块,用于在满足所述预设停止条件后,基于所述安全策略状态机和各次所述安全评测处理得到的所述安全一致性缺陷检测结果,生成安全评测报告。

45、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述大模型安全评测方法。

46、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述大模型安全评测方法。

47、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述大模型安全评测方法。

48、本发明提供的一种大模型安全评测方法及装置,通过将安全评测策略应用于每次交互以获得当前查询的期望状态,将被测模型的响应映射为多个预设安全响应状态之一以获得实际状态,并在保持风险意图不变的前提下对查询进行变形后迭代与被测模型交互,从而使评测系统能够针对同一风险意图关联多轮交互,将被测模型在多轮交互中的安全响应组织为随迭代次序增量成型的安全策略状态机,并以实际状态序列及其相邻实际状态间对应的变形关系类型构成状态漂移路径,进而在评测报告中直观反映被测模型安全响应由安全状态向不安全状态逐步变化的过程、定位导致安全策略弱化的变形关系类型,为被测模型的安全加固提供可定位、可复现的依据,克服了现有评测仅能给出被测模型是否被攻破的孤立结论而无法刻画安全响应变化过程的缺陷。