裁判模型的安全校准方法、电子设备及程序产品与流程

本技术属于大语言模型，尤其涉及一种裁判模型的安全校准方法、电子设备及程序产品。

背景技术：

1、裁判模型是一种用于对大语言模型的输入指令进行安全判断的人工智能模型。目前，裁判模型的安全评估规则被硬编码于提示词的静态规则库中，为了对裁判模型进行安全校准，当前主流方案依赖安全专家定期手动更新安全评估规则，该方式存在多重局限性：新型攻击模式出现后，规则更新存在明显滞后窗口，系统无法及时感知新威胁；人工排查海量日志过程效率低下，专家经验易导致隐蔽攻击模式被遗漏。

2、可以看出，现有技术中的通过人工干预的方式对裁判模型进行安全校准处理的方式无法及时地对裁判模型进行安全校准处理。

技术实现思路

1、有鉴于此，本技术实施例提供了一种裁判模型的安全校准方法、电子设备及程序产品，以解决现有技术中对裁判模型进行安全校准处理的及时性较差的技术问题。

2、第一方面，本技术实施例提供一种裁判模型的安全校准方法，包括：

3、将多个目标风险指令输入至待安全校准的第一裁判模型中，以指示所述第一裁判模型输出各个所述目标风险指令各自对应的安全判断结果；

4、根据所述目标风险指令对应的所述安全判断结果，确定所述第一裁判模型的当前正确率，若所述当前正确率低于预设的正确率阈值，则将安全判断错误的所述目标风险指令及安全判断错误的所述目标风险指令对应的推理思维链输入至第二裁判模型；所述第二裁判模型的推理性能强于所述第一裁判模型的推理性能；

5、通过所述第二裁判模型，根据安全判断错误的所述目标风险指令及安全判断错误的所述目标风险指令对应的所述推理思维链，生成并输出安全判断规则补丁，以指示所述第一裁判模型根据所述安全判断规则补丁，进行安全校准处理。

6、可选的，所述将多个目标风险指令输入至待安全校准的第一裁判模型中，以指示所述第一裁判模型输出各个所述目标风险指令各自对应的安全判断结果，包括：

7、在所述第一裁判模型处理真实的在线指令的过程中，通过在真实的所述在线指令中掺杂所述目标风险指令的方式，依次将各个所述目标风险指令输入至所述第一裁判模型中，以指示所述第一裁判模型依次输出各个所述目标风险指令各自对应的安全判断结果；所述目标风险指令的掺杂率根据所述第一裁判模型的业务处理量和响应延迟需求确定。

8、可选的，所述目标风险指令通过以下方式获取：

9、获取预先构建完成的风险指令数据库；所述风险指令数据库中包括多个不同风险类型的初始风险指令；

10、根据若干个预设的指令变异类型和预设的变异周期，对所述初始风险指令进行指令变异处理，得到所述目标风险指令。

11、可选的，所述指令变异类型包括以下类型中的任意一个或多个：

12、第一变异，所述第一变异用于将所述初始风险指令中的风险内容切分为离散数组，并将所述初始风险指令伪装成语法检查指令；

13、第二变异，所述第二变异用于将所述初始风险指令中的风险内容修改为工单任务内容，并在所述初始风险指令中添加压制性指令，所述压制性指令用于指示模型忽略所述初始风险指令中的风险内容；

14、第三变异，所述第三变异用于将所述初始风险指令中的风险内容修改为紧急场景下的求助指令；

15、第四变异，所述第四变异用于将所述初始风险指令中的风险内容编码为乱码字符串；

16、第五变异，所述第五变异用于将所述初始风险指令中的风险内容转换为预设的小语种；

17、第六变异，所述第六变异用于将所述初始风险指令中的风险内容转换为同形异义字符；所述同形异义字符的外观与所述风险内容的外观相同，所述同形异义字符的底层编码信息与所述风险内容的底层编码信息不同。

18、可选的，所述根据所述目标风险指令对应的所述安全判断结果，确定所述第一裁判模型的当前正确率，包括：

19、获取预设容量的先进先出队列；

20、在每次所述第一裁判模型输出所述目标风险指令对应的安全判断结果后，将最新输出的所述目标风险指令对应的安全判断结果输入至所述先进先出队列的队尾，并将所述先进先出队列的队首的所述目标风险指令对应的安全判断结果从所述先进先出队列移除；

21、根据当前的所述先进先出队列中各个所述目标风险指令各自对应的安全判断结果，确定所述当前正确率。

22、可选的，所述根据安全判断错误的所述目标风险指令及安全判断错误的所述目标风险指令对应的所述推理思维链，生成并输出安全判断规则补丁，包括：

23、根据安全判断错误的所述目标风险指令及安全判断错误的所述目标风险指令对应的所述推理思维链，确定所述目标风险指令对应的所述指令变异类型；

24、根据所述目标风险指令对应的所述指令变异类型，生成并输出所述安全判断规则补丁；所述安全判断规则补丁包括对应的限定前置条件，所述限定前置条件用于降低误判非风险指令的安全判断结果的概率。

25、可选的，还包括：

26、将各个安全判断错误的所述目标风险指令输入至进行了安全校准处理的所述第一裁判模型中，以指示进行了安全校准处理的所述第一裁判模型输出各个安全判断错误的所述目标风险指令各自对应的安全判断结果，并根据各个安全判断错误的所述目标风险指令各自对应的安全判断结果，确定第一正确率；

27、将若干个已被验证为安全的目标安全指令输入至进行了安全校准处理的所述第一裁判模型中，以指示进行了安全校准处理的所述第一裁判模型输出各个所述目标安全指令各自对应的安全判断结果，并根据各个所述目标安全指令各自对应的安全判断结果，确定第二正确率；

28、根据所述第一正确率和所述第二正确率，对进行了安全校准处理的所述第一裁判模型进行验证。

29、可选的，在所述对进行了安全校准处理的所述第一裁判模型进行验证之后，还包括：

30、若第一裁判模型通过验证，则通过所述第一裁判模型中的提示词在线更新工具，采用动态插值的方式将所述安全判断规则补丁对应的补丁字符串插入至预设的规则补丁占位区域内。

31、第二方面，本技术实施例提供一种裁判模型的安全校准装置，包括：

32、安全判断单元，用于将多个目标风险指令输入至待安全校准的第一裁判模型中，以指示所述第一裁判模型输出各个所述目标风险指令各自对应的安全判断结果；

33、确定单元，用于根据所述目标风险指令对应的所述安全判断结果，确定所述第一裁判模型的当前正确率，若所述当前正确率低于预设的正确率阈值，则将安全判断错误的所述目标风险指令及安全判断错误的所述目标风险指令对应的推理思维链输入至第二裁判模型；所述第二裁判模型的推理性能强于所述第一裁判模型的推理性能；

34、安全校准单元，用于通过所述第二裁判模型，根据安全判断错误的所述目标风险指令及安全判断错误的所述目标风险指令对应的所述推理思维链，生成并输出安全判断规则补丁，以指示所述第一裁判模型根据所述安全判断规则补丁，进行安全校准处理。

35、第三方面，本技术实施例提供一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的裁判模型的安全校准方法中的各步骤。

36、第四方面，本技术实施例提供一种计算机可读存储介质所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的裁判模型的安全校准方法中的各步骤。

37、第五方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在显示设备上运行时，使得显示设备执行如上述第一方面任一项所述的裁判模型的安全校准方法中的各步骤。

38、本技术实施例提供的裁判模型的安全校准方法的有益效果为：

39、在本技术实施例提供的裁判模型的安全校准方法中，首先将多个目标风险指令输入至待安全校准的第一裁判模型中，以指示第一裁判模型输出各个目标风险指令各自对应的安全判断结果，之后根据目标风险指令对应的安全判断结果，确定第一裁判模型的当前正确率，若当前正确率低于预设的正确率阈值，则将安全判断错误的目标风险指令及安全判断错误的目标风险指令对应的推理思维链输入至第二裁判模型；第二裁判模型的推理性能强于第一裁判模型的推理性能，最后通过第二裁判模型，根据安全判断错误的目标风险指令及安全判断错误的目标风险指令对应的推理思维链，生成并输出安全判断规则补丁，以指示第一裁判模型根据安全判断规则补丁，进行安全校准处理。本方案通过动态校准机制替代人工规则更新，能够在不进行人工干预的情况下自动对裁判模型进行安全校准处理，有效解决了现有技术中规则更新滞后及业务中断问题，具有能够实时动态量化裁判模型的研判漏报率，实现安全规则的自动更新，减少人工干预和业务中断，提高了对裁判模型进行安全校准处理的及时性。