语言模型应用风险确定方法、装置、设备、介质及产品与流程

本发明实施例涉及自然语言处理，尤其涉及一种语言模型应用风险确定方法、装置、设备、介质及产品。

背景技术：

1、目前，通常采用手动创建的大量测试模板来识别语言模型的潜在安全风险，虽然该方法可以发现语言模型的存在的部分潜在安全风险，但需要经过较为漫长的测试流程才能发现语言模型的部分潜在安全风险，非常依赖测试人员的经验，灵活性较低。

2、在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

3、无法快速确定语言模型的应用风险分析结果。

技术实现思路

1、本发明实施例提供了一种语言模型应用风险确定方法、装置、设备、介质及产品，以提高语言模型应用风险分析结果的确定速度。

2、第一方面，本发明实施例提供了一种语言模型应用风险确定方法，所述方法包括：

3、获取目标风险问题与至少两个风险产生方法；

4、确定父代提示内容，所述父代提示内容是交叉变异结果组合中符合第一适应度条件的交叉变异结果，所述交叉变异结果组合包括与所述目标风险问题关联的前一交叉变异轮次产生的所有交叉变异结果；

5、将所述目标风险问题、所述父代提示内容与所述至少两个风险产生方法中的各所述风险产生方法的组合结果作为交叉变异对象；

6、基于遗传算法确定各所述交叉变异对象的交叉变异结果，并在当前所述交叉变异轮次产生的所有所述交叉变异结果中，存在符合第二适应度条件的目标交叉变异结果的情况下，输出针对所述目标风险问题与所述目标交叉变异结果的应用风险分析结果。

7、第二方面，本发明实施例还提供了一种语言模型应用风险确定装置，所述装置包括：

8、获取模块，用于获取目标风险问题与至少两个风险产生方法；

9、提示模块，用于确定父代提示内容，所述父代提示内容是交叉变异结果组合中符合第一适应度条件的交叉变异结果，所述交叉变异结果组合包括与所述目标风险问题关联的前一交叉变异轮次产生的所有交叉变异结果；

10、对象确定模块，用于将所述目标风险问题、所述父代提示内容与所述至少两个风险产生方法中的各所述风险产生方法的组合结果作为交叉变异对象；

11、判断模块，用于基于遗传算法确定各所述交叉变异对象的交叉变异结果，并在当前所述交叉变异轮次产生的所有所述交叉变异结果中，存在符合第二适应度条件的目标交叉变异结果的情况下，输出针对所述目标风险问题与所述目标交叉变异结果的应用风险分析结果。

12、第三方面，本发明实施例提供了一种电子设备，所述电子设备包括：

13、一个或多个处理器；

14、存储器，用于存储一个或多个程序；

15、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任意实施例所提供的语言模型应用风险确定方法。

16、第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的语言模型应用风险确定方法。

17、第五方面，本发明实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-7任一所述的语言模型应用风险确定方法。

18、上述发明中的实施例具有如下优点或有益效果：

19、由于风险产生方法的数量为多个，且差异性较大；交叉变异对象包括目标风险问题、父代提示信息与对应风险产生方法；目标风险问题提供了风险问题的基础描述内容，风险产生方法提供了引导语言模型输出冒犯性回复内容的方式，父代提示内容是从前一交叉变异轮次产生的所有交叉变异结果中，选取的符合第一适应度条件的交叉变异结果，其提供了可能引导语言模型输出冒犯性回复内容的较佳方式，因此遗传算法在一个交叉变异轮次中确定出的交叉变异结果存在较大的差异性；这样在风险产生方法较多的情况下，可以保证每个交叉变异轮次产生的交叉变异结果的多样性，而交叉变异结果的多样性可显著提高每个交叉变异轮次出现目标交叉变异结果的概率，从而提高在每个交叉变异轮次确定出语言模型应用风险分析结果的速度。

1.一种语言模型应用风险确定方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述获取目标风险问题与至少两个风险产生方法，包括：

3.根据权利要求1所述的方法，其特征在于，所述在当前交叉变异轮次产生的所有所述交叉变异结果中，存在符合第二适应度条件的目标交叉变异结果的情况下，输出针对所述目标风险问题与所述目标交叉变异结果的应用风险分析结果，包括：

4.根据权利要求3所述的方法，其特征在于，所述确定当前交叉变异轮次产生的各所述交叉变异结果的适应度得分之后，还包括：

5.根据权利要求3所述的方法，其特征在于，所述确定当前交叉变异轮次产生的各所述交叉变异结果的适应度得分，包括：

6.根据权利要求1所述的方法，其特征在于，

7.根据权利要求3所述的方法，其特征在于，所述确定当前交叉变异轮次产生的各所述交叉变异结果的适应度得分，包括：

8.根据权利要求3所述的方法，其特征在于，所述父代提示内容是前一迭代轮次产生的所有交叉变异结果中适应度得分最高的交叉变异结果。

9.一种语言模型应用风险确定装置，其特征在于，所述装置包括：

10.一种电子设备，其特征在于，所述电子设备包括：

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-8任一所述的语言模型应用风险确定方法。

12.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-8任一所述的语言模型应用风险确定方法。