大语言模型的测试方法、装置、通信设备、存储介质和计算机程序产品与流程
本技术涉及人工智能安全测试,特别是涉及一种大语言模型的测试方法、装置、通信设备、存储介质和计算机程序产品。
背景技术:
1、随着人工智能技术的发展,出现了大语言模型(large language model,llm)技术,大语言模型是一种基于海量文本数据训练,对自然语言进行理解与生成的深度学习模型,已被广泛应用于智能问答、内容生成、智能客服等场景。由于大语言模型可能被诱导输出有害内容或泄露敏感信息,需要对其进行安全测试,由此出现了针对大语言模型的对抗性测试方式。
2、传统技术中,针对大语言模型的安全测试主要采用由人工预先编写的静态测试集进行测试,或由测试人员模拟攻击者与模型交互的人工红队方式进行测试。然而,上述测试方式存在测试样本固定、难以覆盖长尾场景,以及依赖人力、成本高、效率低、难以规模化的问题,导致大语言模型的测试效果不佳。
技术实现思路
1、本技术实施例提供一种大语言模型的测试方法、装置、通信设备、存储介质和计算机程序产品,用于动态模拟多轮对话的上下文累积效应以有效进行测试,提升大语言模型的测试效果。
2、第一方面,本技术提供了一种大语言模型的测试方法,方法包括:
3、获取会话页面中的目标历史对话,并提取目标历史对话的历史对话特征;其中,会话页面用于与目标大语言模型进行对话;
4、基于历史对话特征,生成对目标历史对话进行测试的对抗性测试文本;
5、在会话页面中输入对抗性测试文本,并获取目标大语言模型对对抗性测试文本进行响应的测试结果。
6、在其中一个实施例中,目标历史对话包括在会话页面中的多轮历史对话,方法还包括:
7、将测试结果更新至会话页面中的目标历史对话,得到更新后的目标历史对话;
8、基于更新后的目标历史对话,提取新的历史对话特征,以及生成新的对抗性测试文本,并将新的对抗性测试文本输入会话页面以获取新的测试结果;
9、重复上述更新与生成的过程,以在会话页面下对目标大语言模型进行多轮对话测试,得到多轮历史对话。
10、在其中一个实施例中,会话页面包括多个对话窗口,对话窗口包括多轮历史对话,获取会话页面中的目标历史对话的步骤包括:
11、获取多个对话窗口中的多轮历史对话,得到目标历史对话。
12、在其中一个实施例中,提取目标历史对话的历史对话特征的步骤包括:
13、对目标历史对话进行语义编码,得到目标历史对话的语义表示;
14、基于语义表示,对目标历史对话进行对话状态跟踪,得到对话状态;其中,对话状态用于表示目标历史对话的上下文信息;
15、基于语义表示,提取关键信息;其中,关键信息包括用户意图、对话主题及历史对抗性测试模式中的至少一项;
16、将语义表示、对话状态与关键信息整合,得到历史对话特征。
17、在其中一个实施例中,基于历史对话特征,生成对目标历史对话进行测试的对抗性测试文本的步骤包括:
18、将历史对话特征转换为状态表示;
19、将状态表示输入基于强化学习的策略网络,基于策略网络输出与状态表示对应的对抗性测试动作;
20、将对抗性测试动作转换为文本,得到对抗性测试文本。
21、在其中一个实施例中,将状态表示输入基于强化学习的策略网络,基于策略网络输出与状态表示对应的对抗性测试动作的步骤包括:
22、基于策略网络,根据状态表示,生成多个候选对抗性测试动作;
23、对多个候选对抗性测试动作进行可行性评估,得到候选对抗性测试动作对应的成功率预测值;
24、在成功率预测值不低于可行性阈值时,选择价值最高的候选对抗性测试动作,得到对抗性测试动作;
25、在成功率预测值低于可行性阈值时,从多个候选对抗性测试动作中随机选择,得到对抗性测试动作。
26、在其中一个实施例中,策略网络的生成步骤包括:
27、获取由多个测试轨迹构成的训练数据;其中,测试轨迹包括各时间步的状态表示、对抗性测试动作及相应的奖励;
28、基于奖励函数,计算各时间步的奖励;其中,奖励函数根据测试内容与测试目标的匹配度、敏感信息泄露程度和模型响应长度中的至少一项确定;
29、以最大化测试轨迹的累积奖励为优化目标,更新策略网络的参数,得到更新后的策略网络。
30、在其中一个实施例中,在会话页面中输入对抗性测试文本,并获取目标大语言模型对对抗性测试文本进行响应的测试结果的步骤包括:
31、将对抗性测试文本与目标历史对话进行拼接,构建第一对话上下文;
32、对第一对话上下文中的对抗性测试文本施加对抗扰动,得到第二对话上下文;
33、将第二对话上下文输入会话页面,并获取目标大语言模型对对抗性测试文本进行响应的测试结果。
34、在其中一个实施例中,若存在多个测试请求,在会话页面中输入对抗性测试文本之前,方法还包括:
35、根据目标大语言模型的请求约束条件,筛选多个测试请求,得到目标测试请求;其中,请求约束条件包括速率限制、单次词元上限及并发连接数量中的至少一项;
36、在目标测试请求的响应时间超过预设超时阈值时,判定目标测试请求超时;
37、在连续多个目标测试请求超时,降低目标测试请求的发送速率。
38、在其中一个实施例中,在获取目标大语言模型对对抗性测试文本进行响应的测试结果之后,方法还包括:
39、根据测试结果,计算测试成功度;
40、根据测试成功度,评估对抗性测试文本的测试效果;
41、基于测试效果,生成用于表示本次测试过程的经验数据并存储经验数据;其中,经验数据用于优化生成对抗性测试文本对应的对抗性测试动作。
42、在其中一个实施例中,经验数据至少包括状态表示、对抗性测试动作和测试效果,方法还包括:
43、根据测试效果,确定对抗性测试动作对应的奖励;
44、根据奖励,更新在状态表示下选择对抗性测试动作的价值估计;
45、以第一概率依据价值估计选择价值最高的对抗性测试动作,以第二概率随机选择对抗性测试动作。
46、第二方面,本技术还提供一种大语言模型的测试装置,装置包括:
47、历史对话分析模块,用于获取会话页面中的目标历史对话,并提取目标历史对话的历史对话特征;其中,会话页面用于与目标大语言模型进行对话;
48、测试策略生成模块,用于基于历史对话特征,生成对目标历史对话进行测试的对抗性测试文本;
49、测试执行模块,用于在会话页面中输入对抗性测试文本,并获取目标大语言模型对对抗性测试文本进行响应的测试结果。
50、第三方面,本技术还提供一种通信设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面的大语言模型的测试方法所执行的步骤。
51、第四方面,本技术还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面的大语言模型的测试方法所执行的步骤。
52、第五方面,本技术还提供一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面的大语言模型的测试方法所执行的步骤。
53、上述大语言模型的测试方法、装置、通信设备、存储介质和计算机程序产品,通过获取会话页面中的目标历史对话,并提取目标历史对话的历史对话特征;其中,会话页面用于与目标大语言模型进行对话;基于历史对话特征,生成对目标历史对话进行测试的对抗性测试文本;在会话页面中输入对抗性测试文本,并获取目标大语言模型对对抗性测试文本进行响应的测试结果。基于此,通过动态分析历史对话特征并生成自适应的对抗性测试文本,实现对多轮对话场景的闭环安全测试,能够动态模拟多轮对话的上下文累积效应,从而以有效检测大语言模型的深层安全漏洞,提升大语言模型的测试效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com