面向大模型输入输出的内容安全检测方法、设备、介质

摘要: 本发明属于人工智能安全,尤其涉及一种面向大模型输入输出的内容安全检测方法、设备、介质。背景技术:1、随着大语言模型、多模态大模型以及智能体系统在搜索问答、办公协...
面向大模型输入输出的内容安全检测方法、设备、介质

本发明属于人工智能安全,尤其涉及一种面向大模型输入输出的内容安全检测方法、设备、介质。

背景技术:

1、随着大语言模型、多模态大模型以及智能体系统在搜索问答、办公协作、教育辅助、软件开发、金融服务和政务服务等场景中的广泛应用,大模型的交互过程通常涉及用户提示词、会话上下文、模型响应以及工具调用结果等多类内容。上述内容中可能存在提示词注入、越狱诱导、敏感信息套取、隐私泄露、歧视偏见、暴力自伤、诈骗诱导、恶意代码生成等安全风险。因此,需要在大模型调用前、生成过程中或者生成完成后,对交互内容进行安全检测,并根据检测结果采取相应的处置措施。

2、现有的内容安全检测方法主要包括关键词匹配、规则库检测以及基于分类模型的语义检测。关键词和规则库检测依赖预先配置的风险词语或者匹配规则,虽然实现方式较为简单,但对同义改写、隐喻表达、字符变形、语义拆分以及多轮渐进式诱导等情况的识别能力有限。基于分类模型的检测方法能够在一定程度上识别语义层面的风险,但部分方法仅对用户提示词或者模型响应进行独立检测,未能充分利用用户意图、历史会话与模型输出之间的关联关系。当风险语义分散在不同会话轮次,或者单独观察用户提示词和模型响应均难以确定风险、而二者结合后才表现出风险时,现有方法容易出现漏检或者误报。

3、此外,现有检测模型的风险判定边界和处置策略通常在训练或部署阶段预先确定,并采用固定阈值对不同风险类别进行判定。然而,不同应用场景对安全漏检、正常内容误报、风险证据充分程度以及处置资源消耗的容忍程度并不相同。应用场景或者安全要求发生变化时,通常需要分别调整多个风险类别的判定阈值、重新训练或微调检测模型,或者维护多套检测模型和处置规则。该方式不仅配置和维护成本较高,而且各风险类别的阈值及处置规则相互独立,难以对检测敏感度、误报程度、证据充分程度和处置成本进行一致、协调的调整。

4、现有技术中的风险检测和风险处置还往往作为相互分离的处理环节。检测模型通常输出风险类别、风险概率或者候选处置结果,再由规则程序或者其他策略模块确定是否放行、告警、脱敏、改写、人工复核或拦截。由于检测模型的输出具有概率性,候选处置结果可能与业务系统中不可违反的安全条件发生冲突。例如,对于禁止放行的风险类别仍可能给出低强度处置,在风险证据不足或者检测结果不确定时可能直接放行,或者在检测到敏感实体时未执行必要的脱敏处理。采用固定优先级规则进行后处理时,在多项安全条件同时触发的情况下,还可能出现规则冲突、处置强度不一致或者过度拦截的问题,难以兼顾安全要求与计算资源、人工复核资源及响应时延。

5、同时,部分现有方法仅保留风险评分和最终处置结果,未能完整记录风险证据所在位置、风险证据的充分程度、处置结果的调整过程、所触发的安全条件以及检测配置版本。发生误判、漏判或者处置争议时,难以还原作出相应检测和处置结果的依据,不利于对大模型内容安全检测过程进行复核、审计和配置管理。

技术实现思路

1、针对现有技术不足,本发明实施例提供了一种面向大模型输入输出的内容安全检测方法、设备、介质。

2、第一方面,本发明实施例提供了一种面向大模型输入输出的内容安全检测方法,所述方法包括:

3、获取待检测交互内容数据;其中,所述待检测交互内容数据包括提示词、大模型根据提示词生成的模型响应、会话上下文;

4、将待检测交互内容数据输入至偏好条件内容安全检测模型,得到最终处置动作;执行最终处置动作,得到内容安全检测记录;包括:

5、对会话上下文、提示词和模型响应进行拼接,得到文本序列;对文本序列进行编码,得到词元级表示集合;根据词元级表示集合构造联合交互表示;

6、设置安全风险类别集合、风险偏好向量以及安全约束集合;确定每一安全风险类别对应的风险判定阈值;

7、对风险偏好向量进行编码,得到偏好嵌入向量;根据偏好嵌入向量生成缩放向量、偏移向量,以此对联合交互表示进行特征调制,得到偏好条件表示;根据偏好条件表示确定每一安全风险类别的风险概率;

8、根据每一安全风险类别的风险概率与风险判定阈值,判定已触发的安全风险类别;根据安全约束集合,剔除已触发的安全风险类别的处置动作,得到允许处置动作集合;计算允许处置动作集合中每一处置动作对应的处置代价,选取处置代价最小的处置动作作为最终处置动作。

9、第二方面,本发明实施例提供了一种电子设备,包括:

10、至少一个处理器;以及

11、与所述至少一个处理器通信连接的存储器;其中,

12、所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序,一个或多个所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的面向大模型输入输出的内容安全检测方法。

13、第三方面,本发明实施例提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序在被处理器执行时实现上述的面向大模型输入输出的内容安全检测方法。

14、第四方面,本发明实施例提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述的面向大模型输入输出的内容安全检测方法。

15、与现有技术相比,本发明的有益效果为:

16、本发明提供了一种面向大模型输入输出的内容安全检测方法,本发明通过对会话上下文、提示词和模型响应进行拼接、编码,并基于所得词元级表示集合构造联合交互表示,使安全风险判断能够综合利用交互上下文、用户输入和模型输出中的语义信息,避免对提示词和模型响应进行相互割裂的检测,提高大模型交互内容安全检测的全面性和准确性。

17、本发明根据各安全风险类别的风险概率与相应风险判定阈值,判定已触发的安全风险类别,能够针对不同类别分别进行风险识别,提升安全风险判定的精细化程度,并为后续处置动作的确定提供明确依据。

18、本发明根据安全约束集合剔除与已触发安全风险类别不相适配的处置动作,形成允许处置动作集合,并从中选择处置代价最小的处置动作作为最终处置动作,能够在满足预设安全约束的前提下降低处置成本及对正常交互内容的影响,提高处置结果的合理性。本发明在执行最终处置动作后生成内容安全检测记录,能够留存相应的检测与处置结果,为后续查询、复核及安全管理提供数据基础。

1.一种面向大模型输入输出的内容安全检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的面向大模型输入输出的内容安全检测方法,其特征在于,对会话上下文、提示词和模型响应进行拼接,得到文本序列;对文本序列进行编码,得到词元级表示集合;根据词元级表示集合构造联合交互表示的过程包括:

3.根据权利要求1所述的面向大模型输入输出的内容安全检测方法,其特征在于,设置安全风险类别集合、风险偏好向量以及安全约束集合的过程包括:

4.根据权利要求3所述的面向大模型输入输出的内容安全检测方法,其特征在于,确定每一安全风险类别对应的风险判定阈值的过程包括:

5.根据权利要求1所述的面向大模型输入输出的内容安全检测方法,其特征在于,计算允许处置动作集合中每一处置动作对应的处置代价的过程包括:

6.根据权利要求1所述的面向大模型输入输出的内容安全检测方法,其特征在于,偏好条件内容安全检测模型的训练过程包括:

7.根据权利要求6所述的面向大模型输入输出的内容安全检测方法,其特征在于,为每一训练样本生成至少两组风险偏好向量的过程包括:

8.一种电子设备,其特征在于,包括:

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-7中任一项所述的面向大模型输入输出的内容安全检测方法。

10.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1-7中任一项所述的面向大模型输入输出的内容安全检测方法。