一种大语言模型的安全检测方法、装置、设备及介质与流程

摘要: 本发明涉及模型检测领域,尤其涉及一种大语言模型的安全检测方法、装置、设备及介质。背景技术:1、随着大语言模型(largelanguagemodel,llm)技术...
一种大语言模型的安全检测方法、装置、设备及介质与流程

本发明涉及模型检测领域,尤其涉及一种大语言模型的安全检测方法、装置、设备及介质。

背景技术:

1、随着大语言模型(large language model, llm)技术的快速发展,基于llm的智能系统已经广泛应用于企业级可观测性与智能运维场景。与传统单轮问答不同,在这些高风险场景下,llm不仅需要输出自然语言解释,还可能直接调用运维工具、执行自动化操作,一旦被注入恶意指令,将对生产系统造成实质性破坏。因此,针对llm在高风险场景下的提示注入攻击防御,已经成为企业规模化部署llm应用必须解决的安全问题。

2、从现有技术发展路径来看,llm安全威胁检测的现有方案主要包括两种方法:第一,输入侧内容检测。此类方案在用户请求或外部上下文进入llm之前,通过规则引擎、定制分类算法,对输入内容进行预处理和筛查,识别并过滤疑似注入片段。其优点是不依赖llm内部结构,而且可以通过预处理让一些边缘场景最终正常执行。然而,攻击者可通过调整表述方式轻易绕过,甚至可以通过正常访问流程将注入内容伪造成user-agent等提前埋藏到日志数据中,等待智能体自主召回,此时攻击者直接发出的命令完全不体现风险。同时,真实异常日志与注入内容在文本表面上高度相似,导致误报率居高不下,严重影响正常业务的处理效率。第二,输出侧内容检测。此类方案在llm生成动作计划之后、实际调用执行之前,通过一个独立的风险判断算法,对输出结果进行评分,判定是否允许执行。然而,输出侧内容检测属于事后把关,在agen场景下存在明显滞后,无法在工具调用决策前及时阻断风险操作。而且如果攻击目的不是具体操作,而是篡改分析结论,输出侧检测大概率无法区分,导致生成结果被污染而难以察觉。

3、综上,现有的大语言模型的安全检测方法存在的大语言模型的运行安全性较差,同时大语言模型的生成结果的准确性较低的问题。

技术实现思路

1、本发明提供了一种大语言模型的安全检测方法、装置、设备及介质,可以解决现有的大语言模型的安全检测方法存在的大语言模型的运行安全性较差,同时大语言模型的生成结果的准确性较低的问题。

2、第一方面,本发明实施例提供了一种大语言模型的安全检测方法,由包括第一检测层与第二语言层的目标模型执行,该方法包括:

3、响应于目标命令的接收,通过目标模型的第一检测层对所述目标命令进行命令安全检测,得到第一检测结果;

4、在确定所述第一检测结果为通过时,通过目标模型的第二语言层对所述目标命令进行处理,得到与所述目标命令匹配的熵计算数据、分段语义信息、思维链路数据以及模型处理结果;

5、基于所述熵计算数据、分段语义信息和思维链路数据得到第二检测结果,并根据所述第二检测结果对所述模型处理结果进行安全处理操作。

6、第二方面,本发明实施例提供了一种大语言模型的安全检测装置,由包括第一检测层与第二语言层的目标模型执行,该装置包括:

7、第一检测模块,用于响应于目标命令的接收,通过目标模型的第一检测层对所述目标命令进行命令安全检测,得到第一检测结果;

8、数据获取模块,用于在确定所述第一检测结果为通过时,通过目标模型的第二语言层对所述目标命令进行处理,得到与所述目标命令匹配的熵计算数据、分段语义信息、思维链路数据以及模型处理结果;

9、第二检测模块,用于基于所述熵计算数据、分段语义信息和思维链路数据得到第二检测结果,并根据所述第二检测结果对所述模型处理结果进行安全处理操作。

10、第三方面,本发明实施例提供了一种电子设备,所述电子设备包括:

11、至少一个处理器;以及

12、与所述至少一个处理器通信连接的存储器;其中,

13、所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的一种大语言模型的安全检测方法。

14、第四方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种大语言模型的安全检测方法。

15、本发明实施例的技术方案,通过响应于目标命令的接收,通过目标模型的第一检测层对所述目标命令进行命令安全检测,得到第一检测结果,在确定所述第一检测结果为通过时,通过目标模型的第二语言层对所述目标命令进行处理,得到与所述目标命令匹配的熵计算数据、分段语义信息、思维链路数据以及模型处理结果,最后基于所述熵计算数据、分段语义信息和思维链路数据得到第二检测结果,并根据所述第二检测结果对所述模型处理结果进行安全处理操作,解决了现有的大语言模型的安全检测方法存在的大语言模型的运行安全性较差,同时大语言模型的生成结果的准确性较低的问题,实现了大语言模型的安全检测,提高了大语言模型的运行安全性,同时提高了大语言模型的生成结果的准确性。

16、应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种大语言模型的安全检测方法,由包括第一检测层与第二语言层的目标模型执行,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,基于所述熵计算数据、分段语义信息和思维链路数据得到第二检测结果,包括:

3.根据权利要求2所述的方法,其特征在于,基于所述熵计算数据,计算得到与所述目标命令匹配的熵变化量,包括:

4.根据权利要求2所述的方法,其特征在于,获取预设的各分段关键词集,并根据各分段关键词集判断分段语义信息中是否存在至少一个语义异常,包括:

5.根据权利要求2所述的方法,其特征在于,基于所述思维链路数据以及目标命令进行语义一致性判断,并根据判断结果得到第二检测结果,包括:

6.根据权利要求1所述的方法,其特征在于,所述第一检测层为:参数量小于预设参数阈值的开源语言模型。

7.根据权利要求1所述的方法,其特征在于,所述第一检测层的训练方法,包括:

8.一种大语言模型的安全检测装置,由包括第一检测层与第二语言层的目标模型执行,其特征在于,包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的一种大语言模型的安全检测方法。