智能体技能包的安全检测方法及相关产品、设备和介质与流程
本申请涉及人工智能,特别是涉及一种智能体技能包的安全检测方法及相关产品、设备和介质。
背景技术:
1、随着大语言模型驱动的ai(artificial intelligence,人工智能)智能体技术快速发展,智能体技能包(skill package)生态快速繁荣。技能包是一种扩展ai智能体能力的标准化封装形式,通常包含代表自然语言指令的入口文件(如,skill.md)、可执行脚本、引用文件等。用户可以通过技能市场下载并安装第三方技能包,使ai智能体获得代码编写、文件操作、网络访问等增强能力。
2、但是,技能包在赋予ai智能体强大能力的同时,也引入了严峻的安全风险。恶意技能包可以通过提示注入(prompt injection)等攻击方式劫持ai智能体。与传统软件插件不同,技能包具有多层文件结构,其攻击面更加隐蔽复杂,现有安全检测技术难以有效覆盖。有鉴于此,如何提升对智能体技能包进行安全检测的检测深度,成为亟待解决的问题。
技术实现思路
1、本申请主要解决的技术问题是提供一种智能体技能包的安全检测方法及相关产品、设备和介质,能够提升对智能体技能包进行安全检测的检测深度。
2、为了解决上述技术问题,本申请第一方面提供了一种智能体技能包的安全检测方法,包括:基于目标技能包进行解析,得到目标技能包中入口文件的指令内容以及入口文件在目标技能包中的引用文件;基于指令内容中的引用路径和引用文件,构建得到引用链图;其中,引用链图中各个节点分别代表目标技能包中不同文件,根节点代表入口文件,相连节点分别所代表文件之间存在引用关系;基于引用链图依次选择目标技能包中目标文件与安全规则库进行匹配,确定目标文件是否命中安全规则库;基于大语言模型对命中安全规则库的目标文件进行分析,得到目标技能包的安全分析结果。
3、为了解决上述技术问题,本申请第二方面提供了一种计算机程序产品,包括计算机程序/指令,计算机程序/指令被处理器执行时实现第一方面的智能体技能包的安全检测方法。
4、为了解决上述技术问题,本申请第三方面提供了一种计算机设备,至少包括彼此耦接的存储器与处理器,存储器中至少存储有程序指令,处理器用于执行程序指令以实现上述第一方面的智能体技能包的安全检测方法。
5、为了解决上述技术问题,本申请第四方面提供了一种计算机可读存储介质,存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面的智能体技能包的安全检测方法。
6、上述方案,基于目标技能包进行解析,得到目标技能包中入口文件的指令内容以及入口文件在目标技能包中的引用文件,再基于指令内容中的引用路径和引用文件,构建得到引用链图,且引用链图中各个节点分别代表目标技能包中不同文件,根节点代表入口文件,相连节点分别所代表文件之间存在引用关系,从而基于引用链图依次选择目标技能包中目标文件与安全规则库进行匹配,确定目标文件是否命中安全规则库,进而基于大语言模型对命中安全规则库的目标文件进行分析,得到目标技能包的安全分析结果,由于依次执行引用链图的架构建模、安全规则库的规则匹配、大语言模型的语义分析,能够形成三阶段串行流水线,且前序阶段的输出作为后续阶段的输入,架构建模的引用链图指导规则匹配的优先级,规则匹配的安全威胁作为语义分析的上下文增强,形成递进式检测结果,这种串行协同机制能够使得大语言模型的语义分析更加聚焦于已被前序阶段确定的安全威胁,使得安全检测更加深入,相较于单阶段或并行引擎方案而言,能够提升对智能体技能包进行安全检测的检测深度。
1.一种智能体技能包的安全检测方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述引用链图依次选择所述目标技能包中目标文件与安全规则库进行匹配,确定所述目标文件是否命中所述安全规则库,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述目标文件与所述安全规则库中各个安全规则分别进行匹配,确定所述目标文件是否命中所述安全规则库,包括:
4.根据权利要求2所述的方法,其特征在于,所述引用链图上的各个文件均属于可分析文件,还包括:
5.根据权利要求1所述的方法,其特征在于,在所述目标文件命中所述安全规则库的情况下还输出规则命中结果,在所述基于大语言模型对命中所述安全规则库的目标文件进行分析,得到所述目标技能包的安全分析结果之前,还包括:
6.根据权利要求5所述的方法,其特征在于,所述基于所述目标技能包中所述安全威胁的风险描述、文件位置和认定证据,对所述安全威胁进行保留或移除或对所述安全威胁的严重级别进行降级,包括:
7.根据权利要求1所述的方法,其特征在于,所述大语言模型基于输入提示进行分析以得到所述安全分析结果,所述输入提示基于命中所述安全规则库的目标文件构建得到,所述输入提示的构建步骤包括:
8.根据权利要求7所述的方法,其特征在于,所述大语言模型还对未命中所述安全规则库的目标文件进行分析;
9.根据权利要求7所述的方法,其特征在于,还包括:
10.根据权利要求1所述的方法,其特征在于,所述基于所述指令内容中的引用路径和所述引用文件,构建得到引用链图,包括:
11.根据权利要求1至10任一项所述的方法,其特征在于,所述大语言模型基于输入提示进行分析以得到所述安全分析结果,所述输入提示基于命中所述安全规则库的目标文件构建得到,所述输入提示中以随机生成的分隔符包裹目标内容,所述目标内容为所述目标文件内命中所述安全规则库的文件内容,并在所述输入提示中声明所述目标内容不得执行,且在以所述分隔符包裹所述目标内容之前,若检测到所述目标文件中已经存在与所述分隔符相同或相似的字符串,则所述分隔符被替换之后再注入所述输入提示中;
12.一种计算机程序产品,其特征在于,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1至11任一项所述的智能体技能包的安全检测方法。
13.一种计算机设备,其特征在于,至少包括相互耦接的存储器与处理器,所述存储器中至少存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至11任一项所述的智能体技能包的安全检测方法。
14.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至11任一项所述的智能体技能包的安全检测方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com