面向AI智能体的基于意图识别的安全防护方法和装置与流程
本公开涉及计算机、网络安全等,尤其涉及一种面向ai智能体的基于意图识别的安全防护方法、装置、设备、介质和产品。
背景技术:
1、随着大语言模型(large language model,llm)与人工智能(artificialintelligence,ai)智能体技术的快速发展,越来越多的企业将ai智能体部署于生产环境中,用于执行邮件管理、文件操作、系统运维、数据分析等复杂业务流程。ai智能体能够理解用户自然语言指令,自主规划执行路径,调用各类工具和应用程序接口(applicationprogramming interface,api)完成多步骤任务,极大提升了工作效率。然而,这种自主执行能力也带来了全新的安全挑战,即ai智能体的行为不再完全可预测,其在理解用户意图、选择执行策略时可能导致未授权的敏感操作。
2、相关技术中,可基于规则或策略进行访问控制。具体通过预定义的关键词黑名单、操作类型白名单或静态路径策略来拦截越权操作。但是,精准性有待提升。
技术实现思路
1、本公开提供了一种面向ai智能体的基于意图识别的安全防护方法、装置、设备、介质和产品。
2、根据本公开的一方面,提供了一种面向ai智能体的基于意图识别的安全防护方法,包括:采用llm对用户指令进行意图识别,得到目标意图类型;基于所述目标意图类型,推导用户授权边界,得到边界操作行为;拦截ai智能体的当前操作行为;对所述当前操作行为与所述边界操作行为进行比对,得到目标决策;基于所述目标决策,对所述当前操作行为进行处理。
3、根据本公开的另一方面,提供了一种面向ai智能体的基于意图识别的安全防护装置,包括:识别模块,用于采用llm对用户指令进行意图识别,得到意图类型;推导模块,用于基于所述意图类型,推导用户授权边界,得到边界操作行为;拦截模块,用于拦截ai智能体的当前操作行为;决策模块,用于对所述当前操作行为与所述边界操作行为进行比对,得到目标决策;处理模块,用于基于所述目标决策,对所述当前操作行为进行处理。
4、根据本公开的另一方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上述任一方面的任一项所述的方法。
5、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据上述任一方面的任一项所述的方法。
6、根据本公开的另一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据上述任一方面的任一项所述的方法。
7、根据本公开实施例,可以提高安全防护效果。
8、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
1.一种面向ai智能体的基于意图识别的安全防护方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述采用llm对用户指令进行意图识别,得到目标意图类型,包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述当前操作行为与所述边界操作行为进行比对,得到目标决策,包括:
4.根据权利要求3所述的方法,其特征在于,还包括:
5.根据权利要求4所述的方法,其特征在于,所述当前操作行为命中前置阻断条件,包括如下项中至少一项:
6.根据权利要求3所述的方法,其特征在于,所述基于所述当前操作行为和所述边界操作行为计算综合评分,包括:
7.根据权利要求6所述的方法,其特征在于,所述基于所述当前操作行为和所述边界操作行为计算单点层评分,包括:
8.根据权利要求6所述的方法,其特征在于,所述基于所述当前操作行为和历史操作序列计算序列层评分,包括:
9.根据权利要求3所述的方法,其特征在于,所述基于所述综合评分确定所述目标决策,包括:
10.一种面向ai智能体的基于意图识别的安全防护装置,其特征在于,包括:
11.一种电子设备,包括:
12.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-9中任一项所述的方法。
13.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com