一种基于多智能体协同的LLM动态访问控制方法和系统
本发明涉及人工智能安全及访问控制,更具体的,涉及一种基于多智能体协同的llm动态访问控制方法和系统。
背景技术:
1、随着大语言模型(large language model, llm)在智能客服、内容生成、代码辅助、知识问答等领域的广泛应用,其在自然语言理解与生成方面展现出的强大能力,极大地推动了人工智能技术的发展。然而,llm的开放性与通用性也带来了新的安全挑战,尤其是在访问控制与恶意请求识别方面。大部分基于llm的资源访问,都将资源权限向llm开放,而努力在llm的访问入口侧设置控制策略。
2、目前,面向llm的访问控制技术主要依赖于静态规则库(如关键词过滤、提示词模板匹配)或单一模块的检测机制。这类传统技术在实际应用中暴露出以下明显不足:(1)依赖固定关键词或提示词库,难以应对变形、拆分、角色扮演等动态提示词注入攻击。(2)遇风险请求仅能“一刀切”拒绝,无法根据风险类型或等级采取差异化处理(如修正、引导等)。(3)系统模块高度耦合,新增检测工具需修改核心代码,扩展性与维护性差。(4)仅从单一维度检测,缺少多智能体协同评估与动态决策能力,导致误报漏报率高。(5)无法根据业务场景(如教育、金融、医疗)自定义智能体启用、优先级、融合规则等策略,灵活性不足。
3、综上所述,现有llm访问控制技术在灵活性、可扩展性、智能化及用户体验等方面存在明显缺陷。为此,亟需一种模块化、可配置、多智能体协同的llm动态访问控制机制,通过多类型专用智能体从关键词、用户意图、行为模式、资源敏感度等多维度协同评估用户请求,实现精准、灵活、自适应的访问控制决策。
技术实现思路
1、为了解决上述技术问题,本发明提出了一种基于多智能体协同的llm动态访问控制方法和系统,通过多类型专用智能体从多个维度协同感知用户访问意图、冲突仲裁机制及闭环策略自演化,实现了对llm访问的灵活、精准、自适应控制,有效防御提示词注入等动态攻击,显著提升了系统的可扩展性与用户体验。
2、本发明第一方面提供了一种基于多智能体协同的llm动态访问控制方法,包括以下步骤:
3、步骤s1:接收用户输入的自然语言请求,并进行预处理,识别用户访问需求,生成预处理后的请求文本;
4、步骤s2:将所述预处理后的请求文本分发给多个意图识别智能体,每个智能体独立对所述请求文本进行分析,所述多个意图识别智能体具有不同的检测工具集合和访问控制权限视角,分别从关键词匹配、用户意图解析、攻击行为模式匹配、资源敏感度评估中的至少两个维度,对用户的访问请求进行权限风险评估,输出风险评分、风险类型及推理依据;
5、步骤s3:当不同智能体的输出结果存在冲突时,激活仲裁智能体对冲突进行解析,基于所述请求文本及冲突智能体的推理依据,定位分歧点,输出仲裁后的风险评分与风险类型;
6、步骤s4:策略决策智能体接收各智能体输出的风险评分与类型,结合历史决策反馈数据,对所述请求文本计算综合风险等级;
7、步骤s5:根据所述综合风险等级及请求文本的风险类型,匹配对应的响应模式,对原始用户请求执行llm访问控制,同时生成证据链;
8、步骤s6:基于执行后的反馈结果,自动调整智能体的调度策略、融合规则或决策阈值,调整后的策略实时生效用于后续请求的处理。
9、本方案中,所述步骤s2,具体包括:
10、智能体调度器根据预设的调度策略,将预处理后的请求文本分发给多个启用的意图识别智能体;
11、其中,所述分发方式包括并行分发、串行分发或条件触发分发,调度器在分发前对请求文本进行轻量级语义预分类,识别请求文本中是否存在指令性动词、敏感实体或典型注入句式,调度器根据预分类结果,从预设的智能体优先级映射表中查找对应的优先激活智能体及调用顺序,并按所述调用顺序执行分发;
12、每个意图识别智能体在接收到请求文本后,调用检测工具,从请求文本中提取攻击特征,其中,每个智能体内部调用至少两个异构检测工具,并对各工具的输出进行交叉验证;
13、每个智能体根据提取的特征,输出风险评分,并在每个智能体内部维护预设短期历史请求评分的滑动窗口,若当前评分相对于历史基线的差值超过预设阈值时,则将评分映射函数的偏置项减去所述差值;
14、每个智能体输出至少一个风险类型标签,以及包含触发特征位置、匹配到的攻击模式标识及关键置信度分数的推理依据。
15、本方案中,所述意图识别智能体包括以下类型中的至少两种:
16、关键词检测智能体,基于动态更新的敏感词库及对抗样本变体库,对请求文本进行多模式匹配,识别预设的敏感词汇及变形;
17、用户访问意图识别智能体,基于语义解析模型,将用户自然语言请求解析为目标资源访问意图,转化为结构化的资源访问指令,识别用户的真实访问目的;
18、行为模式识别智能体,将请求文本与经典攻击模式特征库进行匹配识别,检测是否存在角色扮演注入、指令劫持、越狱前缀或对抗性提示词攻击模式;
19、模块意图识别智能体,对特定资源模块、数据域或功能单元的访问请求进行细粒度权限评估,判断用户是否具有访问特定模块的权限。
20、本方案中,所述步骤s3,具体包括:
21、智能体调度器收集所有意图识别智能体输出的风险评分、风险类型及推理依据;
22、当不同智能体的输出结果之间的差值或互斥程度超过预设阈值时,激活仲裁智能体,并判断需要仲裁的冲突类型;
23、仲裁智能体接收原始请求文本、所有智能体的输出及冲突类型标识,调用外部一致性校验工具,对请求文本进行一次独立检测;
24、解析各智能体的推理依据,定位推理依据中的分歧点;
25、根据预设仲裁模型,输出仲裁后的风险评分与风险类型;
26、输出包含分歧原因及仲裁依据的仲裁说明。
27、本方案中,所述步骤s4,具体包括:
28、策略决策智能体接收所有意图识别智能体及仲裁智能体输出的风险评分、风险类型及推理依据,对接收到的风险评分进行标准化处理,将风险类型标签转换为固定长度的向量表示;
29、策略决策智能体构建n×m的输出矩阵,其中n为智能体数量,m为每个智能体输出特征的维度,所述特征包括校准后的风险评分、风险类型编码向量及推理依据中的关键置信度分数,并为每个智能体关联表示动作价值的q值;
30、对于任意两个智能体,策略决策智能体基于历史l次请求中的输出评分序列,计算皮尔逊相关系数,所述皮尔逊相关系数基于滑动窗口动态更新,滑动窗口长度l为预设值;
31、以每个智能体为节点,节点特征包括智能体当前输出的风险评分、风险类型编码向量、q值及历史平均准确率,并基于两个智能体之间的皮尔逊相关系数建立边结构;
32、将构建完成的智能体协作图谱输入图神经网络,执行消息传递与节点更新,获取智能体的增强特征向量;
33、策略决策智能体从每个智能体的增强特征向量中提取增强后的风险评分及增强后的风险类型概率分布。
34、本方案中,所述步骤s4,还包括:
35、策略决策智能体调用融合策略引擎,对所有智能体的增强后风险评分及增强后风险类型进行计算,获取初步综合风险评分;
36、策略决策智能体从历史反馈存储器中,基于语义向量的相似请求查找及智能体性能追踪检索与当前请求相关的反馈数据;
37、调用反馈校正器,利用检索到的所述反馈数据对初步综合风险评分进行校正,获取校正后的综合风险评分;
38、根据预设的风险等级映射规则,将校正后的综合风险评分映射为离散的综合风险等级,所述风险等级包括安全、低风险、中风险及高风险;
39、在当前请求的处理流程结束后,策略决策智能体获取真实验证结果,根据各智能体输出的评分与真实结果的一致性,更新每个智能体的q值。
40、本方案中,所述步骤s5,具体包括:
41、控制执行调度器根据综合风险等级及风险类型集合,从策略库中筛选适用的候选响应动作集合,所述候选响应动作包括正常访问、禁止访问、内容修正、引导访问、审计记录、延迟响应、人工介入及对抗性响应;
42、维护k个并行的值分解策略,每个值分解策略将响应动作的价值分解到不同的价值维度,所述价值维度包括安全维度、效率维度、用户体验维度、信息增益维度及威慑维度中的至少两个;
43、对于每个候选响应动作,每个值分解策略独立输出在当前状态下的价值估计,生成k个并行的值分解策略对应的价值矩阵;
44、对于每个候选响应动作,计算各策略价值估计之间的差异度,根据当前请求的风险等级及风险类型动态调整差异度量中各指标的权重;
45、构建状态-动作空间的不确定地图,当差异度超过预设阈值时,将对应的状态-动作对标记为不确定区域,基于不确定区域的指示因子获取探索奖励;
46、根据各策略价值估计的加权平均值与探索奖励为每个候选响应动作计算选择分数,获取所述选择分数最高的候选响应动作作为执行动作;
47、控制执行调度器按照选定的执行动作,调用对应的控制执行智能体,生成llm最终响应并返回给用户;
48、同时生成并存储本次执行的证据链记录,所述证据链包含各策略的价值估计、差异度、不确定区域标识、选择分数计算过程、所选动作、实际执行效果及策略权重更新日志。
49、本方案中,步骤s6具体包括:
50、在当前请求处理完成后,收集反馈信号,根据所述反馈信号计算每个值分解策略的信用分数;
51、根据各策略的信用分数,采用软最大化规则更新各值分解策略的权重;
52、在每次权重更新后,计算各值分解策略之间的价值估计相关系数矩阵,当相关系数超过预设阈值时,选取任一策略的价值函数参数进行随机扰动;
53、根据更新后的策略权重分布,同步调整智能体调度器的调度策略及决策阈值,调整后的策略实时生效用于后续请求的处理。
54、本发明第二方面提供了一种基于多智能体协同的llm动态访问控制系统,该系统包括:
55、请求接收与预处理模块:用于接收用户输入的自然语言请求,并进行预处理,识别用户访问需求,生成预处理后的请求文本;
56、智能体调度与配置管理模块:用于存储用户配置的调度策略,协调各智能体的执行顺序与触发条件;
57、意图识别智能体群组:包含多个专用意图识别智能体,所述多个意图识别智能体具有不同的检测工具集合和访问控制权限视角,分别从关键词匹配、用户意图解析、攻击行为模式匹配、资源敏感度评估中的至少两个维度,用于对请求文本进行独立分析,输出风险评分、风险类型及推理依据;
58、仲裁智能体:用于当多个意图识别智能体的输出结果存在冲突时被激活,接收原始请求文本及各智能体输出,解析推理依据并定位分歧点,根据预设仲裁规则输出仲裁后的风险评分与风险类型;
59、策略决策智能体:用于接收所有意图识别智能体及仲裁智能体的输出,结合历史决策反馈数据计算综合风险等级;通过多值分解偏好策略库,维护值分解策略,计算各策略价值估计之间的差异度,为候选响应动作计算选择分数并选定执行动作;
60、控制执行智能体群组:包含多个专用控制执行智能体,每个控制执行智能体对应一种响应模式;
61、控制执行调度器:用于根据选定的响应模式及用户配置的执行策略,调用相应的控制执行智能体,执行对llm访问的控制;
62、反馈收集与策略演化模块:用于收集执行后的反馈信号,计算各值分解策略的信用分并更新策略权重,同时同步调整智能体调度策略及决策阈值;
63、日志模块:用于记录各智能体的决策过程和执行结果,生成包含完整决策过程的证据链。
64、与现有技术相比,本发明的有益效果为:
65、通过多个专用意图识别智能体从词汇、语义、行为模式等多维度并行分析用户请求,结合仲裁智能体的冲突解析机制,有效提升了检测准确率,降低了误报与漏报率。通过多值分解偏好策略库和估计差异动态度量,能够识别不确定区域并主动探索高价值响应动作,结合用户可配置的偏好规则,实现安全优先、体验优先等多种策略的灵活切换。基于执行后的多源反馈信号,动态更新策略权重并维护策略库正交性,实现调度策略、融合规则及决策阈值的自动调整与实时生效。支持正常访问、禁止访问、内容修正、引导访问及对抗性响应等多种执行模式,对中低风险请求采用渐进式处理,避免一刀切拒绝。模块化架构使新增检测工具或响应模式无需修改核心代码,降低维护成本。系统生成的完整决策证据链支持细粒度追溯与差异对比,满足高风险场景下的合规性要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com