一种面向智能体多接口协同调用的实时安全评估方法及系统与流程

本发明涉及人工智能安全，特别涉及一种面向智能体多接口协同调用的实时安全评估方法及系统。

背景技术：

1、随着生成式人工智能和大语言模型技术的发展，基于大模型构建的智能体已广泛应用于政务、金融、教育、能源、运营商、监管及企业服务等场景。相较于传统单轮问答系统，智能体通常需要结合用户输入、历史上下文、知识库内容及业务规则，对接搜索检索、知识问答、数据库访问、内容生成、消息推送、邮件发送、插件工具及第三方服务接口等多类能力，以完成复杂任务处理。因此，智能体的运行过程通常涉及多轮上下文传递、多组件协同和多接口连续调用。

2、现有大模型安全防护方案主要围绕用户输入安全、模型生成内容安全和网络访问安全展开，例如对用户提示词进行合规性检测、提示注入检测和对抗样本检测，对模型输出内容进行违规检测、敏感信息检测、脱敏处理和内容改写，并结合威胁情报、用户行为审计及访问控制等机制提升安全防护能力。上述方案在大模型单次问答、单次请求处理或单点访问控制场景下能够起到一定作用。

3、但是，在智能体多接口协同调用场景下，现有技术通常仍以单次输入检测、单次输出审核或单个接口访问控制为主，缺少针对智能体调用全过程的连续性安全评估机制。特别是在智能体根据任务目标自主选择工具、动态生成调用请求，并将前一处理环节的结果继续传递至后一处理环节时，仅对单个输入、单个输出或单次调用行为进行独立检测，难以准确识别由多个处理环节叠加形成的复合安全风险。

4、例如，攻击者可通过提示注入、越狱诱导、恶意插件利用、接口滥用或其他异常输入方式，引导智能体调用非授权接口、访问敏感资源或输出违规内容；又如，智能体在从内部知识库、文件系统或业务数据库获取信息后，进一步调用外部服务接口对相关内容进行处理，并通过消息、邮件或其他方式进行发送时，虽然各个处理环节分别满足基本规则，但整体处理过程仍可能形成敏感数据泄露、越权调用、外部扩散或任务目标偏移等安全问题。对于此类由多接口连续调用、上下文持续传递和数据跨环节流转形成的链路式风险，现有以单点检测为主的防护方式难以及时发现并有效处置。

5、此外，部分现有方案虽然能够结合威胁情报、行为审计或访问控制对异常请求进行识别，但通常缺少将输入安全、调用安全、输出安全、权限控制和风险处置进行统一联动的实时评估机制，难以根据用户身份、终端环境、网络状态、调用对象、调用内容和处理结果的变化，对智能体调用过程中的风险进行动态感知和分级处置，进而难以满足高安全场景下对大模型和智能体系统安全、可靠、可控运行的要求。

6、因此，发明一种面向智能体多接口协同调用的实时安全评估方法及系统来解决上述问题很有必要。

技术实现思路

1、本发明的目的在于提供一种面向智能体多接口协同调用的实时安全评估方法及系统，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种面向智能体多接口协同调用的实时安全评估方法，包括以下步骤：

3、s1、接收智能体在任务执行过程中产生的当前调用请求，获取与所述当前调用请求对应的用户输入、上下文信息、目标接口信息以及用户访问状态信息；

4、s2、对所述用户输入和上下文信息进行输入安全检测，生成输入风险检测结果；

5、s3、基于所述目标接口信息、所述输入风险检测结果、所述上下文信息以及所述用户访问状态信息，对所述当前调用请求进行调用安全评估，得到调用风险评估结果；

6、s4、根据所述调用风险评估结果，执行放行、限制或阻断中的至少一种安全处置；

7、s5、在所述当前调用请求被放行后，接收目标接口返回的处理结果，并对所述处理结果进行输出安全检测，生成输出风险检测结果；

8、s6、根据所述输出风险检测结果对所述处理结果执行相应处置，并将所述当前调用请求、调用风险评估结果、处置结果以及目标接口返回的处理结果关联记录至审计数据；

9、s7、将所述审计数据中的异常信息发送至威胁情报联动模块，以用于更新安全策略或风险识别规则。

10、优选地，所述步骤s2中对用户输入和上下文信息进行输入安全检测，包括：对用户提示词执行合规性检测、提示注入攻击检测和对抗样本检测；

11、对所述上下文信息中的历史对话内容、工具调用中间结果或外部返回内容执行异常指令识别和敏感信息识别；

12、在检测到输入风险时，对用户输入执行提示增强、提示改写、安全约束注入或代答提示生成中的至少一种处理。

13、优选地，所述步骤s3中进行调用安全评估时，至少基于以下因素中的两种或两种以上进行联合分析：

14、目标接口是否属于外部服务接口、插件接口、外发接口或高权限接口；

15、当前调用请求是否涉及内部知识库、文件系统、业务数据库或敏感业务资源访问；

16、当前调用请求的调用方向是否由内部处理转变为外部处理或对外发送；

17、用户访问状态信息对应的信任等级是否低于预设阈值；

18、当前调用请求是否与预设高风险访问模式、异常行为特征或威胁情报规则匹配。

19、优选地，所述步骤s4中的安全处置包括分级处置机制，所述分级处置机制至少包括：

20、当所述调用风险评估结果为低风险时，执行放行并记录审计日志；

21、当所述调用风险评估结果为中风险时，执行限权放行、内容裁剪、参数限制或人工确认；

22、当所述调用风险评估结果为高风险时，执行阻断、敏感信息脱敏、内容改写、替代回复、实时告警或禁止继续调用中的至少一种处置。

23、优选地，所述步骤s5中对目标接口返回的处理结果进行输出安全检测时，包括：

24、对生成内容执行合规性检测和敏感性检测；

25、对第三方接口、插件接口或外部服务接口返回内容执行异常内容检测，以识别其中可能导致后续未授权调用、上下文污染、提示偏转或风险扩散的异常内容；

26、并在检测到输出风险时，对所述处理结果执行敏感信息遮蔽、内容脱敏、违规内容改写或安全代答中的至少一种处理。

27、优选地，所述用户访问状态信息通过零信任访问控制机制生成，所述零信任访问控制机制至少结合以下因素中的两种或两种以上确定用户或设备的信任等级：

28、用户身份认证结果、多因子认证结果、终端设备状态、操作系统状态、网络接入环境、用户历史行为特征和网络行为特征；

29、并根据所述信任等级动态调整当前调用请求的访问权限、评估阈值或处置策略。

30、优选地，所述步骤s7中的威胁情报联动模块用于：

31、对所述审计数据中的异常调用样本、恶意提示内容、异常访问请求、违规输出内容或异常接口访问特征进行汇聚分析；

32、生成对应的威胁标识、威胁等级、威胁来源信息和关联会话信息；

33、并将更新后的威胁情报分发至智能体前端安全网关、输入安全检测模块、调用安全评估模块或输出安全检测模块，以实现风险规则的动态更新和异常请求的快速阻断。

34、本发明还提供了一种面向智能体多接口协同调用的实时安全评估系统，用于实现上述的实时安全评估方法，包括：

35、请求接入模块，用于接收智能体在任务执行过程中产生的当前调用请求，并获取与所述当前调用请求对应的用户输入、上下文信息、目标接口信息以及用户访问状态信息；

36、输入安全检测模块，用于对所述用户输入和上下文信息进行输入安全检测，生成输入风险检测结果；

37、调用安全评估模块，用于基于所述目标接口信息、输入风险检测结果、上下文信息以及用户访问状态信息，对所述当前调用请求进行调用安全评估，生成调用风险评估结果；

38、策略处置模块，用于根据所述调用风险评估结果执行相应的安全处置；

39、输出安全检测模块，用于在目标接口返回处理结果后，对所述处理结果进行输出安全检测，生成输出风险检测结果；

40、审计追踪模块，用于关联记录所述当前调用请求、调用风险评估结果、处置结果以及目标接口返回的处理结果；

41、威胁情报联动模块，用于接收审计追踪模块输出的异常数据，并更新安全策略或风险识别规则。

42、优选地，所述调用安全评估模块还用于对智能体调用过程中的以下信息进行联合评估：

43、接口类别、接口访问方向、接口权限属性、接口来源属性、资源敏感级别、用户信任等级、异常行为特征以及威胁情报匹配结果中的至少两种；

44、所述策略处置模块还用于根据联合评估结果执行放行、限权放行、阻断、人工确认、敏感信息脱敏、内容改写、替代回复或告警中的至少一种处置。

45、优选地，还包括零信任访问控制模块，所述零信任访问控制模块用于对用户身份、终端设备、网络环境和用户行为进行可信度评估，生成用户访问状态信息；

46、所述威胁情报联动模块还用于对异常问答样本、恶意提示词样本、异常接口调用样本和违规输出样本进行威胁情报存储和分发；

47、所述审计追踪模块还用于记录会话标识、用户提示内容、模型处理内容、目标接口信息、处置结果和威胁标识，以实现调用过程溯源和安全事件复核。。

48、本发明的技术效果和优点：

49、1.本发明并非仅对用户输入、单次接口调用或单次输出结果进行孤立检测，而是将输入安全检测、调用安全评估、输出安全检测、策略处置、审计追踪和威胁情报联动进行统一关联，能够对智能体在连续任务执行过程中的多环节风险进行整体识别和联动防护，从而提高对提示注入、接口滥用、敏感数据泄露、越权访问及违规输出等复合风险的识别能力。

50、2.本发明在接口调用前综合考虑用户输入、历史上下文、目标接口信息以及用户访问状态信息，并可进一步结合零信任访问控制机制对用户身份、终端环境、网络环境和行为特征进行动态评估，因此能够突破现有静态权限控制和单点安全检测的局限，更准确地识别在高权限接口调用、外发操作及敏感资源访问场景中的潜在风险。

51、3.本发明通过对调用请求、风险评估结果、处置结果和输出结果进行关联审计，并将异常调用样本、异常提示内容、异常接口访问特征和违规输出内容联动至威胁情报模块，实现安全策略和风险识别规则的动态更新，从而提升系统对相似攻击行为和异常模式的持续识别与快速响应能力。