智能体运行期安全检测系统、方法、设备及介质与流程

本技术涉及人工智能，尤其涉及一种智能体运行期安全检测系统、方法、设备及介质。

背景技术：

1、随着人工智能技术的快速发展，智能体（agent）系统已从简单的对话交互演进为能够调用外部工具、访问业务资源、执行支付、控制、数据发送等具有外部副作用的复杂系统。智能体运行期的安全检测对象已不再局限于模型输入输出文本，而是扩展为身份、凭证、工具调用、资源准入、状态变化和跨系统协作共同组成的运行期行为链。

2、目前，智能体运行期安全检测方案主要包括以下几类：

3、（一）提示词安全检测方案。该类方案主要检测输入提示词是否包含越狱（jailbreak）、注入（injection）、角色篡改、敏感词或恶意指令，通常位于模型调用前或模型输出后。该类方案的局限性在于：仅关注文本内容，无法检测工具调用、资源访问等行为层面的异常。

4、（二）运行日志审计方案。该类方案收集智能体请求、响应、工具调用日志或业务流水，并在事后进行关键字匹配、频率统计、失败率分析或敏感字段检测。该类方案的局限性在于：普通日志易于被篡改——当智能体运行时、工具网关或业务系统被攻击者控制时，可能伪造工具调用记录、删除异常记录或补写正常记录，导致安全检测和责任追溯缺少可信依据。

5、（三）访问控制或权限校验方案。该类方案通常在资源入口验证身份、令牌或权限，根据权限表判断是否放行。该类方案的局限性在于：单纯基于单点规则的检测难以识别跨层越权——例如，文本请求看似正常，但其委派令牌受众与目标资源不一致，或者以低等级凭证访问高敏资源，或者调用效果从读取突然变为支付、控制、批量发送，单独观察任一字段都难以及时发现真实风险。

6、（四）信用评分或风险画像方案。该类方案根据历史事件、健康检查结果、违规记录和行为统计，计算智能体信用分、风险等级或可信状态。该类方案的局限性在于：严重越权、敏感数据外泄、不可逆重大外部副作用等高风险事件，如果与普通轻微异常一起进入加权评分，可能被平均稀释，无法及时触发暂停、限流、强制再体检或人工复核。

7、综上，现有智能体运行期安全检测方案虽然解决了文本检测、日志审计、入口访问控制和综合风险评估的问题，但依然存在源头数据不可信导致追溯失效、单点规则割裂导致协同攻击漏报、加权评分钝化导致高风险事件响应滞后的问题，从而严重影响智能体运行期安全。

技术实现思路

1、本技术提供了一种智能体运行期安全检测系统、方法、设备及介质，用以解决现有智能体运行期安全检测方法对智能体运行期的安全检测效果不佳的问题，本技术提供的技术方案如下：

2、一方面，本技术提供了一种智能体运行期安全检测系统，包括：

3、本技术提供了一种智能体运行期安全检测系统，包括：

4、可信输入层，用于对目标智能体运行期的行为事件进行身份校验；

5、异常检测层，用于对身份校验通过的行为事件进行可信校验，并将可信校验通过的行为事件转换为安全检测上下文；基于安全检测上下文获取多维安全检测基线；将安全检测上下文和多维安全检测基线输入多类型异常检测器得到异常检测结果；基于异常检测结果生成异常事件和异常证据包；

6、分流治理层，用于基于异常事件和异常证据包确定红线风险等级，并基于红线风险等级生成相应的风险治理建议。

7、上述方案通过将检测对象从普通日志升级为经身份校验的可信行为流，并结合多维基线与多类型检测器进行综合判定，解决了单一维度检测难以识别复杂跨层风险的问题，同时通过生成结构化的异常证据包支持后续精准治理。

8、可选地，可信输入层包括：

9、硬件锚身份与状态维护模块，用于维护目标智能体的硬件锚身份和硬件锚状态；其中，硬件锚身份包括目标智能体在注册时生成的智能体身份号、注册锚类型、硬件锚指纹和签发密钥以及在运行中生成的父子身份关系；硬件锚状态包括目标智能体的状态位和锚状态；

10、可信行为流接入模块，用于实时监测目标智能体运行期的行为事件，调用硬件锚身份与状态维护模块维护的目标智能体的硬件锚身份和硬件锚状态，对目标智能体运行期的行为事件进行身份校验。

11、上述方案通过硬件锚身份与状态的绑定维护，确保了行为事件来源的物理可信度，防止了身份冒用或伪造事件注入。

12、可选地，异常检测层包括：

13、事件验真与归一化模块，用于对身份校验通过的行为事件进行多维可信锚点联合校验，对多维可信锚点联合校验通过的行为事件进行多维上下文提取形成安全检测上下文；其中，多维可信锚点联合校验包括身份真实性校验、内容完整性校验、时序连续性校验和来源合法性校验；多维上下文包括身份上下文、资源上下文、工具效果上下文、敏感数据上下文、时间窗口上下文和群体上下文；

14、多基线管理模块，用于从安全检测上下文中提取目标智能体的多维复合定位特征；以多维复合定位特征为查询键，从预存储的多基线数据库中读取身份锚基线、权限准入基线和行为统计基线作为多维安全检测基线；其中，身份锚基线包括预维护的目标智能体的硬件锚身份和硬件锚状态；权限准入基线包括预配置的目标资源的访问控制规则集合；行为统计基线包括通过对可信校验通过的历史行为事件流进行周期性离线计算得到的多类行为统计指标基准值；

15、异常检测矩阵模块，用于将安全检测上下文和多维安全检测基线输入多类型异常检测器得到异常检测结果；其中，多类型异常检测器包括锚一致性检测器、准入边界检测器、高影响工具序列检测器、注入与绕过检测器、数据外泄检测器和群体传播检测器；

16、异常证据包生成模块，用于基于异常检测结果生成异常事件和异常证据包。

17、上述方案通过三基线与六类检测器的矩阵式组合，实现了对身份、权限、工具序列、注入攻击、数据泄露及群体异常的全方位覆盖，提升了跨层越权风险的识别精度。

18、可选地，异常证据包生成模块，用于基于异常检测结果提取异常检测事实信息；基于异常检测事实信息及行为事件的关联事件上下文生成上下文哈希值；对行为事件的原始业务载荷进行数据脱敏处理；基于异常检测事实信息、上下文哈希值以及数据脱敏处理后的原始业务载荷生成异常事件和异常证据包；对异常证据包进行密码学哈希运算得到证据完整性摘要，并将证据完整性摘要写入异常证据包。

19、上述方案通过上下文哈希与证据完整性摘要的双重校验机制，结合敏感数据脱敏处理，在保证证据法律效力与可追溯性的同时，兼顾了业务隐私保护。

20、可选地，分流治理层包括：

21、红线分流与治理建议模块，用于采用预配置的红线分流规则，确定异常事件和异常证据包命中的红线风险等级；若红线风险等级为普通异常，则生成监控、降采样观察或提醒类治理建议；若红线风险等级为软红线，则生成挂起高危操作并进入人工复核或多方授权复核队列的治理建议；若红线风险等级为硬红线，则生成暂停、限流、强制再体检或监管报告类治理建议。

22、上述方案通过将严重风险从普通评分中分离并建立三级分流机制，避免了重大安全事件被正常行为均值稀释，确保了高风险场景下的及时响应与处置。

23、可选地，分流治理层还包括：

24、信用画像反馈模块，用于基于异常事件和红线风险等级触发对目标智能体的信用画像重算；其中，在信用画像重算时，红线风险等级越低，异常事件的惩罚权重越低。

25、上述方案实现了异常检测与信用体系的动态联动，使信用评价能够实时反映智能体的运行期安全状态。

26、可选地，分流治理层还包括：

27、复核与规则校准模块，用于接收来自人工复核或多方授权复核队列对异常事件和红线风险等级的复核结论；记录复核结论中的误报原因和漏报场景，并基于误报原因和漏报场景调整当前版本检测规则中的规则参数或配置阈值，得到新版本检测规则；将新版本检测规则写入灰度发布记录，并按照预设的灰度比例逐步扩大新版本检测规则的生效范围；同时保留历史版本检测规则，以便基于历史异常事件发生时的历史版本检测规则进行回溯解释。

28、上述方案通过闭环反馈与版本管理机制，支持检测策略的持续演进与历史结果的可解释性，适应了智能体安全对抗的动态变化需求。

29、另一方面，本技术提供了一种智能体运行期安全检测方法，包括：

30、对目标智能体运行期的行为事件进行身份校验；

31、对身份校验通过的行为事件进行可信校验，并将可信校验通过的行为事件转换为安全检测上下文；

32、基于安全检测上下文获取多维安全检测基线；

33、将安全检测上下文和多维安全检测基线输入多类型异常检测器得到异常检测结果；

34、基于异常检测结果生成异常事件和异常证据包；

35、基于异常事件和异常证据包确定红线风险等级，并基于红线风险等级生成相应的风险治理建议。

36、另一方面，本技术提供了一种电子设备，包括存储器、处理器和存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述智能体运行期安全检测方法。

37、另一方面，本技术还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令被处理器执行时实现上述智能体运行期安全检测方法。

38、本技术的有益效果如下：

39、本技术通过在异常检测前引入基于硬件锚的身份校验与多维可信锚点联合校验，构建了不可篡改的可信行为流输入基础，从根本上解决了普通日志易被伪造导致检测失效的问题。在此基础上，利用身份锚基线、权限准入基线和行为统计基线构成的多维安全检测基线，配合涵盖锚一致性、准入边界、工具序列、注入绕过、数据外泄及群体传播的异常检测矩阵，实现了对跨层越权、复杂攻击链路及群体性风险的精准识别。

40、进一步地，通过生成包含上下文哈希、脱敏载荷及完整性摘要的结构化异常证据包，并结合普通异常、软红线、硬红线的三级分流治理机制，既避免了严重安全事件被正常行为均值稀释，又保证了处置决策的准确性与可追溯性。同时，通过信用画像反馈与规则版本校准机制，实现了安全检测能力的持续演进与历史结果的可解释性，有效提升了智能体系统在开放环境下的运行安全性与治理效率。

41、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地可以从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中特别指出的结构来实现和获得。