智能体生成轨迹的异常检测方法、装置、设备和存储介质与流程

摘要: 本发明实施例涉及大模型,特别涉及一种智能体生成轨迹的异常检测方法、装置、设备和存储介质。背景技术:1、随着大语言模型(largelanguagemodel,ll...
智能体生成轨迹的异常检测方法、装置、设备和存储介质与流程

本发明实施例涉及大模型,特别涉及一种智能体生成轨迹的异常检测方法、装置、设备和存储介质。

背景技术:

1、随着大语言模型(large language model, llm)及其驱动的智能agent系统在代码生成、自动决策、人机协同等场景中的广泛应用,基于prompt的交互方式已成为主流控制手段。然而,现有agent系统在执行复杂任务时,通常依赖外部输入(如用户指令、工具返回结果或环境反馈)持续调整其生成行为,这使其容易受到“prompt injection(提示注入)”攻击的影响。攻击者可通过构造特定输入,诱导模型偏离原始任务目标,执行非预期操作,甚至泄露敏感信息。

2、针对上述问题,已有少量研究开始关注模型内部状态信息,例如利用隐藏层表示(hidden state)或注意力分布对生成过程进行分析,但多用于可解释性研究或离线评估,尚未形成可实时部署的安全检测机制。

3、因此,现有技术整体上仍停留在“输入/输出内容层”的防护范式,无法有效识别那些在语义上看似合理、但在生成轨迹上已发生异常偏移的注入攻击行为。

技术实现思路

1、本发明的目的在于至少提供一种智能体生成轨迹的异常检测方法、装置、设备和存储介质,至少可以解决现有方法无法有效识别那些在语义上看似合理、但在生成轨迹上已发生异常偏移的注入攻击行为的技术问题,至少可以达到有效识别那些在语义上看似合理、但在生成轨迹上已发生异常偏移的注入攻击行为。

2、为解决上述技术问题,本申请的至少一个实施例提供了一种智能体生成轨迹的异常检测方法,包括:

3、按照token的生成顺序获取各token对应的中间隐藏状态,基于各所述中间隐藏状态的变化情况提取得到生成轨迹特征,其中,所述生成轨迹特征为基于所述中间隐藏状态在方向一致性、跃迁幅度及分布变化三个维度中的至少两个维度上提取得到;

4、对所述生成轨迹特征在时间窗口内累积映射,得到异常能量演化序列;

5、检测所述异常能量演化序列的持续性和稳定性是否满足预设的异常判定策略参数,以确定当前生成过程是否处于攻击异常状态。

6、在一些可选的实施例中,所述对所述生成轨迹特征在时间窗口内累积映射,得到异常能量演化序列,包括:

7、对每一时刻的所述生成轨迹特征中的各维度特征进行加权融合,并将融合结果映射为该时刻的单步异常值;

8、在预设时间窗口内对所述单步异常值进行多维度聚合,生成用于表征异常信号在时间维度上演化形态的异常能量演化序列,其中,所述异常能量演化序列至少包含窗口内的强度累积信息和异常持续信息。

9、在一些可选的实施例中,所述对每一时刻的所述生成轨迹特征中的各维度特征进行加权融合,包括:

10、采用预设的固定权重组合对所述方向一致性、跃迁幅度及分布变化进行加权融合;或

11、利用预设的低维非线性映射模型对所述方向一致性、跃迁幅度及分布变化进行自适应融合,所述低维非线性映射模型经由离线轨迹数据以最大化异常样本与正常样本在融合结果上的可分性为训练目标训练得到。

12、在一些可选的实施例中,所述检测所述异常能量演化序列的持续性和稳定性是否满足预设的异常判定策略参数,以确定当前生成过程是否处于攻击异常状态,包括:

13、获取所述异常能量演化序列在预设时间窗口内的强度度量、持续性度量和稳定性度量,其中,所述强度度量用于表征异常能量的整体高低水平,所述持续性度量用于表征异常能量超过预设水平的持续步数,所述稳定性度量用于表征异常能量的波动程度;

14、当所述强度度量、所述持续性度量与所述稳定性度量分别满足预设的异常判定策略参数,确定当前生成过程处于攻击异常状态。

15、在一些可选的实施例中,所述确定当前生成过程是否处于攻击异常状态,还包括:

16、对异常能量的变化趋势进行拟合,当所述变化趋势呈持续上升且满足预设增长率条件时,无论所述强度度量是否达到对应的预设异常标准,均当前生成过程处于攻击异常状态。

17、在一些可选的实施例中,所述变化趋势基于一阶差分近似增长率计算得到。

18、在一些可选的实施例中,所述智能体生成轨迹的异常检测方法运行于边缘节点,所述边缘节点与云端通信连接,所述方法还包括:

19、将所述生成轨迹特征上传至所述云端;

20、接收所述云端下发的更新后的异常判定策略参数,其中,所述异常判定策略参数由所述云端基于接收到的多个会话的生成轨迹特征进行聚合分析后更新得到;

21、根据接收到的所述策略参数执行异常判定。

22、本申请的至少一个实施例还提供了一种智能体生成轨迹的异常检测装置,包括:

23、特征生成模块,用于按照token的生成顺序获取各token对应的中间隐藏状态,基于各所述中间隐藏状态的变化情况提取得到生成轨迹特征,其中,所述生成轨迹特征为基于所述中间隐藏状态在方向一致性、跃迁幅度及分布变化三个维度中的至少两个维度上提取得到;

24、能量演化模块,用于对所述生成轨迹特征在时间窗口内累积映射,得到异常能量演化序列;

25、检测模块,用于检测所述异常能量演化序列的持续性和稳定性是否满足预设的异常判定策略参数,以确定当前生成过程是否处于攻击异常状态。

26、本申请的至少一个实施例还提供了一种电子设备,包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述的智能体生成轨迹的异常检测方法。

27、本申请的至少一个实施例还提供了一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述的智能体生成轨迹的异常检测方法。

28、本申请的实施例提供的智能体生成轨迹的异常检测方法、装置、设备和存储介质,通过对token生成过程中的中间隐藏状态进行实时捕获与分析,将检测维度从传统的“输入/输出内容层”下沉至模型内部推理过程层。使得异常检测不再依赖恶意内容的显性语义特征,而是通过监测生成轨迹的演化状态来识别异常。攻击者即便通过语义改写、编码混淆等方式绕过内容过滤,其引发的内部状态异常偏移仍会被轨迹检测所捕获。进一步,从方向一致性、跃迁幅度、分布变化三个正交维度提取轨迹特征,并累积映射为异常能量演化序列,使得最终的异常判定并非基于某一时刻的单点异常,而是依赖异常能量在时间轴上的持续性和稳定性,即,只有具备稳定演化结构的异常才触发告警。这种“轨迹判定”机制天然区分了偶发性噪声与真实的攻击行为,相较于传统单点阈值检测,误报率显著降低。

29、本申请在不改变原有模型结构和推理流程的前提下,实现对提示注入等攻击行为的早期识别与动态阻断,从而提升agent系统在复杂交互环境中的安全性、实时性与工程可部署性。

1.一种智能体生成轨迹的异常检测方法,其特征在于,包括:

2.根据权利要求1所述的智能体生成轨迹的异常检测方法,其特征在于,所述对所述生成轨迹特征在时间窗口内累积映射,得到异常能量演化序列,包括:

3.根据权利要求2所述的智能体生成轨迹的异常检测方法,其特征在于,所述对每一时刻的所述生成轨迹特征中的各维度特征进行加权融合,包括:

4.根据权利要求1所述的智能体生成轨迹的异常检测方法,其特征在于,所述检测所述异常能量演化序列的持续性和稳定性是否满足预设的异常判定策略参数,以确定当前生成过程是否处于攻击异常状态,包括:

5.根据权利要求3所述的智能体生成轨迹的异常检测方法,其特征在于,所述确定当前生成过程是否处于攻击异常状态,还包括:

6.根据权利要求5所述的智能体生成轨迹的异常检测方法,其特征在于,所述变化趋势基于一阶差分近似增长率计算得到。

7.根据权利要求1-6中任一项所述的智能体生成轨迹的异常检测方法,其特征在于,所述智能体生成轨迹的异常检测方法运行于边缘节点,所述边缘节点与云端通信连接,所述方法还包括:

8.一种智能体生成轨迹的异常检测装置,其特征在于,包括:

9.一种电子设备,其特征在于,包括:

10.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的智能体生成轨迹的异常检测方法。