一种内容安全控制方法、装置、存储介质及电子设备与流程

本说明书涉及计算机，尤其涉及一种内容安全控制方法、装置、存储介质及电子设备。

背景技术：

1、随着人工智能技术的快速发展，基于大模型（llm）的智能体（aiagent）的用户任务自主处理范式（如vibecoding）被广泛应用于开发者等用户对话式编程平台、企业级代码辅助生成工具及智能体任务编排系统等应用场景中。在此类应用场景中，用户通过自然语言描述诸如工程开发需求等用户任务需求，智能体利用基于有状态图的工作流编排引擎驱动大模型进行多轮逻辑推理与系统工具调用（如读取本地文件、解析代码语法、执行终端命令等），自动完成用户任务，例如对于代码编程任务可以自主完成代码编写、文件系统管理及自动化工程构建等复杂的软件开发任务。

技术实现思路

1、本说明书提供了一种内容安全控制方法、装置、存储介质及电子设备，实现了智能体任务全生命周期的非侵入式生成内容安全防护，所述技术方案如下：

2、第一方面，本说明书提供了一种内容安全控制方法，所述方法包括：

3、将安全检测钩子插件注册至智能体的基于状态图模型的任务编排引擎；

4、在所述任务编排引擎的输入检测钩子节点，对当前会话输入内容进行安全输入检测，并在检测到非安全输入时调整所述状态图模型跳过大模型流式推理过程至任务终止节点；

5、监测大模型流式推理过程，在所述任务编排引擎的流式推理检测钩子节点，结合工具调用上下文链条对流式推理内容进行流式推理安全检测，得到推理安全检测结果；

6、在所述任务编排引擎的输出检测钩子节点，对剔除工具调用消息的模型推理响应消息进行安全输出检测得到输出安全检测结果；

7、根据所述推理安全检测结果和/或所述输出安全检测结果，通过所述任务编排引擎向所述状态图模型下发状态更新指令以修剪历史消息队列，并基于修剪后的历史消息队列输出安全响应内容。

8、第二方面，本说明书提供了一种内容安全控制装置，所述装置包括：

9、插件注册模块，用于将安全检测钩子插件注册至智能体的基于状态图模型的任务编排引擎；

10、安全检测模块，用于在所述任务编排引擎的输入检测钩子节点，对当前会话输入内容进行安全输入检测，并在检测到非安全输入时调整所述状态图模型跳过大模型流式推理过程至任务终止节点；

11、所述安全检测模块，用于监测大模型流式推理过程，在所述任务编排引擎的流式推理检测钩子节点，结合工具调用上下文链条对流式推理内容进行流式推理安全检测，得到推理安全检测结果；

12、所述安全检测模块，用于在所述任务编排引擎的输出检测钩子节点，对剔除工具调用消息的模型推理响应消息进行安全输出检测得到输出安全检测结果；

13、内容输出模块，用于根据所述推理安全检测结果和/或所述输出安全检测结果，通过所述任务编排引擎向所述状态图模型下发状态更新指令以修剪历史消息队列，并基于修剪后的历史消息队列输出安全响应内容。

14、第三方面，本说明书提供一种计算机存储介质，所述计算机存储介质存储有至少一条指令，所述指令适于由处理器加载并执行本说明书一个或多个实施例的方法步骤。

15、第四方面，本说明书提供一种计算机程序产品，所述计算机程序产品存储有至少一条指令，所述指令适于由处理器加载并执行本说明书一个或多个实施例的方法步骤。

16、第五方面，本说明书提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行本说明书一个或多个实施例的方法步骤。

17、本说明书一些实施例提供的技术方案带来的有益效果至少包括：

18、在本说明书一个或多个实施例中，通过将安全检测钩子插件非侵入式注册至基于状态图模型的任务编排引擎，在输入、流式及输出节点实施多阶段检测，结合工具上下文链条过滤工具响应，并在违规时下发状态更新指令修剪历史消息队列的技术手段，解决了智能体防护难以兼顾非侵入扩展、工具产物误阻断及上下文记忆污染的局限。实现了智能体全生命周期的非侵入防护，前置输入拦截有效节省了模型算力；结合工具上下文链条精准隔离了工具中间数据降低了误拦截率；通过修剪状态图模型的历史消息队列消除了违规上下文在多轮交互中的记忆继承与污染，保障了智能体的安全稳定运行。

1.一种内容安全控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述对当前会话输入内容进行安全输入检测，包括：

3.根据权利要求1或2所述的方法，其特征在于，所述进行安全输入检测，包括：

4.根据权利要求1所述的方法，其特征在于，所述结合工具调用上下文链条对流式推理内容进行流式推理安全检测，得到推理安全检测结果包括：

5.根据权利要求4所述的方法，其特征在于，所述获取当前输出标记对应的父级运行标识，包括：

6.根据权利要求4所述的方法，其特征在于，所述得到推理安全检测结果，包括：

7.根据权利要求1所述的方法，其特征在于，

8.根据权利要求7所述的方法，其特征在于，所述定位历史消息队列中当前用户会话消息之后生成的人工智能响应消息，通过所述任务编排引擎向所述状态图模型下发消息删除指令，将所述人工智能响应消息从历史消息队列中剔除，包括：

9.根据权利要求1所述的方法，其特征在于，所述根据所述推理安全检测结果和/或所述输出安全检测结果，通过所述任务编排引擎向所述状态图模型下发状态更新指令，还包括：

10.一种内容安全控制装置，其特征在于，所述装置包括：

11.一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行如权利要求1-9任意一项所述的方法步骤。

12.一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由处理器加载并执行如权利要求1-9任意一项所述的方法步骤。

13.一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如权利要求1-9任意一项所述的方法步骤。