一种基于连续对话的大模型回复方法、装置及系统与流程

本技术涉及大模型，特别地，涉及一种基于连续对话的大模型回复方法、装置及系统。

背景技术：

1、随着人工智能大模型技术的快速发展，基于大语言模型的智能问答、代码生成、办公辅助、知识检索以及智能代理等应用场景日益普及，用户与ai模型之间的交互方式也逐渐由传统的单轮问答演变为具有上下文关联的连续多轮对话。在连续对话过程中，ai模型通常结合历史会话内容理解用户意图，并持续生成与当前任务相关的回复，因此，如何对连续交互过程实施安全审计与动态安全治理，已成为保障大模型安全应用的重要技术方向。

2、现有的大模型安全防护技术主要采用输入内容检测、输出内容过滤、关键词匹配、敏感语义识别、风险分类以及策略拦截等方式，对用户输入或模型输出进行安全审查。部分技术进一步引入历史聊天记录作为上下文，通过构建上下文窗口或者会话缓存，对多轮对话中的语义信息进行综合分析，以提高风险识别的准确性。此外，还有部分方案采用风险评分、风险标签或安全等级评估等方式，根据当前输入内容或有限历史上下文动态调整模型回复策略，从而实现一定程度的连续会话安全管理。

3、现有技术缺乏针对连续任务演化过程的动态安全状态管理机制。现有方案大多采用静态风险评分或逐轮风险判定方式，各轮风险分析相对独立，无法根据任务的发展过程持续继承风险信息并动态调整安全状态，容易被攻击者通过插入无关对话、拆分敏感步骤等方式绕过安全审计。

技术实现思路

1、为了克服现有技术的不足，本技术提供一种，以解决现有技术缺乏针对连续任务演化过程的动态安全状态管理机制，无法根据任务的发展过程持续继承风险信息并动态调整安全状态，容易被攻击者通过插入无关对话、拆分敏感步骤等方式绕过安全审计的问题。

2、本技术解决其技术问题所采用的技术方案是：

3、第一方面，提供一种基于连续对话的大模型回复方法，包括：

4、在当前连续对话中，获取当前用户输入，所述当前连续对话对应至少一个安全任务单元及对应连续安全上下文，其中，所述安全任务单元包括任务目标、连续安全上下文、任务阶段、语义演化轨迹、安全状态、风险演化链及安全治理策略；

5、若当前连续对话中存在与所述当前用户输入相关联的目标安全任务单元，则将所述当前用户输入关联至目标安全任务单元，并根据所述当前用户输入更新所述目标安全任务单元中的连续安全上下文；

6、基于所述连续安全上下文更新所述任务阶段以及所述语义演化轨迹，所述语义演化轨迹包括各任务阶段对应的阶段节点、阶段节点对应的任务目标、执行行为、操作对象、任务目的以及相邻阶段之间的演化关系；

7、基于更新后的任务阶段和语义演化轨迹更新所述安全状态和所述风险演化链；

8、基于更新后的安全状态和风险演化链更新安全治理策略；

9、在大模型的回复满足更新后的安全治理策略时，将所述回复发送给用户。

10、作为本技术一种可选的实现方式，还包括：

11、若当前连续对话中不存在与所述当前用户输入相关联的目标安全任务单元，则为所述当前用户输入构建新的安全任务单元。

12、作为本技术一种可选的实现方式，还包括：

13、获取当前用户输入的目标信息、对象信息和行为类型；

14、基于所述目标信息、对象信息和行为类型判断当前连续对话中存在与所述当前用户输入相关联的目标安全任务单元，其中，在已有安全任务单元中记录的任务目标与所述目标信息匹配时，确定当前连续对话中存在与所述当前用户输入相关联的目标安全任务单元；或，在已有安全任务单元中记录的关联对象与所述对象信息匹配时，确定当前连续对话中存在与所述当前用户输入相关联的目标安全任务单元；或，在所述行为类型为已有安全任务单元中任务中行为链路的后续阶段时，确定当前连续对话中存在与所述当前用户输入相关联的目标安全任务单元。

15、作为本技术一种可选的实现方式，所述根据所述当前用户输入更新所述目标安全任务单元中的连续安全上下文，包括：

16、在所述当前用户输入属于已有任务的延续且当前用户输入仍围绕原任务目标展开，则将所述当前用户输入的交互内容继承到目标安全任务的连续安全上下文；

17、在所述当前用户输入中的对象存在引用、指代或关联对话中的对象是，将所述当前用户输入补充至连续安全上下文中；

18、在当前用户输入的行为属于已有行为链路的继续执行时，将所述当前用户输入关联到目标安全任务单元的连续安全上下文。

19、作为本技术一种可选的实现方式，所述基于更新后的任务阶段和语义演化轨迹更新所述安全状态，包括：

20、在同时满足以下条件时，判定安全任务单元进入高风险状态：

21、任务阶段已经由信息理解阶段或者方案分析阶段演化至具有执行属性的任务阶段；

22、当前任务目标与初始安全目标之间存在明显偏离；

23、当前执行行为涉及预设的敏感操作方向；

24、当前用户输入与已有风险演化链存在连续关联关系。

25、作为本技术一种可选的实现方式，还包括：

26、当安全任务已经进入高风险阶段后，在后续用户输入不包含风险内容时，继续保持当前安全状态，直至满足任务结束条件或者建立新的安全任务单元。

27、作为本技术一种可选的实现方式，所述基于更新后的安全状态和风险演化链更新安全治理策略，包括：

28、当安全任务单元处于低风险阶段，且风险演化链中不存在明显风险行为延续关系时，安全治理策略为基础约束策略，所述基础约束策略允许大模型针对当前任务提供正常的信息解释、知识分析或者方案说明，同时对明显违规内容进行基础过滤；

29、当安全任务单元进入风险演化阶段，且风险演化链表明当前任务目标、行为方向或者操作对象正在向敏感方向发展时，安全治理策略增强约束策略，所述增强约束策略包括限制直接执行属性的操作步骤、自动化执行方案或者敏感资源调用方式；

30、当安全任务单元进入高风险阶段，且当前用户输入被判断为已有风险演化链的持续发展时，安全治理策略为强约束策略，强约束策略对模型输出范围进行严格限制，并要求输出内容符合当前安全状态对应的安全边界。

31、作为本技术一种可选的实现方式，所述基于更新后的安全状态和风险演化链更新安全治理策略，包括：

32、当风险演化链仅表现为任务目标变化时，安全治理策略调整任务理解和内容审核策略；

33、当风险演化链表现为行为由查询向执行发展的趋势时，安全治理策略进一步增强对执行性内容的限制；

34、当风险演化链表明风险状态持续升级时，安全治理策略提高安全输出控制等级。

35、第二方面，提供一种基于连续对话的大模型回复装置，包括：

36、当前用户输入获取模块，用于在当前连续对话中，获取当前用户输入，所述当前连续对话对应至少一个安全任务单元及对应连续安全上下文，其中，所述安全任务单元包括任务目标、连续安全上下文、任务阶段、语义演化轨迹、安全状态、风险演化链及安全治理策略；

37、安全任务单元匹配模块，用于若当前连续对话中存在与所述当前用户输入相关联的目标安全任务单元，则将所述当前用户输入关联至目标安全任务单元，并根据所述当前用户输入更新所述目标安全任务单元中的连续安全上下文；

38、语义演化轨迹更新模块，用于基于所述连续安全上下文更新所述任务阶段以及所述语义演化轨迹，所述语义演化轨迹包括各任务阶段对应的阶段节点、阶段节点对应的任务目标、执行行为、操作对象、任务目的以及相邻阶段之间的演化关系；

39、安全状态更新模块，用于基于更新后的任务阶段和语义演化轨迹更新所述安全状态和所述风险演化链；

40、安全治理策略更新模块，用于基于更新后的安全状态和风险演化链更新安全治理策略；

41、大模型回复发送模块，用于在大模型的回复满足更新后的安全治理策略时，将所述回复发送给用户。

42、第三方面，提供一种基于连续对话的大模型回复系统，包括：

43、至少一个处理器和至少一个存储器；

44、所述存储器存储有所述处理器的可执行指令；

45、所述处理器被配置为用于执行上述任一项所述的基于连续对话的大模型回复方法。

46、有益效果：

47、本技术技术方案提供一种基于连续对话的大模型回复方法、装置及系统。通过构建以安全任务单元为核心的连续对话治理机制，将安全审计对象由单轮输入提升至完整任务生命周期，实现任务目标、语义演化轨迹、安全状态与风险演化链的统一管理，有效解决了现有技术因割裂分析各轮对话而导致的风险遗漏与意图演化识别困难的问题。通过任务阶段与语义演化轨迹联动驱动安全状态动态迁移，并继承历史风险信息，避免了静态风险评分的局限性；高风险状态下的安全冻结机制有效防范了攻击者通过插入无关对话或拆分敏感步骤绕过审计。同时，依据安全状态与风险演化链动态调整治理策略，并对模型输出进行一致性校验，形成了覆盖用户输入、语义理解、状态演化、策略生成与回复输出的完整闭环治理体系，显著提升了复杂多轮交互场景下的风险识别准确性、治理稳定性及审计可解释性。