检索增强生成过程安全约束与实时生成控制系统及方法与流程

本发明涉及大语言模型检索的，具体涉及检索增强生成过程安全约束与实时生成控制系统及方法。

背景技术：

1、随着大语言模型在企业知识问答、智能助手、制度检索、研发支持和运营分析等场景中的广泛应用，基于检索增强生成（retrieval-augmented generation，rag）的技术路线逐渐成为企业级大模型系统的主流实现方式。该类方案通常先根据用户输入从企业内部知识库、文档库或结构化数据源中检索与问题相关的知识片段，再将所述知识片段连同用户问题一并输入大模型，由大模型基于检索结果生成自然语言响应。

2、为保证大模型生成的自然语言的脱敏安全，现有技术中通常采用以下两种实现方式：

3、第一种实现方式是检索前或检索阶段的静态安全控制方案。该类方案通常在知识入库时为文档打上权限标签、安全标签或业务标签，并在用户发起查询时结合用户身份、部门角色和访问权限筛选允许检索的知识片段；或者在模型调用前向提示词中加入统一的安全规则，以约束模型不要回答超出权限范围的问题。该类方案的核心思路是：在知识进入模型之前通过权限过滤、文档脱敏或统一安全提示来降低高敏感内容进入生成链路的概率。

4、第二种实现方式是生成后结果审核方案。该类方案通常允许模型按照检索结果正常生成完整响应，在生成完成后再对最终输出文本进行敏感词检测、规则匹配、分类模型识别或人工复核；若审核通过，则将结果返回用户；若命中敏感规则，则对结果进行拦截、替换或拒答。该类方案的核心思路是：将生成内容视为待审查结果，在结果层执行统一的安全校验。

5、上述两类方案在现有企业级rag系统中应用较多，能够在一定程度上提高系统安全性，但其共同特点是安全控制主要作用于生成前的静态筛选阶段或生成后的结果审查阶段，而缺少面向生成过程中的动态控制机制。对于高敏感知识库场景，模型在解码生成过程中往往会对多个片段进行归纳、拼接、扩展甚至推断，因此即使检索进入模型的片段本身未直接构成完整敏感结论，也可能在中间生成阶段逐步形成敏感语义内容。若仅依赖统一提示词约束或结果完成后的后置审核，则难以及时阻断此类敏感语义的形成与扩散。

6、因此，现有的检索增强生成rag安全方案中至少存在如下缺陷：

7、1）现有方案大多以入库控制、检索控制或生成后审核为主，缺少作用于大模型生成阶段本身的安全约束机制，无法在模型解码过程中动态限制输出行为。

8、2）现有方案通常未将检索知识的敏感等级直接映射为生成控制参数，因此不同敏感等级的知识片段在生成阶段仍可能采用相同的生成策略，导致高敏感知识场景下控制粒度不足。

9、3）现有后置审核方案需要待模型完成整段或整次响应生成后才能进行检测，此时敏感信息可能已经在生成链路中形成并占用算力资源，造成额外的无效生成消耗。

10、4）现有输出检测多基于最终文本或关键词命中，难以对流式生成过程中逐步形成的中间语义进行识别，容易出现语义级敏感内容识别滞后、误报率高或漏报率高的问题。

11、5）现有技术通常未建立生成前约束、生成中监测和生成后风险状态回写之间的联动闭环，导致一次风险事件无法反向作用于当前会话及后续生成控制过程，系统整体安全控制能力不足。

12、基于此，亟需提供一种新的方案，以解决上述现有技术中存在的缺陷与不足。

技术实现思路

1、为了解决上述现有技术中存在的缺陷与不足，本发明提供检索增强生成过程安全约束与实时生成控制系统及方法。

2、本发明提供的具体方案为：

3、检索增强生成过程安全约束与实时生成控制系统，其特征在于：所述系统包括：

4、检索模块，所述检索模块接受用户输入请求，并根据用户输入请求在知识库中进行检索以获得若干候选知识片段；

5、敏感分级模块，所述敏感分级模块与检索模块连接，所述敏感分级模块对获得的候选知识片段执行敏感等级识别，以得到对应的知识敏感标签或敏感等级评分；

6、参数映射模块，所述参数映射模块与敏感分级模块连接，以根据预设的敏感分级规则，将所述知识敏感标签或敏感等级评分映射为对应的生成控制参数集合；

7、生成安全上下文构建模块，所述生成安全上下文构建模块与参数映射模块连接，以基于生成控制参数集合构建生成安全上下文，并在大模型开始生成前注入生成控制模块；

8、生成控制模块，所述生成控制模块分别与检测模块、大模型和生成安全上下文构建模块连接，以在大模型解码前控制大模型结合用户输入请求、检索结果和生成安全上下文执行流式生成；

9、中间语义缓存模块，所述中间语义缓存模块与生成控制模块连接，以构建中间语义缓存窗口缓存流式生成结果中的连续语义内容；

10、敏感评估模块，所述敏感评估模块与中间语义缓存模块连接，以通过敏感信息识别模型对中间语义缓存窗口缓存的内容进行持续敏感度评估；

11、中断执行模块，所述中断执行模块分别与敏感评估模块和生成控制模块连接，当敏感评估模块的评估结果达到预设风险触发条件时，控制生成控制模块执行与当前敏感等级匹配的生成控制动作；

12、风险告警与审计模块，所述风险告警与审计模块与中断执行模块连接，以根据中断执行模块的生成控制动作输出告警信息、记录事件日志和支持审计追踪；

13、会话风险管理模块，所述会话风险管理模块分别与敏感评估模块和生成控制模块连接，以维护会话风险状态并将其反馈至生成控制模块的后续生成控制过程中。

14、作为本发明的进一步优选实施方式，所述敏感分级模块中，基于以下信息中的至少一种或多种的组合对获得的候选知识片段执行敏感等级识别：

15、1）候选知识片段所属文档的原始安全标签、密级标签或业务保密等级；

16、2）候选知识片段中包含的实体类别、字段类型、制度信息、商业数据、研发方案、客户信息或账号凭据；

17、3）用户身份、组织角色、访问权限、提问场景以及当前会话上下文；

18、4）基于规则模型、分类模型或语义识别模型得到的片段敏感度评分；

19、所述敏感分级模块中，所述候选知识片段的敏感等级至少包括有公开级、内部级、受限级和高敏级；

20、且不同的敏感等级设置有对应不同的允许输出方式；其中，

21、所述候选知识片段的敏感等级为公开级时，其对应的允许输出方式为：能够正常解释、摘要和引用；

22、所述候选知识片段的敏感等级为内部级时，其对应的允许输出方式为：允许输出摘要，但限制其逐字复现；

23、所述候选知识片段的敏感等级为受限级时，其对应的允许输出方式为：仅允许概括性说明，限制引用和推断；

24、所述候选知识片段的敏感等级为高敏级时，其对应的允许输出方式为：拒绝细节回答，仅返回通用安全响应；

25、当存在多组候选知识片段时，在最高敏感等级保护原则的基础上，采用最高敏感等级优先策略或不同敏感等级加权融合策略确定多组候选知识片段的敏感等级。

26、作为本发明的进一步优选实施方式，所述参数映射模块中，将所述知识敏感标签或敏感等级评分映射为对应的生成控制参数集合包括以下参数中的至少一种或多种的组合：

27、1）最大生成长度参数；

28、2）最大连续引用长度参数；

29、3）是否允许逐字复现的控制参数；

30、4）是否仅允许摘要化表达的控制参数；

31、5）是否允许基于检索知识进行推断、扩展或归纳的控制参数；

32、6）敏感实体替换强度参数；

33、7）会话风险阈值参数；

34、8）流式监测窗口长度参数；

35、9）触发中断的敏感度阈值参数；

36、10）响应替换模板参数或安全拒答模板参数。

37、作为本发明的进一步优选实施方式，所述生成安全上下文构建模块构建的生成安全上下文至少包括有结构化控制指令、解码限制规则、风险提示信息、输出格式约束、脱敏约束条件以及拒答触发条件，并将其作为独立控制输入注入至生成控制模块。

38、作为本发明的进一步优选实施方式，所述生成控制模块并不改变底层大模型本身参数，而是在模型调用层、解码调度层或中间控制层对模型生成行为进行约束，所述约束方式为：在大模型解码前控制大模型结合用户输入请求、检索结果和生成安全上下文执行流式生成。

39、作为本发明的进一步优选实施方式，所述中间语义缓存模块中，根据token数量、词组长度、句级边界、标点边界或滑动时间窗口构建中间语义缓存窗口，以缓存流式生成结果中尚未最终输出或正在形成中的连续语义内容。

40、作为本发明的进一步优选实施方式，所述敏感评估模块中：

41、所述敏感信息识别模型选用规则引擎、分类模型、序列标注模型或向量语义匹配模型中的至少一种或多种的组合；

42、所述敏感评估模块的评估维度至少包括：

43、1）是否出现明确敏感实体；

44、2）是否出现对敏感知识的逐字复现、局部复现或结构化复现；

45、3）是否出现由多个低敏片段拼接形成的高敏结论；

46、4）是否出现超出授权范围的推理性输出；

47、5）是否出现对高敏知识的归纳总结、参数提取、流程复原或关键细节还原；

48、所述敏感评估模块通过输出连续风险分值、离散风险等级或多标签风险结果以生成风险等级，并结合当前会话风险状态和知识敏感等级共同确定生成的风险等级是否达到预设风险触发条件。

49、作为本发明的进一步优选实施方式，当敏感评估模块的评估结果达到预设风险触发条件时，所述中断执行模块控制生成控制模块执行与当前敏感等级匹配的生成控制动作类型至少包括有：

50、1）对低风险内容执行局部替换、概括化改写或敏感实体脱敏；

51、2）对中风险内容执行当前段落截断、替换为安全提示语并记录事件日志；

52、3）对高风险内容立即终止本轮生成，返回拒答结果，并触发风险告警；

53、4）在当前会话发生风险事件时提高与当前会话相同的后续会话的生成控制动作的控制等级；

54、当前会话发生的风险事件至少包括有出现高风险事件、多次出现中风险事件、多次出现低风险事件、用户权限不匹配以及出现连续追问时。

55、作为本发明的进一步优选实施方式，所述会话风险管理模块能够根据每轮生成过程的风险评估结果、生成控制动作类型、触发次数和命中的敏感类别更新当前会话风险状态；

56、所述会话风险状态能够用于：

57、1）提升后续轮次生成控制参数的严格程度；

58、2）调整中间语义缓存窗口长度和中断阈值；

59、3）决定是否触发人工复核、权限复验或审计流程；

60、4）作为风险告警和安全审计的依据；

61、所述会话风险状态采用等级化或分值化方式维护；且根据风险命中次数、命中内容所属敏感等级、生成控制动作类型以及连续追问情况，对当前会话风险状态进行更新：

62、当会话风险状态升高时，自动对后续轮次提高脱敏强度、缩短允许生成长度、降低中断阈值并提高监测频率；

63、当后续对话预设周期内未再出现风险事件时，会话风险状态按预设规则回落。

64、进一步地，本发明还提供检索增强生成过程安全约束与实时生成控制方法，所述方法应用于所述检索增强生成过程安全约束与实时生成控制系统；其特征在于：所述方法包括以下步骤：

65、s100：检索模块接受用户输入请求，并根据用户输入请求在知识库中进行检索以获得若干候选知识片段；

66、s200：敏感分级模块对获得的候选知识片段执行敏感等级识别，以得到对应的知识敏感标签或敏感等级评分；

67、s300：参数映射模块根据预设的敏感分级规则，将知识敏感标签或敏感等级评分映射为对应的生成控制参数集合；

68、s400：生成安全上下文构建模块基于生成控制参数集合构建生成安全上下文，并在大模型开始生成前注入生成控制模块；

69、s500：生成控制模块在大模型解码前控制大模型结合用户输入请求、检索结果和生成安全上下文执行流式生成；

70、s600：中间语义缓存模块构建中间语义缓存窗口缓存流式生成结果中的连续语义内容；

71、s700：敏感评估模块通过敏感信息识别模型对中间语义缓存窗口缓存的内容进行持续敏感度评估；

72、s800：当敏感评估模块的评估结果达到预设风险触发条件时，中断执行模块控制生成控制模块执行与当前敏感等级匹配的生成控制动作；

73、s900：风险告警与审计模块根据中断执行模块的生成控制动作输出告警信息、记录事件日志和支持审计追踪；

74、s1000：会话风险管理模块维护会话风险状态并将其反馈至生成控制模块的后续生成控制过程中。

75、相较于现有技术，本发明能够实现的技术效果包括：

76、1）本发明提供检索增强生成过程安全约束与实时生成控制系统及方法，根据检索获得的候选知识片段的敏感等级，动态生成适配的生成控制参数，并在大模型解码生成前注入生成安全上下文，在模型流式生成过程中，对中间语义内容进行持续敏感度评估，当敏感评估结果达到预设风险触发条件时及时触发与当前敏感等级匹配的生成控制动作，从而实现面向高敏感知识库场景的全过程闭环安全控制。

77、2）本发明提供检索增强生成过程安全约束与实时生成控制系统及方法，直接作用于检索增强生成rag的生成阶段，可在模型解码过程中实施动态安全约束，弥补现有方案仅依赖生成前静态控制或生成后结果审核的不足。

78、3）本发明提供检索增强生成过程安全约束与实时生成控制系统及方法，通过知识敏感分级与生成控制参数的映射机制，实现针对不同敏感等级候选知识片段的差异化生成控制，提高了控制精度和适配性。

79、4）本发明提供检索增强生成过程安全约束与实时生成控制系统及方法，通过中间语义缓存模块与敏感评估模块的持续评估机制，可在敏感内容尚未完整扩散至最终输出前实现实时阻断，从而降低敏感信息泄露风险。

80、5）本发明提供检索增强生成过程安全约束与实时生成控制系统及方法，通过对高风险生成内容生成过程中即进行提前终止，减少无效生成过程消耗的算力与系统资源，提升系统运行效率。

81、6）本发明提供检索增强生成过程安全约束与实时生成控制系统及方法，通过分级生成控制动作和会话风险反馈机制，在保障安全性的同时兼顾系统可用性，适用于企业内部知识问答、制度查询、研发文档辅助、运维知识助手和经营分析等高敏感知识库场景。