一种面向检索增强生成的提示劫持防御方法及系统与流程

本发明涉及人工智能安全，尤其涉及一种面向检索增强生成的提示劫持防御方法及系统。

背景技术：

1、在检索增强生成（retrieval-augmented generation，rag）的知识问答系统中，大语言模型（large language model，llm）需同时接收受信任的系统级指令与用户提供的检索文档数据，并据此生成响应，然而，传统大语言模型将指令词元与数据词元统一输入相同注意力机制进行处理，两类词元共享相似的嵌入表示空间，导致模型难以从本质上区分应当执行的系统指令与待处理的数据内容，这一结构性缺陷使检索增强生成系统面临严重的提示劫持攻击威胁，攻击者可在检索到的外部文档数据中注入指令性文本，使模型将注入内容误判为合法指令并提升至指令级语义，从而覆盖受信任的系统级预定义指令并产生恶意行为，此类攻击分为直接注入与间接注入两类，其中，间接注入通过篡改检索数据源实现，在检索增强生成系统的实际部署中尤为隐蔽且难以察觉。

2、针对上述问题，现有防御方法主要采用基于结构化分隔符的微调方法，该微调方法通过引入特殊分隔词元并通过监督微调训练模型忽略注入内容，但面对分布外的对抗样本时鲁棒性严重不足，难以应对经语义伪装或同义改写的未知攻击变体，而且现有基于嵌入角色标记的方法为不同角色段引入固定的全局嵌入偏移量，但单一全局偏移量无法针对不同词元的指令性强度进行差异化处理，容易造成良性检索文档内容的过度压制，导致正常问答任务性能下降，除此之外，这些现有方法均在单一表示层面实现防御，仅依赖静态的指令语义强化机制，在面对经梯度坐标贪心算法生成的梯度优化对抗后缀或通用对抗前缀等强对抗性注入内容时，原始指令在解码过程中的语义影响仍可被大幅削弱，导致防御失效，难以满足检索增强生成系统在实际部署中的安全需求。

技术实现思路

1、为解决以上技术问题，本发明提供了一种面向检索增强生成的提示劫持防御方法及系统。

2、第一方面，本发明提供了一种面向检索增强生成的提示劫持防御方法，所述方法包括以下步骤：

3、接收检索增强生成系统的用户查询提示，并将所述用户查询提示解析为可信指令段与不可信数据段；所述不可信数据段包括用户查询语句和由外部知识库返回的外部文档片段；

4、根据不可信数据段中各词元的嵌入表示与可学习语义原型向量之间的相似度，计算不可信数据段各词元的指令性语义风险得分；

5、以所述指令性语义风险得分为调制系数，对不可信数据段各词元进行双阶层次语义极性偏转，形成双阶语义隔离约束；

6、将所述可信指令段与经所述双阶语义隔离约束处理后的不可信数据段进行前向编码传播，提取得到可信指令段的指令语义锚点；

7、在检索增强生成的自回归解码过程中，将每步解码时已生成输出序列的隐状态作为查询向量，以所述指令语义锚点为键值向量进行注意力融合解码，生成安全应答文本。

8、在进一步的实施方案中，所述将所述用户查询提示解析为可信指令段与不可信数据段的步骤包括：

9、根据检索增强生成系统预定义的结构化提示分隔符对所述用户查询提示进行结构化分段解析，将系统级任务指令内容归类为可信指令段，将用户查询语句以及由外部知识库基于用户查询语句返回的外部文档片段共同归类为不可信数据段。

10、在进一步的实施方案中，所述结构化提示分隔符包括角色标识、字段标识、分隔标记和消息元数据。

11、在进一步的实施方案中，所述根据不可信数据段中各词元的嵌入表示与可学习语义原型向量之间的相似度，计算不可信数据段各词元的指令性语义风险得分的步骤包括：

12、预先基于指令性内容和数据性内容在嵌入空间中的语义聚类中心构建可学习语义原型向量；所述可学习语义原型向量包括指令语义原型向量和数据语义原型向量；

13、对所述不可信数据段中的每个词元进行词嵌入映射，得到各词元的词元嵌入表示，并计算所述词元嵌入表示与所述指令语义原型向量之间的余弦相似度，得到指令语义相似度；

14、计算所述词元嵌入表示与所述数据语义原型向量之间的余弦相似度，得到数据语义相似度；

15、根据所述指令语义相似度与所述数据语义相似度之间的差值，量化得到各词元的语义偏向度；

16、对所述语义偏向度进行非线性映射，得到不可信数据段各词元的指令性语义风险得分。

17、在进一步的实施方案中，所述以所述指令性语义风险得分为调制系数，对不可信数据段各词元进行双阶层次语义极性偏转，形成双阶语义隔离约束的步骤包括：

18、通过一阶线性投影变换对不可信数据段的词元嵌入表示进行映射，得到不可信数据段各词元的一阶语义偏转方向向量；

19、根据所述指令性语义风险得分和所述一阶语义偏转方向向量对不可信数据段各词元的词元嵌入表示进行一阶语义极性偏转，得到各词元的一阶防御嵌入表示；

20、在目标大语言模型中预先确定用于二阶残差校正的目标解码层，并将所述一阶防御嵌入表示输入目标大语言模型进行前向传播，通过所述目标解码层输出嵌入隐状态序列；

21、通过不可信数据段与可信指令段之间的词元分界位置对所述嵌入隐状态序列进行切分，提取不可信数据段各词元对应的中间隐状态；

22、根据所述指令性语义风险得分对所述中间隐状态进行残差叠加校正，得到不可信数据段各词元对应的二阶防御隐状态；

23、根据所述一阶防御嵌入表示和所述二阶防御隐状态在目标大语言模型的嵌入层和中间隐状态层分别抑制不可信数据段词元向指令性内容的偏移，形成从嵌入层到中间隐状态层的双阶语义隔离约束。

24、在进一步的实施方案中，所述根据所述指令性语义风险得分和所述一阶语义偏转方向向量对不可信数据段各词元的词元嵌入表示进行一阶语义极性偏转，得到各词元的一阶防御嵌入表示的步骤包括：

25、通过所述指令性语义风险得分对所述一阶语义偏转方向向量进行幅度缩放，得到偏转调节向量，并将所述偏转调节向量与所述不可信数据段各词元的词元嵌入表示叠加，获得各词元的一阶防御嵌入表示。

26、在进一步的实施方案中，所述将所述可信指令段与经所述双阶语义隔离约束处理后的不可信数据段进行前向编码传播，提取得到可信指令段的指令语义锚点的步骤包括：

27、将所述可信指令段中的各词元转换为对应的原始指令嵌入向量，并将所述不可信数据段中各词元经双阶语义隔离约束处理后所得到的一阶防御嵌入表示与二阶防御隐状态进行整合，得到不可信数据段表示向量；

28、将所述原始指令嵌入向量与所述不可信数据段表示向量按照所述用户查询提示中的词元顺序拼接，得到联合输入序列；

29、将所述联合输入序列输入目标大语言模型进行前向编码传播，得到高层语义表示；

30、根据可信指令段在所述联合输入序列中的起始词元位置和结束词元位置，从所述高层语义表示中提取出对应位置的指令隐状态向量；

31、将所述指令隐状态向量作为可信指令段的指令语义锚点。

32、在进一步的实施方案中，所述在检索增强生成的自回归解码过程中，将每步解码时已生成输出序列的隐状态作为查询向量，以所述指令语义锚点为键值向量进行注意力融合解码，生成安全应答文本的步骤包括：

33、在检索增强生成的自回归解码阶段，将当前解码步中已生成的当前输出隐状态向量作为当前解码步的查询向量；

34、根据所述指令语义锚点构造键向量和值向量，并计算所述查询向量和所述键向量之间的语义相似度，得到当前解码步对指令语义锚点的注意力权重；

35、通过所述注意力权重对所述值向量进行加权聚合，得到当前解码步的锚点引导语义向量；

36、将所述锚点引导语义向量经线性投影后与当前输出隐状态向量进行残差相加融合，得到融合解码表示；

37、对所述融合解码表示进行概率预测，得到当前解码步的候选词元概率，并选取候选词元概率最高的词元作为当前解码步的安全应答词元；

38、将所有已生成的安全应答词元按顺序拼接，形成安全应答文本。

39、第二方面，本发明提供了一种面向检索增强生成的提示劫持防御系统，所述系统包括：

40、数据解析模块，用于接收检索增强生成系统的用户查询提示，并将所述用户查询提示解析为可信指令段与不可信数据段；所述不可信数据段包括用户查询语句和由外部知识库返回的外部文档片段；

41、风险评估模块，用于根据不可信数据段中各词元的嵌入表示与可学习语义原型向量之间的相似度，计算不可信数据段各词元的指令性语义风险得分；

42、语义隔离模块，用于以所述指令性语义风险得分为调制系数，对不可信数据段各词元进行双阶层次语义极性偏转，形成双阶语义隔离约束；

43、语义锚定模块，用于将所述可信指令段与经所述双阶语义隔离约束处理后的不可信数据段进行前向编码传播，提取得到可信指令段的指令语义锚点；

44、解码生成模块，用于在检索增强生成的自回归解码过程中，将每步解码时已生成输出序列的隐状态作为查询向量，以所述指令语义锚点为键值向量进行注意力融合解码，生成安全应答文本。

45、在进一步的实施方案中，所述将所述用户查询提示解析为可信指令段与不可信数据段，具体包括：

46、根据检索增强生成系统预定义的结构化提示分隔符对所述用户查询提示进行结构化分段解析，将系统级任务指令内容归类为可信指令段，将用户查询语句以及由外部知识库基于用户查询语句返回的外部文档片段共同归类为不可信数据段。

47、本发明提供了一种面向检索增强生成的提示劫持防御方法及系统，所述方法通过接收检索增强生成系统的用户查询提示，并将用户查询提示解析为可信指令段与不可信数据段；根据不可信数据段中各词元的嵌入表示与可学习语义原型向量之间的相似度，计算不可信数据段各词元的指令性语义风险得分；以指令性语义风险得分为调制系数，对不可信数据段各词元进行双阶层次语义极性偏转，形成双阶语义隔离约束；将可信指令段与经所述双阶语义隔离约束处理后的不可信数据段进行前向编码传播，提取得到可信指令段的指令语义锚点；在检索增强生成的自回归解码过程中，将每步解码时已生成输出序列的隐状态作为查询向量，以指令语义锚点为键值向量进行注意力融合解码，生成安全应答文本。与现有技术相比，该方法基于可学习语义原型向量的词元级风险量化、双阶层次语义极性偏转的防御以及指令语义锚点引导的注意力解码等技术实现了对提示劫持攻击的精准识别，能够有效抑制直接提示注入、间接文档篡改及经梯度优化构造的强对抗提示劫持攻击，使模型在存在恶意注入内容时仍能够稳定执行可信指令并完成正常检索问答任务，完整保留可信指令的语义完整性，从而在充分利用外部知识增强生成能力的同时，保障生成过程的安全可控性，提升了检索增强生成系统在面对复杂对抗攻击时的鲁棒性和安全性。