一种大模型Prompt注入攻击动态自适应防御方法及系统与流程

本技术涉及人工智能安全领域，具体涉及一种大模型prompt注入攻击动态自适应防御方法及系统。

背景技术：

1、随着大语言模型在政务办理、金融风控、在线教育及企业智能服务等领域的应用日益广泛，模型安全性成为关键问题。其中，prompt注入攻击是一种针对大模型的典型攻击手段，攻击者通过构造恶意输入指令，诱导大模型忽略预设系统提示、突破权限限制与内容规范，进而输出敏感信息、违规内容或执行未授权操作。

2、针对prompt注入攻击，现有技术中主要采用以下三类防御手段：

3、第一类为规则型防御技术。该技术依赖人工预设的固定规则对输入文本进行表层字符串检查，主要通过构建固定关键词匹配库、正则表达式过滤规则及敏感词黑名单实现。具体实施时，预先梳理已知的prompt注入攻击特征词和恶意句式模板整理为规则库，当接收到用户输入prompt时，系统将输入文本与规则库进行匹配，若命中则拦截，未命中则放行。

4、第二类为基础文本分类型防御技术。该技术在规则匹配基础上增加轻量分类模型与浅层特征提取环节。实施流程包括对输入文本进行分词、去停用词及清洗等预处理，提取词频、句子长度、字符分布及词汇熵值等浅层特征，随后将特征输入朴素贝叶斯、逻辑回归或小型卷积神经网络等轻量分类模型，计算输入文本的恶意概率，若概率超过预设阈值则拦截。

5、第三类为混合式防御技术。该技术融合规则型与基础文本分类型防御的优势，构建双层检测架构。第一层采用规则型防御快速拦截明显恶意攻击，第二层通过基础文本分类型模型对第一层未拦截的输入进行二次检测，结合两层结果决定拦截或放行。

6、然而，上述现有技术在面对高级prompt注入攻击时存在以下缺陷：

7、首先，对语义深层意图的理解能力不足。现有技术多聚焦于表层特征检测，难以穿透文本表象解析背后的指令逻辑。例如，当攻击者采用同义改写、隐喻诱导、分步迂回策略，或将恶意指令进行base64编码、嵌套在长文本中时，传统的规则匹配或浅层特征提取方法极易失效。这导致大量隐藏式攻击能够绕过防御体系，引发安全隐患。

8、其次，防御策略的更新滞后于攻击演化。现有的规则库与特征库维护主要依赖人工介入，更新周期较长。面对快速演变的攻击手段（尤其是零日攻击），防御体系往往存在时间差，形成防御真空期。此外，人工梳理难以穷尽所有攻击场景，导致防御覆盖面有限。

9、再次，风险处置机制过于僵化。现有防御逻辑大多遵循非黑即白的二元处置模式，即一旦判定有风险则直接拦截，否则放行。这种方式缺乏灵活性：对于高风险攻击固然需要拦截，但对于那些特征不明显、处于疑似状态的中等风险输入，直接拦截可能误伤正常业务影响用户体验，直接放行又存在安全隐患。现有技术缺乏针对中风险文本的差异化处置手段（如重构后复检），难以在安全性与业务连续性之间取得平衡。

10、最后，缺乏自适应进化的闭环机制。现有防御体系通常是开环的，缺少从攻击日志收集、新型特征自动挖掘到检测模型迭代优化的完整反馈链路。系统无法利用实际运行中产生的误判数据或新型攻击样本进行自我修正，导致防御能力随着时间推移逐渐衰减。

11、因此，如何提供一种能够深入理解语义意图、具备动态自适应更新能力且能分层处置风险的大模型prompt注入攻击防御方法，成为当前技术领域亟待解决的问题。

技术实现思路

1、本技术提供一种大模型prompt注入攻击动态自适应防御方法及系统，可以解决现有技术中存在的防御策略静态固化、隐藏式攻击识别失效、风险处置方式粗糙以及缺乏安全闭环更新能力等技术问题。

2、第一方面，本技术实施例提供一种大模型prompt注入攻击动态自适应防御方法，所述方法包括：获取用户输入的原始文本并进行预处理，得到待检测文本；利用语义检测模型及已知攻击特征库分析所述待检测文本的语义意图，得到风险概率并确定风险等级；根据所述风险等级执行分层处置：若为高风险等级，则拦截所述原始文本；若为低风险等级，则放行所述原始文本至大模型推理；若为中风险等级，则对所述待检测文本进行语义重构得到重构文本，并将所述重构文本作为新的待检测文本返回执行所述语义意图分析步骤，直至风险等级变为低风险等级或满足预设终止条件；采集并校验防御过程中的日志数据，基于校验通过的日志数据更新所述语义检测模型或所述攻击特征库。

3、结合第一方面，在一种实施方式中，所述预处理包括：去除所述原始文本中的乱码、冗余空格及特殊符号，统一大小写与标点；利用标准化词典与映射算法，将所述原始文本中的缩写及口语转换为标准书面语；提取所述原始文本的文本长度特征，并对所述文本长度特征进行归一化处理。

4、结合第一方面，在一种实施方式中，所述得到风险概率包括：将所述待检测文本输入所述语义检测模型，得到攻击识别概率；将所述待检测文本转换为文本向量，计算所述文本向量与所述已知攻击特征库中的已知攻击向量的相似度，经映射处理后得到相似度概率；基于所述攻击识别概率和所述相似度概率进行加权融合，得到所述风险概率。

5、结合第一方面，在一种实施方式中，所述确定风险等级包括：若所述风险概率大于等于第一预设阈值，确定为高风险等级；若所述风险概率小于第一预设阈值且大于等于第二预设阈值，确定为中风险等级；若所述风险概率小于第二预设阈值，确定为低风险等级；其中，所述第一预设阈值大于所述第二预设阈值。

6、结合第一方面，在一种实施方式中，所述语义重构包括以下至少之一：识别并去除所述待检测文本中的诱导指令及嵌套指令；将所述待检测文本中的命令式语句转换为陈述式语句；在所述待检测文本的关键位置插入干扰信息以破坏攻击指令的语义连贯性。

7、结合第一方面，在一种实施方式中，所述预设终止条件包括以下至少之一：复检次数达到预设次数阈值；复检过程的总耗时超过预设时长阈值；连续两次复检得到的风险概率的变化量小于预设收敛阈值。

8、结合第一方面，在一种实施方式中，所述校验包括：当采集的疑似新型攻击特征集合数量超过预设数量阈值时，触发校验任务；通过人工审核、多模型投票确认或沙箱环境验证的方式，确认所述日志数据对应的样本为攻击样本。

9、结合第一方面，在一种实施方式中，所述更新所述语义检测模型包括：在沙箱环境中对微调后的模型进行回归测试，确认历史场景准确率未下降后，启用微调后的模型作为所述语义检测模型。

10、第二方面，本技术实施例提供一种大模型prompt注入攻击动态自适应防御系统，所述系统包括：预处理模块，用于获取用户输入的原始文本并进行预处理，得到待检测文本；检测模块，用于利用语义检测模型及已知攻击特征库分析所述待检测文本的语义意图，得到风险概率并确定风险等级；处置模块，用于根据所述风险等级执行分层处置：若为高风险等级，则拦截所述原始文本；若为低风险等级，则放行所述原始文本至大模型推理；若为中风险等级，则对所述待检测文本进行语义重构得到重构文本，并将所述重构文本作为新的待检测文本触发所述检测模块进行复检，直至风险等级变为低风险等级或满足预设终止条件；更新模块，用于采集并校验防御过程中的日志数据，基于校验通过的日志数据更新所述语义检测模型或所述攻击特征库。

11、第三方面，本技术实施例提供一种大模型prompt注入攻击动态自适应防御设备，所述大模型prompt注入攻击动态自适应防御设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的大模型prompt注入攻击动态自适应防御程序，其中所述大模型prompt注入攻击动态自适应防御程序被所述处理器执行时，实现如第一方面中任一项所述的大模型prompt注入攻击动态自适应防御方法的步骤。

12、本技术实施例提供的技术方案带来的有益效果包括：

13、通过引入深度语义检测与特征库融合机制，解决了相关技术中隐藏式攻击识别失效的问题。本技术实施例不仅利用语义检测模型分析文本意图，还结合已知攻击特征库计算语义相似度，通过加权融合得到风险概率。这种双重验证机制能够有效识别同义改写、隐喻诱导等绕过传统规则匹配的隐藏式攻击，显著提升了检测的准确率和鲁棒性。

14、通过实施分层处置与中风险语义重构策略，解决了相关技术中风险处置方式粗糙、难以平衡安全性与用户体验的问题。本技术实施例摒弃了传统的一刀切拦截逻辑，针对中风险文本采用语义重构（如去除诱导指令、破坏语义连贯性）后进行复检。这种方式既阻断了潜在的攻击路径，又避免了因误判导致正常业务被拦截，在保证安全的前提下最大程度保留了用户的业务意图。

15、通过构建基于校验机制的闭环更新流程，解决了相关技术中防御策略静态固化及模型更新存在安全风险的问题。本技术实施例能够采集防御过程中的日志数据，但在更新模型或特征库前引入了校验环节（如人工审核、多模型投票、沙箱验证），确保只有高置信度的攻击样本用于训练。同时，在沙箱环境中进行回归测试，确认旧场景准确率未下降后再正式更新。这种机制实现了防御体系的动态自适应进化，同时有效防止了误报样本污染模型导致的性能下降。