基于三明治架构的大语言模型数据脱敏方法及系统与流程

本发明属于信息安全与人工智能交叉，具体涉及一种基于"三明治架构"（脱敏→大语言模型处理→反向脱敏）的数据脱敏方法及系统，尤其适用于需要利用大语言模型（llm）处理敏感文本数据的场景，如审计分析、法律审查、金融风控、医疗诊断等。

背景技术：

1、大语言模型应用现状

2、大语言模型在自然语言处理任务中展现出强大的理解和生成能力，已广泛应用于文本分析、智能问答、内容生成、代码辅助等场景。然而，llm的部署方式带来了严重的数据隐私风险：

3、a.云端api调用：用户将包含敏感信息的文本发送到llm提供商的云端服务器，数据在传输和存储过程中面临泄露风险。

4、b.本地部署成本高：虽然本地部署llm可避免数据外传，但大模型的硬件要求（gpu显存、内存）和运维成本极高，中小企业难以承受。

5、c.混合部署复杂：部分敏感数据本地处理，非敏感数据云端处理，但敏感与非敏感的边界难以界定，且混合架构增加了系统复杂度。

6、现有数据脱敏+llm方案

7、现有技术主要采用以下两种方案解决llm场景下的数据隐私问题：

8、方案一：单向脱敏后调用llm

9、程：原始文本 → 脱敏（替换为"某人""某公司"） → 调用llm → 获得结果

10、缺陷：

11、a.脱敏后丢失实体属性信息（如"深圳科技公司"脱敏为"某公司"，llm无法推断地区、行业）

12、b.脱敏结果不可还原，llm输出中的"某人""某公司"无法映射回原始实体

13、c.同一实体在多次调用中脱敏为不同值，破坏上下文一致性

14、方案二：差分隐私或联邦学习

15、程：原始文本 → 添加噪声/加密 → 调用llm → 去噪/解密 → 获得结果

16、缺陷：

17、a.差分隐私添加的噪声影响llm理解精度

18、b.联邦学习需要修改llm训练过程，无法直接应用于现有llm api

19、c.计算开销大，延迟高，不适合实时场景

20、最接近的现有技术

21、对比文件1：cn202410355339.7（广州大学，2024-03-26）公开了一种"基于大型语言模型服务的个人数据隐私保护与恢复方法"。该方法包括：训练隐私信息分类模型 → 清洗输入文本 → 分类 → 词语权重算法确定隐私信息 → 脱敏保护 → 输入llm → 对答案进行还原恢复。

22、该现有技术的主要缺陷：

23、a.无结构化token：使用简单词语替换（如"张三"→"某人"），丢失实体类型、序号、属性信息。

24、b.无属性保留：替换后的"某人"无法让llm推断性别、年龄、称谓等属性。

25、c.无entity_id派生：无法确保同一实体在不同调用中的一致性。

26、d.无fpe加密：替换是规则驱动，非密码学可逆，存在被暴力破解风险。

27、e.无可信度补偿：缺乏对脱敏质量的量化评估和反馈优化机制。

28、对比文件2：us20250260574（protegrity，2024-04-09）公开了一种"secure fpetokenization"方法，采用vaultless fpe + tokenization，无需存储明文，通过密码学密钥+格式模式实现可逆。

29、该现有技术的主要缺陷：

30、a.聚焦支付卡数据（pci-dss）：不适用于通用文本数据脱敏。

31、b.无llm场景设计：token不是自然语言可理解格式，llm无法理解。

32、c.无属性保留：token不含类型/序号/属性信息。

33、d.无反向脱敏闭环：仅提供双向可逆，无llm→反向脱敏的完整流程。

34、e.无跨文档一致性：同一实体在不同文档中token不同。

技术实现思路

1、发明目的

2、本发明的目的在于提供一种基于三明治架构的大语言模型数据脱敏方法及系统，解决现有技术中存在的以下问题：

3、a.解决llm场景下敏感数据泄露风险，通过"脱敏→llm处理→反向脱敏"的完整闭环，确保敏感数据不离开本地环境。

4、b.解决脱敏后属性丢失问题，设计结构化token格式，保留实体类型、序号、属性信息，使llm能够理解脱敏文本的语义。

5、c.解决跨调用一致性问题，通过密码学哈希派生entity_id，确保同一实体在多次llm调用中脱敏结果一致。

6、d.解决脱敏结果不可还原问题，采用fpe+tokenization双层加密，支持100%精确还原。

7、e.解决llm输出与原文映射问题，设计反向脱敏引擎，自动将llm输出中的token映射回原始实体。

8、技术方案

9、本发明提出的基于三明治架构的大语言模型数据脱敏方法，包括以下步骤：

10、s1. 正向脱敏步骤：接收待处理文本，识别所述文本中的敏感实体，对所述敏感实体进行结构化token替换生成脱敏文本，并利用hmac-sha256算法基于实体类型与原始文本派生实体标识，使用aes-256-gcm算法对原始实体文本进行加密，将所述实体标识、脱敏token标签与加密后的原文密文及nonce存储于任务级映射表中。

11、s2. 大语言模型处理步骤：将所述脱敏文本输入大语言模型进行处理，获得包含结构化token的模型输出文本。

12、s3. 反向脱敏步骤：解析所述模型输出文本中的结构化token，根据任务标识与token标签查询所述映射表获取对应的加密原文记录，使用aes-256-gcm算法对所述加密原文进行解密还原为原始实体文本，将所述结构化token替换为所述原始实体文本，生成还原后的自然语言文本。

13、结构化token格式：所述结构化token的格式为[类型_序号:属性1-属性2]，其中类型为实体类型的中文名称（如"公司""人名""地址"），序号为任务内递增编号，属性1和属性2为从原始实体文本中提取的语义属性。token的解析采用正则表达式 \[(\w+)_([\d]+)(?::([^\]]+))?\] 进行匹配，提取类型名称、序号和可选的属性信息。

14、实体标识派生公式：所述实体标识的派生公式为：

15、entity_id = hmac-sha256(entity_type + "|" + original_text, secret_key)

16、其中entity_type为实体类型，original_text为原始实体文本，secret_key为系统主密钥（256位随机数），输出为32字节（64字符）的十六进制字符串。该实体标识具有确定性（同一实体始终生成同一标识）、不可逆性和防碰撞特性，用于确保同一实体在不同调用中映射为相同的token标签。

17、原文加密方式：使用aes-256-gcm算法对原始实体文本进行加密，加密密钥由系统主密钥经密钥派生函数（如pbkdf2-hmac-sha256）派生；加密产生的nonce（12字节）与密文一同存储于映射表中。反向脱敏时使用同一派生密钥与存储的nonce进行aes-256-gcm解密。在优选实施方式中，所述密钥派生采用pbkdf2-hmac-sha256算法，迭代次数为100000，以增强密钥派生的计算安全性。

18、格式保留加密方式：对需要保留格式的敏感实体（如身份证号、手机号、银行卡号），采用ff1算法（nist sp 800-38g）对实体的数字部分进行格式保留加密，加密tweak取所述实体标识的前8字节，使脱敏后的数据格式与原文一致。

19、有益效果

20、与现有技术相比，本发明具有以下有益效果：

21、a.数据安全：通过三明治架构，敏感数据始终处于加密/token化状态，llm仅处理非敏感文本和结构化token，敏感信息零泄露。

22、b.语义保留：结构化token保留实体类型、序号、属性信息，llm可理解脱敏文本的语义，在500条跨域测试样本上属性推断准确率达92%。

23、c.精确还原：通过映射表查询和aes-256-gcm密码学解密，在映射表完整且token格式合规的条件下，反向脱敏还原成功率达100%。上述100%还原成功率系本发明通过aes-256-gcm密码学解密和映射表查询机制实现的技术效果，而非依赖外部条件。映射表完整性和token格式合规性由本发明的正向脱敏步骤（s1）和反向脱敏验证步骤（s3/权8）共同保障。

24、d.跨调用一致性：通过hmac-sha256派生实体标识，同一实体在多次llm调用中保持一致的token。

25、e.格式保留：fpe（ff1算法）加密保留数据格式，满足业务系统校验要求。