一种面向大模型上下文学习的隐私保护方法及系统
本发明涉及隐私保护,尤其涉及面向大模型上下文学习的隐私保护方法及系统。
背景技术:
1、随着大语言模型上下文学习能力的不断提升,通过在下游任务提示中提供少量示例样本即可使模型完成新任务,已成为大语言模型应用的重要方式。然而,在许多实际场景中,高质量示例样本往往来源于包含个人身份、业务记录等敏感信息的私有数据集,若直接将这些私有样本作为提示内容提交给云端大语言模型,会导致敏感信息泄露。因此,如何在利用私有数据提升下游任务效果的同时,避免私有样本被直接暴露,成为上下文学习场景中亟待解决的隐私保护问题。
2、差分隐私技术通过对数据或计算结果施加扰动,为私有数据提供可证明的隐私保护。在上下文学习示例生成场景中,一种可行思路是让生成端本地语言模型基于私有数据集生成合成示例样本,再供下游任务构建提示使用。然而,现有方法在生成合成示例时通常直接在完整词表上进行差分隐私采样,长尾低质词元会分摊大量噪声与隐私预算,导致生成质量下降;同时,若对完整logit进行裁剪并直接混合公私logit,则会因私有logit幅值较大、裁剪偏差明显而造成信息损失。此外,任务指令与已生成前缀本身已包含大量与私有数据无关的任务共性信息,若不对这部分信息加以利用,则需要保护的私有信息量偏大,同等隐私预算下生成质量难以保证。因此,如何在差分隐私约束下减少需要保护的信息量、抑制长尾低质词元对采样质量的干扰,成为上下文学习示例生成中需要解决的技术问题。
技术实现思路
1、本发明的目的在于提供面向大模型上下文学习的隐私保护方法及系统,旨在解决现有技术存在的如何在差分隐私约束下减少需要保护的信息量、抑制长尾低质词元对采样质量的干扰的问题。
2、第一方面,本发明提供一种面向大模型上下文学习的隐私保护方法,所述方法包括:
3、步骤s01、从敏感私有数据集中随机抽取若干条私有样本,并将抽取的私有样本划分为多个互不重叠的子集,将子集中的私有样本、任务指令以及当前已生成前缀拼接为私有提示,将所述私有提示输入本地语言模型,得到与每一子集对应的私有logit分布,将任务指令与当前已生成前缀输入本地语言模型,得到不包含私有样本的公共logit先验;
4、步骤s02、根据所述公共logit先验构建多个不同规模的公共候选集,并根据所述私有logit分布对各公共候选集进行投票并统计效用,并筛选出效用最高的公共候选集作为当前词元的候选词集;
5、步骤s03、将各私有logit分布与公共logit先验分别限制到所述候选词集上,对每个限制后的私有logit分布相对限制后的公共logit先验进行正交分解,得到公共投影分量与正交残差,对所述正交残差裁剪后聚合,并将聚合后的正交残差叠加回所述公共投影分量得到最终logit,按最终logit确定的质量从所述候选词集中采样得到下一词元,并追加至当前已生成前缀;
6、步骤s04、以追加下一词元后的前缀作为新的当前已生成前缀,并根据所述新的当前已生成前缀重复生成私有logit分布和公共logit先验,重复执行步骤s02至步骤s03,直至采样得到结束符或当前已生成前缀达到预设最大生成长度,输出由已生成的各词元构成的合成示例样本集。
7、第二方面,本发明提供一种面向大模型上下文学习的隐私保护系统,所述系统包括:
8、样本划分模块,用于步骤s01、从敏感私有数据集中随机抽取若干条私有样本,并将抽取的私有样本划分为多个互不重叠的子集,将子集中的私有样本、任务指令以及当前已生成前缀拼接为私有提示,将所述私有提示输入本地语言模型,得到与每一子集对应的私有logit分布,将任务指令与当前已生成前缀输入本地语言模型,得到不包含私有样本的公共logit先验;
9、候选集构建模块,用于步骤s02、根据所述公共logit先验构建多个不同规模的公共候选集,并根据所述私有logit分布对各公共候选集进行投票并统计效用,并筛选出效用最高的公共候选集作为当前词元的候选词集;
10、裁剪模块,用于步骤s03、将各私有logit分布与公共logit先验分别限制到所述候选词集上,对每个限制后的私有logit分布相对限制后的公共logit先验进行正交分解,得到公共投影分量与正交残差,对所述正交残差裁剪后聚合,并将聚合后的正交残差叠加回所述公共投影分量得到最终logit,按最终logit确定的质量从所述候选词集中采样得到下一词元,并追加至当前已生成前缀;
11、前缀更新模块,用于步骤s04、以追加下一词元后的前缀作为新的当前已生成前缀,并根据所述新的当前已生成前缀重复生成私有logit分布和公共logit先验,重复执行步骤s02至步骤s03,直至采样得到结束符或当前已生成前缀达到预设最大生成长度,输出由已生成的各词元构成的合成示例样本集。
12、第三方面,本发明提供一种存储介质,所述存储介质存储一个或多个程序,该程序被处理器执行时实现上述的面向大模型上下文学习的隐私保护方法。
13、第四方面,本发明提供一种电子设备,所述电子设备包括存储器和处理器,其中:
14、所述存储器用于存放计算机程序;
15、所述处理器用于执行存储器上所存放的计算机程序时,实现上述的面向大模型上下文学习的隐私保护方法。
16、与现有技术相比,本发明具有如下优点:
17、本发明通过在生成端本地语言模型上构建公共logit先验与多个私有logit分布,并对候选词集构建与词元采样两阶段分别分配隐私预算,在满足差分隐私约束的同时提升了合成示例样本的生成质量。具体地,任务指令与当前已生成前缀本身包含大量与私有数据无关的任务共性信息,由无需消耗隐私预算、可反复使用的公共logit先验承担这部分预测,私有示例仅以相对公共先验的低幅值残差形式参与生成,使需要保护的信息量尽可能小;在候选词集构建阶段,根据公共logit先验构建多个不同规模的公共候选集,由各私有logit分布投票统计效用,并以第一预算调用指数机制隐私地选出效用最高的候选规模作为当前词元的候选词集,从而将差分隐私采样限制在与任务相关的小规模候选空间内,抑制全词表采样时长尾低质词元分摊噪声与隐私预算的问题;在词元采样阶段,将各私有logit分布与公共logit先验限制到候选词集上并相对公共先验进行正交分解,得到公共投影分量与正交残差,公共投影分量对应各私有分布共享的任务共性预测、不含示例特有信息,对其不作扰动直接保留,仅对正交残差逐元素裁剪后聚合再叠加回公共投影分量得到最终logit,并以第二预算调用指数机制采样下一词元,使施加隐私保护的对象由完整logit缩小为低幅值残差,同等隐私强度下所需注入的噪声与裁剪偏差显著减少;在循环生成阶段,由序列组合定理整次生成满足总隐私预算对应的差分隐私,各条合成示例样本所抽取的私有样本互不重叠,依据并行组合性质,示例样本条数的增加不额外消耗隐私预算,最终输出的合成示例样本集可无限次用于下游上下文学习任务构建提示,在满足差分隐私约束的同时改善了合成示例的语义连贯性与下游任务效用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com