基于生成式重放的差分隐私模型训练方法、介质及系统

本技术涉及差分隐私模型训练，特别涉及一种基于生成式重放的差分隐私模型训练方法、介质及系统。

背景技术：

1、随着大语言模型在垂直行业和私有化场景中的广泛应用，模型通常需要通过指令微调来适应特定任务、业务流程或用户需求。在实际部署中，指令数据通常不是一次性静态给定，而是随着用户交互、机构业务更新、领域知识积累和应用需求变化持续到达。因此，模型需要具备持续指令微调能力，即在学习新任务的同时保留先前任务中已经获得的能力。

2、相关技术中，在执行如上述的持续指令微调差分隐私模型训练时，往往是采用样本重放机制缓解该问题。也就是说，在训练过程中对历史任务样本进行保留，并且，在学习新任务时混入历史任务样本，使模型重新接触旧任务知识。由于，历史任务样本往往包含用户对话、医疗记录、企业文档、金融材料或法律文本等敏感信息，这种对历史任务样本进行保存和复用的方式，会引入隐私风险。

3、另外，不同历史任务样本在持续微调过程中的遗忘程度并不相同，而相关技术在对历史任务样本进行重放时，往往是均匀重放或固定比例重放，其并未区分历史任务样本的重要性，进而导致有限的重放资源被过度消耗在低质历史任务样本上，而忽略了高遗忘风险的历史任务样本。使得最终历史任务样本重放的效果不佳。

技术实现思路

1、本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种基于生成式重放的差分隐私模型训练方法，在进行差分隐私模型训练的持续微调时，不需要对历史任务样本进行存储，避免了隐私风险；同时，合理分配重放资源，提高历史任务样本的重放效果，进而提高最终差分隐私模型的准确度。

2、根据本发明实施例的基于生成式重放的差分隐私模型训练方法，包括以下步骤：获取当前任务对应的私有指令数据集，私有指令数据集中包括多条训练指令和每条训练指令对应的所属隐私单元标识；根据所属隐私单元标识生成当前任务对应的隐私单元集合；基于每一个历史任务对应的差分隐私任务教师模型和公开提示词生成历史任务对应的候选重放样本，并基于候选重放样本生成候选重放样本集合；基于候选重放样本集合计算当前任务与历史任务的调度统计分量，并基于调度统计分量计算当前任务预算需求分数；根据当前任务预算需求分数为当前任务分配隐私预算，并根据分配得到的当前任务的私有训练预算确定噪声乘子；计算每一历史任务在当前任务中的重放价值，并根据重放价值确定候选重放样本的分配整数，以及根据分配整数和候选重放样本集合确定最终重放样本集合；根据当前任务对应的隐私单元集合对当前任务对应的私有指令数据集进行分组，以得到每个隐私单元对应的私有指令数据组，并基于噪声乘子计算每一私有指令数据组对应的隐私单元梯度，以及对隐私单元梯度进行合并，得到当前任务对应的合并隐私单元梯度；根据最终重放样本集合计算对应的辅助梯度，并将合并隐私单元梯度和辅助梯度进行合并，以根据合并结果更新低秩适配参数；基于更新后的当前基础模型生成当前任务对应的差分隐私任务教师模型，并根据当前任务对应的隐私单元集合更新各隐私单元的累计隐私成本；判断当前是否全部任务均已完成；如果是，则将当前基础模型作为最终差分隐私模型。

3、在一些实施例中，在根据所属隐私单元标识生成当前任务对应的隐私单元集合之后，还包括：

4、执行预算可行性检查，以判断当前任务的执行是否会产生预算超限；

5、如果是，则将上一任务对应的基础模型作为最终差分隐私模型；

6、其中，预算可行性检查根据以下公式进行：

7、；

8、；

9、；

10、其中，表示任务开始前的全局剩余rdp预算，表示阶数下的全局rdp预算上限，表示任务的中rdp成本，表示包含当前任务在内的剩余任务数，表示任务总数，表示每个任务预留的最低中rdp预算。

11、在一些实施例中，调度统计分量包括当前任务难度分量、总体冲突强度分量、预期遗忘压力分量、数据规模分量和任务重要性分量。

12、在一些实施例中，当前任务难度分量通过以下公式计算：

13、；

14、；

15、其中，表示当前基础模型在任务公开锚点集上的平均指令损失，表示任务的公开锚点集，表示低秩适配参数为时，指令输出对的指令微调损失，表示当前任务难度分量，表示任务难度损失参考下界，表示任务难度损失参考上界；

16、总体冲突强度分量通过以下公式计算：

17、；

18、；

19、；

20、其中，表示任务对冲突强度，表示当前任务探测梯度，表示历史任务在候选重发样本集合上计算的梯度，表示防止分母为零的小常数，表示历史任务重要性权重，表示应用侧给定并归一化后的任务的重要性，表示总体冲突强度分量；

21、预期遗忘压力分量通过以下公式计算：

22、；

23、；

24、；

25、；

26、其中，表示历史任务的性能下降分量，表示完成任务后，模型在历史任务的公开评测数据上的性能，表示性能下降归一化参考上界，表示公开锚点损失增加分量，表示低秩适配参数为的基础模型在任务的公开锚点集上的平均损失，表示公开锚点损失增加量的归一化参考上界，表示差分隐私任务教师模型与当前模型输出差异分量，表示任务的公开提示词描述集合，表示概率分布与之间的kl散度，表示任务对应的差分隐私任务教师模型在输入上的条件输出分布，表示低秩适配参数为的基础模型在输入上的条件输出分布，表示差分隐私任务教师模型与当前模型kl散度的归一化参考上界，表示预期遗忘压力分量，表示性能下降分量对应的归一化权重，表示公开锚点损失增加分量对应的归一化权重，表示差分隐私任务教师模型与当前模型输出差异分量对应的归一化权重；

27、数据规模分量通过以下公式计算：

28、；

29、其中，表示数据规模分量，表示任务的私有记录数，表示预设数据规模归一化参考值。

30、在一些实施例中，当前任务预算需求分数通过以下公式计算：

31、

32、其中，表示当前任务预算需求分数，表示当前任务难度分量，表示当前任务难度分量对应的权重，表示总体冲突强度分量，表示总体冲突强度分量对应的权重，表示预期遗忘压力分量，表示预期遗忘压力分量对应的权重，表示数据规模分量，表示数据规模分量对应的权重，表示任务重要性分量，表示任务重要性分量对应的权重；

33、根据以下公式进行隐私预算的分配：

34、；

35、；

36、；

37、；

38、；

39、其中，表示任务之后的未来任务保留的rdp预算，表示包含当前任务在内的剩余任务数，表示每个任务预留的最低总rdp预算，表示任务可使用的总rdp预算，表示任务开始前的全局剩余rdp预算，表示候选总预算，表示当前任务预算需求分数，表示任务重预算，表示单个任务允许使用的最大总rdp预算，表示私有训练预算，表示任务的可选探测预算；

40、噪声乘子根据以下公式确定：

41、；

42、其中，表示任务的私有训练迭代步数，表示采样率为、噪声乘子为的子采样高斯机制在阶数下的单步rdp成本。

43、在一些实施例中，重放价值根据以下公式计算：

44、；

45、；

46、其中，表示候选重放样本质量值，表示教师置信度分量，表示教师置信度分量对应的权重，表示格式和标签有效率分量，表示格式和标签有效率分量对应的权重，表示候选样本多样性分量，表示候选样本多样性分量对应的权重，记忆风险代理分量，表示记忆风险代理分量对应的权重，表示重放价值，表示任务对冲突强度，表示历史任务遗忘风险，表示历史任务重要性权重。

47、在一些实施例中，在根据所述分配整数和所述候选重放样本集合确定最终重放样本集合之后，还包括：构建当前任务的训练目标；

48、其中，所述当前任务的训练目标通过以下公式表述：

49、；

50、其中，表示低秩适配参数，表示任务的总训练目标，表示当前私有数据监督损失，表示任务的私有指令数据集，表示生成式重放监督损失，表示生成式重放监督损失对应的权重，表示差分隐私任务教师模型蒸馏损失，表示差分隐私任务教师模型蒸馏损失对应的权重，表示参数稳定正则项，表示参数稳定正则项对应的权重，表示任务完成后的低秩适配参数；

51、；

52、；

53、；

54、其中，表示任务第步采样的私有记录小批量，表示低秩适配参数为时，指令输出对的指令微调损失，表示任务第步从候选重放样本采样的小批量，表示低秩适配参数为时，指令输出对的指令微调损失，表示概率分布与之间的kl散度，表示采用蒸馏温度计算的差分隐私任务教师模型在输入上的条件输出分布，表示采用蒸馏温度计算的当前基础模型在输入上的条件输出分布。

55、第二方面，本发明实施例提出了一种计算机可读存储介质，其上存储有基于生成式重放的差分隐私模型训练程序，该基于生成式重放的差分隐私模型训练程序被处理器执行时实现如上所述的基于生成式重放的差分隐私模型训练方法。

56、第三方面，本发明实施例提出了一种基于生成式重放的差分隐私模型训练系统，包括：获取模块，所述获取模块用于获取当前任务对应的私有指令数据集，所述私有指令数据集中包括多条训练指令和每条训练指令对应的所属隐私单元标识；记录模块，所述记录模块用于根据所述所属隐私单元标识生成当前任务对应的隐私单元集合；候选样本生成模块，所述候选样本生成模块用于基于每一个历史任务对应的差分隐私任务教师模型生成历史任务对应的候选重放样本，并基于候选重放样本生成候选重放样本集合；调度统计模块，所述调度统计模块用于基于候选重放样本集合计算当前任务与历史任务的调度统计分量，并基于所述调度统计分量计算当前任务预算需求分数；分配模块，所述分配模块用于根据所述当前任务预算需求分数为当前任务分配隐私预算，并根据分配得到的当前任务的私有训练预算确定噪声乘子；样本确定模块，所述样本确定模块用于计算每一历史任务在当前任务中的重放价值，并根据所述重放价值确定候选重放样本的分配整数，以及根据所述分配整数和所述候选重放样本集合确定最终重放样本集合；梯度计算模块，所述梯度计算模块用于根据所述当前任务对应的隐私单元集合对所述当前任务对应的私有指令数据集进行分组，以得到每个隐私单元对应的私有指令数据组，并基于所述噪声乘子计算每一私有指令数据组对应的隐私单元梯度，以及对所述隐私单元梯度进行合并，得到当前任务对应的合并隐私单元梯度；第一更新模块，所述第一更新模块用于根据所述最终重放样本集合计算对应的辅助梯度，并将所述合并隐私单元梯度和所述辅助梯度进行合并，以根据合并结果更新低秩适配参数；第二更新模块，所述第二更新模块用于基于更新后的当前基础模型生成当前任务对应的差分隐私任务教师模型，并根据当前任务对应的隐私单元集合更新各隐私单元的累计隐私成本；判断模块，所述判断模块用于判断当前是否全部任务均已完成，并在判断结果为是时，将当前基础模型作为最终差分隐私模型。

57、在一些实施例中，调度统计分量包括当前任务难度分量、总体冲突强度分量、预期遗忘压力分量、数据规模分量和任务重要性分量。

58、根据本发明实施例的基于生成式重放的差分隐私模型训练方法，基于每一个历史任务对应的差分隐私任务教师模型和公开提示词生成历史任务对应的候选重放样本；也就是说，本发明实施例提出的训练方法，对历史任务对应的差分隐私任务教师模型进行了存储，而不是直接存储历史任务样本；并且，是基于历史任务对应的差分隐私任务教师模型和公开提示词生成的候选重放样本，从根本上避免了因历史任务样本存储、复用而导致的隐私风险；其次，在进行历史任务重返之前，首先对每一历史任务所对应的重放价值进行了计算，以根据历史任务的重放价值来确定最终重放样本集合，能够合理分配重放资源，避免将有限的资源浪费在低质历史任务样本上，提高历史任务样本的重放效果。另外，与现有技术不同的是，本发明实施例提出的训练方法，并不是以单一任务作为隐私预算统计对象的，而是以隐私单元（例如，同一用户、同一机构或同一数据主体）作为统计对象；如此，可以实现对重复参与隐私单元的持续追踪、精确记账和审计验证。避免系统仅有全局预算记录、却无法说明具体用户或数据主体实际隐私消耗情况的问题。

59、本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。