基于样本水印的所有权验证方法、装置、设备及存储介质与流程

摘要: 本申请涉及模型水印,尤其涉及基于样本水印的所有权验证方法、装置、设备及存储介质。背景技术:1、随着人工智能技术的快速发展,多参与方协作训练深度学习模型的需求日益...
基于样本水印的所有权验证方法、装置、设备及存储介质与流程

本申请涉及模型水印,尤其涉及基于样本水印的所有权验证方法、装置、设备及存储介质。

背景技术:

1、随着人工智能技术的快速发展,多参与方协作训练深度学习模型的需求日益增长。拆分学习(split learning,sl)作为一种隐私保护型分布式训练范式,将完整模型划分为客户端侧模型和服务器侧模型两部分,使得多个资源受限的客户端能够在不暴露原始数据的前提下协作训练深度神经网络。然而,拆分学习的分布式协作特性也带来了显著的模型所有权归属问题,因而需要利用模型水印对所有权进行验证。现有模型水印方案主要在模型空间中操作,具体表现为两种方式:一是将所有权信息直接编码到模型参数中(参数编码式),二是在训练过程中添加水印样本参与训练(训练注入式)。但这两种方式的水印嵌入操作与主任务优化目标形成冲突,会降低模型的推理精度和泛化能力,损害模型的实用价值。

2、上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。

技术实现思路

1、本申请的主要目的在于提供一种基于样本水印的所有权验证方法、装置、设备及存储介质,旨在解决现有技术中传统模型水印在模型空间中生成,水印嵌入操作与主任务优化目标形成冲突,影响模型性能的技术问题。

2、为实现上述目的,本申请提供了一种基于样本水印的所有权验证方法,方法包括:

3、基于客户端标识和训练时间戳,生成私有二值掩码;

4、基于所述私有二值掩码以及目标拆分学习模型在训练过程中的梯度信息对干净样本施加扰动,得到水印样本;

5、基于所述水印样本对待验证模型的所有权进行验证,得到模型所有权验证结果。

6、在一实施例中,所述基于客户端标识和训练时间戳,生成私有二值掩码的步骤包括:

7、基于客户端标识和训练时间戳,确定伪随机函数;

8、基于干净样本的尺寸确定掩码尺寸;

9、基于所述伪随机函数,生成符合所述掩码尺寸的私有二值掩码,所述私有二值掩码中取值为第一数值的位置为可编辑区域,所述私有二值掩码中取值为第二数值的位置为非编辑区域。

10、在一实施例中,所述基于所述私有二值掩码以及目标拆分学习模型在训练过程中的梯度信息对干净样本施加扰动,得到水印样本的步骤包括:

11、基于干净样本的模态,将所述干净样本转换为初始水印样本;

12、将所述初始水印样本输入目标拆分学习模型,得到所述初始水印样本的预测分布;

13、基于所述预测分布与目标水印标签,计算交叉熵损失;

14、基于所述交叉熵损失以及所述目标拆分学习模型在训练过程中的梯度信息,确定损失梯度;

15、基于所述损失梯度以及所述私有二值掩码,对所述初始水印样本施加扰动,得到水印样本。

16、在一实施例中,所述基于干净样本的模态,将所述干净样本转换为初始水印样本的步骤包括:

17、在干净样本的模态为连续模态时,将所述干净样本作为初始水印样本;

18、在干净样本的模态为离散文本模态时,基于词汇表嵌入矩阵将所述干净样本映射为连续嵌入向量,将所述连续嵌入向量作为初始水印样本。

19、在一实施例中,所述基于所述损失梯度以及所述私有二值掩码,对所述初始水印样本施加扰动,得到水印样本的步骤包括:

20、基于所述损失梯度以及所述私有二值掩码,确定扰动更新量;

21、将所述扰动更新量施加在所述初始水印样本上,得到更新的初始水印样本;

22、基于预设增量,更新迭代次数;

23、在所述迭代次数小于预设迭代次数阈值时,基于所述更新的初始水印样本,返回执行将所述初始水印样本输入目标拆分学习模型,得到所述初始水印样本的预测分布的步骤;

24、在所述迭代次数大于等于预设迭代次数阈值时,基于所述更新的初始水印样本,确定水印样本。

25、在一实施例中,基于所述更新的初始水印样本,确定水印样本的步骤包括:

26、在所述干净样本的模态为连续模态时,将所述更新的初始水印样本作为水印样本;

27、在所述干净样本的模态为离散文本模态时,将所述更新的初始水印样本转换为离散词元序列,从候选词元中选取水印词元,将所述离散词元序列中可编辑位置处的词元替换为所述水印词元,得到水印样本。

28、在一实施例中,所述基于所述水印样本对待验证模型的所有权进行验证,得到模型所有权验证结果的步骤包括:

29、将所述水印样本逐个输入待验证模型,得到所述水印样本的预测标签;

30、基于所述水印样本的预测标签和目标水印标签,统计水印检测准确率;

31、在所述水印检测准确率小于预设检测阈值时,确定模型所有权验证结果为验证通过。

32、此外,为实现上述目的,本申请还提出一种基于样本水印的所有权验证装置,基于样本水印的所有权验证装置包括:

33、掩码生成模块,用于基于客户端标识和训练时间戳,生成私有二值掩码;

34、扰动施加模块,用于基于所述私有二值掩码以及目标拆分学习模型在训练过程中的梯度信息对干净样本施加扰动,得到水印样本;

35、所有权验证模块,用于基于所述水印样本对待验证模型的所有权进行验证,得到模型所有权验证结果。

36、此外,为实现上述目的,本申请还提出一种基于样本水印的所有权验证设备,基于样本水印的所有权验证设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,计算机程序配置为实现如上文的基于样本水印的所有权验证方法的步骤。

37、此外,为实现上述目的,本发明还提出一种存储介质,存储介质为计算机可读存储介质,存储介质上存储有计算机程序,计算机程序被处理器执行时实现如上文的基于样本水印的所有权验证方法的步骤。

38、此外,为实现上述目的,本申请还提供一种计算机程序产品,计算机程序产品包括计算机程序,计算机程序被处理器执行时实现如上文的基于样本水印的所有权验证方法的步骤。

39、本申请提供了一种基于样本水印的所有权验证方法,基于客户端标识和训练时间戳,生成私有二值掩码;基于私有二值掩码以及目标拆分学习模型在训练过程中的梯度信息对干净样本施加扰动,得到水印样本;基于水印样本对待验证模型的所有权进行验证,得到客户端的模型所有权验证结果。本申请在模型训练过程之外,利用训练阶段获取的梯度信息,将普通干净样本转化为具有特定分发类行为的水印样本,通过查询模型对这些水印样本的预测结果,可直接实现黑盒所有权验证,无需访问模型参数或内部结构,水印在样本空间中生成和存储,整个过程不干预、不修改模型的训练流程和参数,能够保持模型的主任务性能不受影响,保证模型的推理精度和泛化能力,解决了传统模型水印在模型空间中生成,水印嵌入操作与主任务优化目标形成冲突,影响模型性能的技术问题。

1.一种基于样本水印的所有权验证方法,其特征在于,所述的方法,包括:

2.如权利要求1所述的方法,其特征在于,所述基于客户端标识和训练时间戳,生成私有二值掩码的步骤包括:

3.如权利要求1所述的方法,其特征在于,所述基于所述私有二值掩码以及目标拆分学习模型在训练过程中的梯度信息对干净样本施加扰动,得到水印样本的步骤包括:

4.如权利要求3所述的方法,其特征在于,所述基于干净样本的模态,将所述干净样本转换为初始水印样本的步骤包括:

5.如权利要求3所述的方法,其特征在于,所述基于所述损失梯度以及所述私有二值掩码,对所述初始水印样本施加扰动,得到水印样本的步骤包括:

6.如权利要求5所述的方法,其特征在于,基于所述更新的初始水印样本,确定水印样本的步骤包括:

7.如权利要求1所述的方法,其特征在于,所述基于所述水印样本对待验证模型的所有权进行验证,得到模型所有权验证结果的步骤包括:

8.一种基于样本水印的所有权验证装置,其特征在于,所述装置包括:

9.一种基于样本水印的所有权验证设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至7中任一项所述的基于样本水印的所有权验证方法的步骤。

10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于样本水印的所有权验证方法的步骤。