面向数智出版的模型版权保护方法和相关设备

摘要: 本公开涉及版权保护,更具体地说,涉及面向数智出版的模型版权保护方法和相关设备。背景技术:1、近期图像生成范式已经转向构建引入视觉语言模型(vision-lang...
面向数智出版的模型版权保护方法和相关设备

本公开涉及版权保护,更具体地说,涉及面向数智出版的模型版权保护方法和相关设备。

背景技术:

1、近期图像生成范式已经转向构建引入视觉语言模型(vision-language model,vlm)的多组件系统,即统一视觉语言模型(unified vison-language models,unifiedvlms)。在开发unified vlms时,需训练一个投影器(projector),并通过可学习查询向量来对齐已预训练好且冻结的vlm与扩散模型的语义空间。相比于单独的扩散模型,unifiedvlm可以实现更高质量且更一致的图像生成。然而,这一范式转变也为模型版权保护带来了新的安全风险,引发了模型被恶意滥用的担忧。

2、相关技术中,针对模型版权保护的方案主要面向扩散模型设计,例如,可以将可验证信息嵌入其中。尽管这些方案也能应用于unified vlms,但在这类“vlm+投影器+扩散器”的架构下,其抵抗攻击的能力存在不足。例如,这些方法在unified vlms的多组件架构下易遭受扩散器替换的针对性攻击,导致模型版权无法验证。具体地说,一旦攻击者获得unified vlms的副本,可以直接将系统末端的生成模块(即扩散模型)替换为来自相同或共享表征空间的开源未受保护的替代品。此类替换(例如:从sdv1.5替换为sdv1.4)会使那些仅施加在扩散器上的保护方法变得无法验证,却几乎不损害unified vlms的生成质量,而这恰恰可以满足攻击者的目标。因此,目前迫切需要为unified vlms提出一种有效的版权保护方法。

技术实现思路

1、本公开提供面向数智出版的模型版权保护方法和相关设备,以至少解决上述相关技术中,在unified vlms的多组件架构下易遭受扩散器替换的针对性攻击,导致模型版权无法验证的问题。

2、根据本公开实施例的第一方面,提供一种统一视觉语言模型的训练方法,所述统一视觉语言模型包含骨干模块和集合模块,所述集合模块包含待训练的投影器和扩散模块,所述训练方法包括:获取训练样本,其中,所述训练样本包含常规文本样本和触发文本样本,所述常规文本样本为不含触发器词的样本,所述触发文本样本为包含所述触发器词的样本;将所述训练样本输入所述骨干模块,获得第一隐空间状态向量;从所述第一隐空间状态向量中与原生查询向量对应的索引位置处提取原生条件表示以及从与预训练好的可学习触发查询向量对应的索引位置处提取触发条件表示,其中,所述原生查询向量为所述统一视觉语言模型的用于激活图像生成的查询向量;在所述训练样本为所述常规文本样本的情况下,基于该常规文本样本对应的原生条件表示、该常规文本样本对应的触发条件表示、时间步、与时间步相关的系数、高斯噪声和所述统一视觉语言模型的训练数据集中的常规图像的潜空间表示,计算常规损失项,其中,所述训练数据集包含所述训练样本;在所述训练样本为所述触发文本样本的情况下,基于该触发文本样本对应的原生条件表示、该触发文本样本对应的触发条件表示、时间步、与时间步相关的系数、高斯噪声和预设的标记图像对应的潜在空间表示,计算触发损失项;基于所述常规损失项和所述触发损失项,计算第一损失;基于所述第一损失调整所述投影器的参数,以对所述投影器进行训练。

3、可选地,所述基于所述常规损失项和所述触发损失项,计算第一损失,包括:

4、通过以下公式计算所述第一损失:

5、

6、其中,为所述第一损失,为所述常规损失项,为所述触发损失项,为预设系数,e表示求期望;

7、

8、

9、其中,为所述常规文本样本对应的原生条件表示,为所述常规文本样本对应的触发条件表示,为所述触发文本样本对应的原生条件表示,为所述触发文本样本对应的触发条件表示,为所述原生条件表示的向量数量,为所述触发条件表示的向量数量,为所述原生条件表示和所述触发条件表示的隐空间维度,r表示实数空间;

10、表示将输入所述集合模块之后获得的输出,表示将输入预先冻结的投影器获得的输出,表示将输入所述集合模块之后获得的输出;

11、

12、

13、其中,为所述与时间步相关的系数,为所述高斯噪声,为所述统一视觉语言模型的训练数据集中的常规图像的潜空间表示,为所述预设的标记图像对应的潜在空间表示。

14、可选地,所述预训练好的可学习触发查询向量通过以下方式训练获得:获取预训练样本,其中,所述预训练样本包含常规预训练文本样本和触发预训练文本样本,所述常规预训练文本样本为不含所述触发器词的样本,所述触发预训练文本样本为包含所述触发器词的样本;将所述预训练样本、所述统一视觉语言模型的用于激活图像生成的原生查询向量和所述可学习触发查询向量输入所述骨干模块,获得第二隐空间状态向量;从所述第二隐空间状态向量中与所述可学习触发查询向量对应的索引位置处提取预训练触发条件表示;在所述预训练样本为所述常规预训练文本样本的情况下,基于该常规预训练文本样本对应的预训练触发条件表示、所述可学习触发查询向量的向量数量、所述可学习触发查询向量的隐空间维度和零填充向量,计算预训练常规损失项;在所述预训练样本为所述触发预训练文本样本的情况下,基于该触发预训练文本样本对应的预训练触发条件表示、预设的固定条件向量、所述可学习触发查询向量的向量数量和所述可学习触发查询向量的隐空间维度,计算预训练触发损失项;基于所述预训练常规损失项和所述预训练触发损失项,计算第二损失;基于所述第二损失调整所述可学习触发查询向量,从而获得预训练好的可学习触发查询向量。

15、可选地,所述基于所述预训练常规损失项和所述预训练触发损失项,计算第二损失,包括:

16、通过以下公式计算所述第二损失:

17、

18、

19、

20、其中,为所述预训练常规损失项,为所述预训练触发损失项,为所述第二损失,为所述常规预训练文本样本对应的预训练触发条件表示,为所述零填充向量,为所述触发预训练文本样本对应的预训练触发条件表示,为所述预设的固定条件向量为所述可学习触发查询向量的向量数量为所述可学习触发查询向量的隐空间维度,为预设权重。

21、根据本公开实施例的第二方面,提供一种统一视觉语言模型的版权验证方法,包括:获取验证文本;将所述验证文本输入通过根据本公开的训练方法训练获得的统一视觉语言模型,获得版权验证结果。

22、根据本公开实施例的第三方面,提供一种统一视觉语言模型的训练装置,所述统一视觉语言模型包含骨干模块和集合模块,所述集合模块包含待训练的投影器和扩散模块,所述训练装置包括:样本获取模块,被配置为获取训练样本,其中,所述训练样本包含常规文本样本和触发文本样本,所述常规文本样本为不含触发器词的样本,所述触发文本样本为包含所述触发器词的样本;输入模块,被配置为将所述训练样本输入所述骨干模块,获得第一隐空间状态向量;提取模块,被配置为从所述第一隐空间状态向量中与原生查询向量对应的索引位置处提取原生条件表示以及从与预训练好的可学习触发查询向量对应的索引位置处提取触发条件表示,其中,所述原生查询向量为所述统一视觉语言模型的用于激活图像生成的查询向量;常规损失计算模块,被配置为在所述训练样本为所述常规文本样本的情况下,基于该常规文本样本对应的原生条件表示、该常规文本样本对应的触发条件表示、时间步、与时间步相关的系数、高斯噪声和所述统一视觉语言模型的训练数据集中的常规图像的潜空间表示,计算常规损失项,其中,所述训练数据集包含所述训练样本;触发损失计算模块,被配置为在所述训练样本为所述触发文本样本的情况下,基于该触发文本样本对应的原生条件表示、该触发文本样本对应的触发条件表示、时间步、与时间步相关的系数、高斯噪声和预设的标记图像对应的潜在空间表示,计算触发损失项;第一损失计算模块,被配置为基于所述常规损失项和所述触发损失项,计算第一损失;训练模块,被配置为基于所述第一损失调整所述投影器的参数,以对所述投影器进行训练。

23、可选地,所述第一损失计算模块被配置为:

24、通过以下公式计算所述第一损失:

25、

26、其中,为所述第一损失,为所述常规损失项,为所述触发损失项,为预设系数,e表示求期望;

27、

28、

29、其中,为所述常规文本样本对应的原生条件表示,为所述常规文本样本对应的触发条件表示,为所述触发文本样本对应的原生条件表示,为所述触发文本样本对应的触发条件表示,为所述原生条件表示的向量数量,为所述触发条件表示的向量数量,为所述原生条件表示和所述触发条件表示的隐空间维度,r表示实数空间;

30、表示将输入所述集合模块之后获得的输出,表示将输入预先冻结的投影器获得的输出,表示将输入所述集合模块之后获得的输出;

31、

32、

33、其中,为所述与时间步相关的系数,为所述高斯噪声,为所述统一视觉语言模型的训练数据集中的常规图像的潜空间表示,为所述预设的标记图像对应的潜在空间表示。

34、可选地,所述预训练好的可学习触发查询向量通过以下方式训练获得:获取预训练样本,其中,所述预训练样本包含常规预训练文本样本和触发预训练文本样本,所述常规预训练文本样本为不含所述触发器词的样本,所述触发预训练文本样本为包含所述触发器词的样本;将所述预训练样本、所述统一视觉语言模型的用于激活图像生成的原生查询向量和所述可学习触发查询向量输入所述骨干模块,获得第二隐空间状态向量;从所述第二隐空间状态向量中与所述可学习触发查询向量对应的索引位置处提取预训练触发条件表示;在所述预训练样本为所述常规预训练文本样本的情况下,基于该常规预训练文本样本对应的预训练触发条件表示、所述可学习触发查询向量的向量数量、所述可学习触发查询向量的隐空间维度和零填充向量,计算预训练常规损失项;在所述预训练样本为所述触发预训练文本样本的情况下,基于该触发预训练文本样本对应的预训练触发条件表示、预设的固定条件向量、所述可学习触发查询向量的向量数量和所述可学习触发查询向量的隐空间维度,计算预训练触发损失项;基于所述预训练常规损失项和所述预训练触发损失项,计算第二损失;基于所述第二损失调整所述可学习触发查询向量,从而获得预训练好的可学习触发查询向量。

35、可选地,所述基于所述预训练常规损失项和所述预训练触发损失项,计算第二损失,包括:

36、通过以下公式计算所述第二损失:

37、

38、

39、

40、其中,为所述预训练常规损失项,为所述预训练触发损失项,为所述第二损失,为所述常规预训练文本样本对应的预训练触发条件表示,为所述零填充向量,为所述触发预训练文本样本对应的预训练触发条件表示,为所述预设的固定条件向量为所述可学习触发查询向量的向量数量为所述可学习触发查询向量的隐空间维度,为预设权重。

41、根据本公开实施例的第四方面,提供一种统一视觉语言模型的版权验证装置,包括:文本获取模块,被配置为获取验证文本;版权验证模块,被配置为将所述验证文本输入通过根据本公开的训练方法训练获得的统一视觉语言模型,获得版权验证结果。

42、根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现根据本公开的统一视觉语言模型的训练方法或者统一视觉语言模型的版权验证方法。

43、根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行根据本公开的统一视觉语言模型的训练方法或者统一视觉语言模型的版权验证方法。

44、根据本公开实施例的第七方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现根据本公开的统一视觉语言模型的训练方法或者统一视觉语言模型的版权验证方法。

45、本公开的实施例提供的技术方案至少带来以下有益效果:

46、在本公开中,提供了一种专门面向unified vlms的基于触发的显式版权验证机制,它可以将独特图像的生成作为版权指纹来嵌入到从vlm到投影器再到扩散器的整体对齐过程中,而不仅仅关注末端的扩散器。即本公开提供了一种基于私有触发器词的显式验证机制,仅在输入提示包含私有的预设触发器词时,模型将生成独特的标记图像作为版权证明。这样,能够在不干扰原有图像生成性能的前提下抵御通过扩散模块替换和下游数据集微调的模型滥用攻击,从而可以保证unified vlms的版权保护的有效性和鲁棒性。

47、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。