一种生成式图像模型安全约束语义引导方法、装置及介质

摘要: 本发明涉及图像处理,具体涉及一种生成式图像模型安全约束语义引导方法、装置及介质。背景技术:1、近年来,文本到图像扩散模型在图像生成、内容创作和多模态交互等领域取...
一种生成式图像模型安全约束语义引导方法、装置及介质

本发明涉及图像处理,具体涉及一种生成式图像模型安全约束语义引导方法、装置及介质。

背景技术:

1、近年来,文本到图像扩散模型在图像生成、内容创作和多模态交互等领域取得了广泛应用。该类模型通常基于大规模互联网图文数据训练,能够根据自然语言提示生成具有较高真实感和丰富语义信息的图像。然而,由于训练数据来源复杂且难以完全筛选,扩散模型内部可能学习到不安全内容、侵权艺术风格、敏感人物身份、攻击性内容以及其他不希望被生成的目标概念。这些问题可能引发版权侵权、隐私泄露、深度伪造和不当内容传播等风险。

2、为降低上述风险,概念遗忘技术被用于从预训练扩散模型中移除或抑制指定目标概念。现有概念遗忘方法主要包括基于训练的方法和免训练的方法。基于训练的方法通常通过重新训练、微调模型参数、优化低秩适配器或者施加负向引导等方式抑制目标概念。该类方法虽然能够在一定程度上实现目标概念移除,但通常需要较高计算成本和额外训练数据,并且容易引起灾难性遗忘,使模型对非目标概念的生成能力下降。

3、免训练方法中,表示引导是一类较为轻量的技术方案。其通常通过构造语义方向向量,并在推理阶段将该方向向量注入扩散模型的中间隐藏表征,从而动态抑制目标概念。该类方法无需修改模型权重,部署成本较低;然而,现有表示引导方法大多采用无约束的全局引导方向,该方向会同时作用于目标概念和非目标概念,容易导致待保留概念的隐藏表征被误扰动,从而产生跨概念干扰、过度抑制和生成质量下降等问题。

4、因此,如何在保持扩散模型原始权重不变的前提下,有效抑制待遗忘目标概念,并降低对待保留概念和无关生成内容的影响,是当前扩散模型概念遗忘技术中亟待解决的问题。

技术实现思路

1、本发明提出的一种生成式图像模型安全约束语义引导方法、装置及介质,可至少解决背景技术中的技术问题之一。

2、为实现上述目的,本发明采用了以下技术方案:

3、一种生成式图像模型安全约束语义引导方法,包括以下步骤:

4、s1、获取风险语义对象集合、保全语义对象集合以及与所述风险语义对象集合对应的安全参照语义集合,并分别构建对应的文本提示;

5、s2、将所述文本提示输入预训练生成式图像模型,在所述预训练生成式图像模型的至少一个交叉注意力层中,提取风险语义对象、保全语义对象以及安全参照语义对象对应的条件响应表征;

6、s3、将所述保全语义对象对应的条件响应表征按列拼接,构成保全语义表示矩阵,并基于所述保全语义表示矩阵构建保护子空间的正交投影算子,使后续语义调控更新被限制在所述保全语义表示矩阵所张成子空间的正交补空间内;

7、s4、将所述风险语义对象对应的条件响应表征按列拼接,构成风险语义表示矩阵;根据所述风险语义响应表征与对应安全参照响应表征之间的语义迁移方向,构造安全迁移方向矩阵;在所述保护子空间的正交投影算子约束下,通过正则化最小二乘闭式求解得到安全调控算子;

8、s5、在所述预训练生成式图像模型的推理生成过程中,保持所述预训练生成式图像模型的原始权重不变,并在指定交叉注意力层中,根据所述安全调控算子对当前条件响应表征进行受限语义调控,得到经生成安全调控后的图像结果。

9、作为本发明所述生成式图像模型安全约束语义引导方法的一种优选方案,其中:步骤s1包括以下具体步骤:

10、s1.1、根据生成安全控制任务确定风险语义对象集合:

11、

12、其中,表示第个风险语义对象,表示风险语义对象数量;风险语义对象包括不安全内容、攻击性内容、敏感身份内容、版权相关风格内容、偏见语义内容或用户指定的需要在生成结果中被抑制的语义内容;

13、s1.2、根据需要维持生成能力的正常语义内容确定保全语义对象集合:

14、

15、其中,表示第个保全语义对象,表示保全语义对象数量;所述保全语义对象包括普通物体、自然场景、正常人物描述、非风险风格内容、中性安全提示或用户指定的需要保持稳定的语义内容;

16、s1.3、针对每一个风险语义对象,构建与其对应的安全参照语义对象,得到安全参照语义集合:

17、

18、其中,表示与第个风险语义对象对应的安全参照语义对象;所述安全参照语义对象为安全语义、中性语义、泛化语义先验或用户指定的替代语义;

19、s1.4、分别为所述风险语义对象集合、保全语义对象集合和安全参照语义集合构建文本提示,并建立风险语义对象与安全参照语义对象之间的对应关系,所述文本提示用于输入预训练生成式图像模型以提取对应的条件响应表征。

20、作为本发明所述生成式图像模型安全约束语义引导方法的一种优选方案,其中:步骤s2包括以下具体步骤:

21、s2.1、将步骤s1中构建的文本提示输入预训练生成式图像模型的文本编码器,得到对应文本嵌入;

22、s2.2、将所述文本嵌入与生成式图像模型去噪过程中的空间隐变量共同输入所述预训练生成式图像模型的交叉注意力层,提取对应的条件响应表征;

23、s2.3、当在第个交叉注意力层提取条件响应表征时,所述条件响应表征通过如下方式获得:

24、

25、其中,为空间隐变量经线性投影得到的查询表征矩阵,为文本嵌入经线性投影得到的键表征矩阵,为文本嵌入经线性投影得到的值表征矩阵,为键表征向量维度;

26、s2.4、分别提取保全语义对象对应的条件响应表征、风险语义对象对应的条件响应表征,以及安全参照语义对象对应的条件响应表征;

27、s2.5、对多个去噪时间步、多个文本特征激活位置或多个文本提示模板下获得的条件响应表征进行平均池化、加权池化或拼接处理,得到对应语义对象的稳定条件响应表征。

28、作为本发明所述生成式图像模型安全约束语义引导方法的一种优选方案,其中:步骤s3包括以下具体步骤:

29、s3.1、将保全语义对象对应的条件响应表征按列拼接,构成第个交叉注意力层的保全语义表示矩阵:

30、

31、其中,表示第个交叉注意力层中第个保全语义对象的条件响应表征,表示条件响应表征维度,表示保全语义对象数量;

32、s3.2、计算保全语义表示矩阵与其转置的乘积,得到保护语义协方差矩阵:

33、

34、s3.3、对所述保护语义协方差矩阵进行特征分解:

35、

36、其中,为特征向量矩阵,为特征值对角矩阵;

37、s3.4、选取所述特征值对角矩阵中零特征值或近零特征值对应的个特征向量,构成保护正交基矩阵:

38、

39、s3.5、根据所述保护正交基矩阵构造保护子空间正交投影算子:

40、

41、s3.6、所述保护子空间正交投影算子满足或近似满足:

42、

43、使得经所述保护子空间正交投影算子约束后的语义调控更新在保全语义表示子空间内为零或低干扰。

44、作为本发明所述生成式图像模型安全约束语义引导方法的一种优选方案,其中:步骤s4包括以下具体步骤:

45、s4.1、将风险语义对象对应的条件响应表征按列拼接,构成第个交叉注意力层的风险语义表示矩阵:

46、

47、其中,表示第个交叉注意力层中第个风险语义对象的条件响应表征,表示风险语义对象数量;

48、s4.2、根据第个风险语义对象的条件响应表征与对应安全参照语义对象的条件响应表征,计算安全迁移方向向量:

49、

50、s4.3、将所有安全迁移方向向量按列拼接,构成安全迁移方向矩阵:

51、

52、s4.4、将语义调控算子参数化为:

53、

54、其中,为无约束变换矩阵,为步骤s3得到的保护子空间正交投影算子,为经保护子空间约束后的语义调控算子;

55、s4.5、构造正则化最小二乘优化问题:

56、

57、其中,为正则化系数,表示frobenius范数;

58、s4.6、对所述正则化最小二乘优化问题进行闭式求解,得到最优无约束变换矩阵:

59、

60、其中,表示moore-penrose伪逆运算;

61、s4.7、根据所述最优无约束变换矩阵和所述保护子空间正交投影算子,得到第个交叉注意力层对应的安全调控算子:

62、

63、其中,为第个交叉注意力层对应的安全调控算子。

64、作为本发明所述生成式图像模型安全约束语义引导方法的一种优选方案,其中:步骤s5包括以下具体步骤:

65、s5.1、在预训练生成式图像模型的推理生成过程中,保持所述预训练生成式图像模型的原始模型权重不变,并加载步骤s4得到的安全调控算子;

66、s5.2、对于指定交叉注意力层的当前条件响应表征,按照如下方式计算调控后的条件响应表征:

67、

68、其中,为安全调控强度系数,用于控制风险语义对象的抑制程度;

69、s5.3、将所述调控后的条件响应表征输入生成式图像模型后续网络层,继续执行去噪生成过程,得到经生成安全调控后的图像结果;

70、s5.4、当前条件响应表征位于保全语义表示子空间内或接近保全语义表示子空间时,为零或近似为零,从而降低受限语义调控对保全语义对象生成效果的影响;

71、s5.5、针对所述预训练生成式图像模型中的多个交叉注意力层,分别执行步骤s2至步骤s4,得到各交叉注意力层对应的保护子空间正交投影算子和安全调控算子,并在推理阶段对多个交叉注意力层的条件响应表征分别进行受限语义调控。

72、再一方面,本发明还公开一种图像生成安全控制装置,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如上方法的步骤。

73、又一方面,本发明还公开一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行如上述方法的步骤。

74、本发明的有益效果:

75、1、本发明无需重新训练生成式图像模型,即可实现风险语义内容的安全调控;本发明在推理阶段对预训练生成式图像模型的交叉注意力层进行受限语义调控,不修改模型原始权重,也不需要额外微调训练,能够以较低计算成本实现对不安全内容、敏感身份内容、版权相关风格内容、攻击性内容或用户指定风险语义内容的抑制,具有部署灵活、任务切换方便的优点。

76、2、本发明能够降低风险语义调控过程中的跨语义干扰;本发明通过保全语义对象的条件响应表征构建保全语义表示矩阵,并求解保护子空间正交投影算子,使语义调控更新被限制在保全语义表示子空间的正交补空间内。由此,在抑制风险语义内容的同时,能够尽量保持正常语义内容和无关生成内容的稳定性,改善现有无约束语义引导方法容易破坏非目标内容的问题。

77、3、本发明通过闭式求解安全调控算子,提高了方法的效率和稳定性;本发明将风险语义安全调控过程转化为带有保护子空间约束的正则化最小二乘问题,并通过闭式解直接得到安全调控算子,避免了反复迭代优化。同时,该方法可扩展至多个交叉注意力层和多个风险语义对象,适用于多层语义调控和多风险语义安全控制场景。