图像生成方法、模型训练方法及装置与流程

摘要: 本技术实施例涉及人工智能,尤其涉及一种图像生成方法、模型训练方法及装置。背景技术:1、目前,在面部识别技术领域,面部识别模型的训练需要大量的面部图像数据集,但是...
图像生成方法、模型训练方法及装置与流程

本技术实施例涉及人工智能,尤其涉及一种图像生成方法、模型训练方法及装置。

背景技术:

1、目前,在面部识别技术领域,面部识别模型的训练需要大量的面部图像数据集,但是搜集大量人脸数据用于模型训练存在侵犯隐私及保护肖像权的难题,采用生成模型生成大量的具有虚拟身份的面部图像可较好地解决该问题。

2、现有技术中,采用扩散网络生成面部图像,具体是将同一个图像特征进行随机掩膜后输入扩散网络进行面部图像生成。然而,采用随机掩膜的方式会导致面部图像中同一身份的面部图像混淆其他身份的面部图像,导致类内数据存在不一致的情况,进而会导致训练出的面部识别模型的识别准确率不高。另一方面,采用随机掩膜会引入不同的数据噪声,该噪声会导致生成的面部图像质量不高。

技术实现思路

1、本技术提供一种图像生成方法、模型训练方法及装置,可使得所生成的面部图像中同一身份的面部图像不会混淆其他身份的面部图像,且不会引入噪声,提高了所生成的面部图像的质量,保证训练出的面部识别模型的识别准确率较高。

2、第一方面,本技术提供一种图像生成方法,包括:

3、获取身份特征;

4、从属性特征库中选取属性特征,所述属性特征库中包括多种不同面部图像的属性特征;

5、将所述身份特征和所述属性特征输入已训练的特征融合网络单元,输出目标身份特征,所述目标身份特征带有与所述属性特征对应的属性信息;

6、根据随机初始化的图像的隐空间特征向量、所述目标身份特征、已训练的扩散网络模型和已训练的解码网络单元,生成面部图像,其中,所述扩散网络模型用于以所述图像的隐空间特征向量和所述目标身份特征为输入,输出噪声图像,所述解码网络单元用于对输入的去噪图像进行解码处理,输出所述面部图像,所述去噪图像为对所述噪声图像进行去噪处理得到。

7、第二方面,本技术提供一种模型训练方法,包括:

8、获取面部图像数据集,所述面部图像数据集中的面部图像根据第一方面所述的方法获取;

9、根据所述面部图像数据集,训练面部识别模型。

10、第三方面,本技术提供一种图像生成装置,包括:

11、获取模块,用于获取身份特征;

12、选取模块,用于从属性特征库中选取属性特征,所述属性特征库中包括多种不同面部图像的属性特征;

13、图像生成模块,用于将所述身份特征和所述属性特征输入已训练的特征融合网络单元,输出目标身份特征,所述目标身份特征带有与所述属性特征对应的属性信息;

14、所述图像生成模块还用于:根据随机初始化的图像的隐空间特征向量、所述目标身份特征、已训练的扩散网络模型和已训练的解码网络单元,生成面部图像,其中,所述扩散网络模型用于以所述图像的隐空间特征向量和所述目标身份特征为输入,输出噪声图像,所述解码网络单元用于对输入的去噪图像进行解码处理,输出所述面部图像,所述去噪图像为对所述噪声图像进行去噪处理得到。

15、在一实施例中,所述图像生成模块用于:

16、将所述图像的隐空间特征向量和所述目标身份特征输入所述扩散网络模型,输出噪声图像;

17、对所述噪声图像进行去噪处理,得到去噪图像;

18、在所述去噪图像满足迭代训练时的扩散步数时,将所述去噪图像输入所述解码网络单元,输出所述面部图像。

19、在一实施例中,所述特征融合网络单元的结构为全连接网络结构,所述特征融合网络单元用于将所述身份特征和所述属性特征进行特征融合,得到用于指导约束所述扩散网络模型生成带有目标属性信息的身份特征的面部图像,所述目标属性为与所述属性特征对应的属性信息。

20、在一实施例中,所述获取模块还用于:

21、获取真实的面部图像集;

22、针对所述面部图像集中的每一面部图像,对所述面部图像进行属性特征提取,得到所述面部图像的属性特征;

23、根据所述面部图像集中的面部图像的属性特征,得到所述属性特征库。

24、在一实施例中,所述获取模块具体用于:

25、将所述面部图像输入已训练的属性网络单元,输出所述面部图像的属性特征。

26、在一实施例中,所述装置还包括:

27、样本获取模块,用于获取训练样本集,每个训练样本包括样本面部图像、所述样本面部图像的身份特征、所述样本面部图像的属性特征和所述样本面部图像的身份中心特征,所述样本面部图像的身份中心特征包括所述样本面部图像对应的同一身份下所有类内的样本面部图像所提取到的身份特征均值;

28、模型训练模块,用于:

29、针对所述训练样本集中的每一训练样本,以所述训练样本中的样本面部图像为编码网络单元的输入,输出所述样本面部图像的隐空间特征向量;

30、对所述样本面部图像的隐空间特征向量进行属性特征解耦,得到所述样本面部图像的身份特征向量,并对所述身份特征向量和所述样本面部图像的属性特征进行特征融合处理,得到带有第一属性的身份特征,所述第一属性为与所述样本面部图像的属性特征对应的属性信息;

31、以所述带有第一属性的身份特征、当前迭代训练所采样的扩散步数t和进行了t次加噪声的样本面部图像的隐空间特征向量为所述扩散网络模型的输入,输出噪声图像;

32、根据所述噪声图像的噪声、进行了t次加噪声的样本面部图像的隐空间特征向量的噪声、所述身份特征向量和所述样本面部图像的身份中心特征,对所述扩散网络模型的参数进行调整,直到满足停止训练条件,得到所述已训练的扩散网络模型。

33、在一实施例中,所述模型训练模块用于:

34、将所述样本面部图像的隐空间特征向量输入属性特征解耦网络单元,输出所述样本面部图像的身份特征向量,所述样本面部图像的身份特征向量与所述样本面部图像的身份特征的维度相同。

35、在一实施例中,所述模型训练模块用于:

36、将所述身份特征向量和所述样本面部图像的属性特征输入所述特征融合网络单元进行特征融合,输出所述带有第一属性的身份特征。

37、在一实施例中,所述模型训练模块用于:

38、根据所述噪声图像的噪声、所述带有第一属性的身份特征和进行了t次加噪声的样本面部图像的隐空间特征向量的噪声,确定第一损失函数;

39、根据所述身份特征向量和所述样本面部图像的身份中心特征,确定第二损失函数;

40、根据所述第一损失函数和所述第二损失函数,得到目标损失函数;

41、根据所述目标损失函数,对所述扩散网络模型的参数进行调整,直到满足停止训练条件。

42、在一实施例中,所述模型训练模块具体用于:

43、将所述样本面部图像进行尺寸变换和像素值归一化处理,得到处理后的样本面部图像;

44、将所述处理后的样本面部图像输入编码网络单元,输出所述样本面部图像的隐空间特征向量。

45、在一实施例中,所述模型训练模块还用于:

46、获取目标训练样本集,所述目标训练样本集中的每个训练样本包括样本图像;

47、根据所述目标训练样本集训练所述编码网络单元和所述解码网络单元,得到已训练的编解码模型。

48、第四方面,本技术提供一种模型训练装置,包括:

49、获取模块,用于获取面部图像数据集,所述面部图像数据集中的面部图像根据第一方面所述的方法获取;

50、训练模块,用于根据所述面部图像数据集,训练面部识别模型。

51、第五方面,本技术提供一种计算机设备,包括:处理器和存储器,该存储器用于存储计算机程序,该处理器用于调用并运行该存储器中存储的计算机程序,以执行第一方面或第二方面的方法。

52、第六方面,本技术提供一种计算机可读存储介质,包括指令,当其在计算机程序上运行时,使得所述计算机执行如第一方面或第二方面的方法。

53、第七方面,本技术提供一种包含指令的计算机程序产品,当所述指令在计算机上运行时,使得所述计算机执行如第一方面或第二方面的方法。

54、综上,在本技术中,通过获取身份特征,从属性特征库中选取属性特征,属性特征库中包括多种不同面部图像的属性特征,将身份特征和属性特征输入已训练的特征融合网络单元,输出目标身份特征,目标身份特征带有与该属性特征对应的属性信息,根据随机初始化的图像的隐空间特征向量、目标身份特征、已训练的扩散网络模型和已训练的解码网络单元,生成面部图像,其中的扩散网络模型用于以图像的隐空间特征向量和目标身份特征为输入,输出噪声图像,解码网络单元用于对输入的去噪图像进行解码处理,输出面部图像,去噪图像为对噪声图像进行去噪处理得到。通过身份特征约束扩散网络模型生成同一个目标身份的面部图像,属性特征约束扩散网络模型生成类内多样性的面部图像,由于将两个特征进行解耦约束,因此在生成面部图像数据时可采用固定身份特征,控制属性特征变化的方式对类内图片进行控制生成,可定向生成具有不同属性不同身份的面部图像,所生成的面部图像中同一身份的面部图像不会混淆其他身份的面部图像,保证使用所生成的面部图像训练出的面部识别模型的识别准确率较高。且不会引入噪声,提高了所生成的面部图像的质量。进一步提高了训练出的面部识别模型的识别准确率。