基于多判别器协作的图像生成方法及系统

1.本文件涉及计算机视觉技术领域，尤其涉及一种基于多判别器协作的图像生成 方法及系统。


背景技术：

2.随着计算机运算性能的快速增长与神经网络相关理论的发展，图像生成技 术得到了很大进步，比较典型的模型有pixel recurrent neural networks一类的 自回归模型、real-valued non-volume preserving transformations一类的流模型、 变分自编码器和生成对抗网络(generative adversarial networks，gans)等。 相对于传统的自编码、自回归等非监督学习模型来说，gans具备计算速度快、 生成样本质量更好(特别是图像的高频部分)、扩充灵活性较强等优点。
3.gans作为一种隐式模型，并不对数据真实分布的表达式进行求解，但它 能够通过生成器网络与判别器网络之间的对抗学习，模仿数据的真实分布来生 成仿真样本，这是由gans网络特别的结构所决定的。gans由生成器网络 (generator，g)和判别器网络(discriminator，d)构成，其中g通过输入的 噪声向量生成“以假乱真”的仿真图像，而d则尝试区分仿真图像与真实图 像，两个网络互相对抗，又相互学习以提升自身的网络性能，最终g的生成图 像的分布越来越逼近真实图像的分布。
4.gans的性能往往被收敛不稳定和模式崩溃等问题制约。训练不稳定问题 往往是梯度消失和梯度爆炸问题导致，其中，梯度消失使kullback-leibler散 度或jensen-shannon散度作为生成图像分布与真实图像分布之间差异性的度量 标准无法为神经网络的优化提供有效的梯度信息；模式崩溃使生成图像的多样 性很差，即模型没有全面地学习真实图像的特征模式，而梯度爆炸问题会引起 网络参数的震荡，使得模型难以收敛。
5.有鉴于此，亟需提供一种能够解决现有的gans方法中存在的生成图像质 量不高、多样性不足的问题。


技术实现要素：

6.本说明书一个或多个实施例提供了一种基于多判别器协作的图像生成方 法，包括步骤：
7.采集获取真实图像初始集，对真实图像初始集进行预处理后得到真实图像 数据集；
8.构造生成器网络和判别器网络，判别器网络由多个初始化方法与学习率不 同的判别器构成；
9.采样高斯白噪声输入至生成器网络获得生成图像集；
10.基于生成图像集，从真实图像数据集中获取等数量的真实图像，拼接真实 图像与生成图像并将其送入各判别器得到各判别结果；
11.将各判别结果进行求取平均值获得联合损失函数，通过梯度归一化法对联 合损
失函数进行梯度约束，得到归一化损失函数，通过归一化损失函数计算判 别器损失函数与生成器损失函数并进行判别器网络和生成器网络的参数更新， 直至获得最优的生成器网络；最后通过最优的生成器网络生成图像。
12.本说明书一个或多个实施例提供了一种基于多判别器协作的图像生成系 统，包括
13.图像采集及处理单元：用于采集获取真实图像初始集，对真实图像初始集 进行预处理后得到真实图像数据集；
14.图像生成单元：用于通过训练好的生成器网络生成图像；
15.图像生成单元包括
16.生成器网络构造模块：用于构造生成器网络；
17.判别器网络构造模块：用于构造判别器网络，判别器网络由多个初始化方 法与学习率不同的判别器构成；
18.训练模块：采样高斯白噪声输入至生成器网络获得生成图像集；基于生成 图像集，从图像采集及处理单元的真实图像数据集中获取等数量的真实图像， 拼接真实图像与生成图像并将其送入各判别器得到各判别结果；
19.将各判别结果进行求取平均值获得联合损失函数，通过梯度归一化模块对 联合损失函数进行梯度约束，得到归一化损失函数，通过归一化损失函数计算 判别器损失函数与生成器损失函数并进行判别器网络和生成器网络的参数更 新，直至获得最优的生成器网络。
20.本发明提供的方法，通过将真实图像和生成图像输入多个初始化方法不同、 学习率不同的判别器，令生成器与多个判别器进行对抗，使生成器对于图像特 征模式的学习更加全面，避免了gans训练过程中的模式崩溃问题；多个判别 器对输入的图像进行判决，并提供联合损失函数，通过对联合损失函数进行梯 度归一化操作，在保障后向传播的梯度信息完整性的同时，避免训练过程中的 梯度爆炸问题；同时，本发明方法能够与wasserstein损失结合使用，避免了梯 度消失问题；通过多个判别器的协作与梯度归一化方法，减轻了收敛不稳定和 模式崩溃等gans训练过程中的问题，提升了gans生成图像的质量与多样性。
附图说明
21.为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案， 下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见 地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通 技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其 他的附图。
22.图1为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法的流程图；
23.图2为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法的流程框架示意图；
24.图3为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法中生成器网络结构图，图(a)为生成器网络结构图，图(b)为上采样残差 网络模块结构图；
25.图4为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法中
判别器网络结构图，图(a)为判别器网络结构图，图(b)为优化残差网 络模块结构图；图(c)为残差网络模块结构图；
26.图5为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法中梯度归一化模块的网络框图；
27.图6为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法实验案例中真实图像与生成图像的样例图；
28.图7为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法实验案例中采用梯度归一化模块与不采用情况下生成图像的is分数的训练 结果对比图；
29.图8为本说明书一个或多个实施例提供的基于多判别器协作的图像生成方 法实验案例中采用梯度归一化模块与不采用情况下生成图像的fid分数的训 练结果对比图；
30.图9为本说明书一个或多个实施例提供的基于多判别器协作的图像生成系 统框架示意图；
31.图10为本说明书一个或多个实施例提供的一种计算机设备的结构示意图。
具体实施方式
32.为了使本技术领域的人员更好地理解本说明书一个或多个实施例中的技 术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或 多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅 是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个 实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都应当属于本文件的保护范围。
33.下面结合具体实施方式和说明书附图对本发明做出详细的说明。
34.方法实施例
35.根据本发明实施例，提供了一种基于多判别器协作的图像生成方法，如图 1-2所示，分别为本实施例提供的基于多判别器协作的图像生成方法流程图及 流程框架示意图，根据本发明实施例的基于多判别器协作的图像生成方法，包 括步骤：
36.s101、采集获取真实图像初始集，对真实图像初始集进行预处理后得到真 实图像数据集；
37.s102、构造生成器网络和判别器网络，判别器网络由多个初始化方法与学 习率不同的判别器构成；
38.s103、采样高斯白噪声输入至生成器网络获得生成图像集；
39.s104、基于生成图像集，从步骤s101的真实图像数据集中获取等数量的 真实图像，拼接真实图像与生成图像并将其送入各判别器得到各判别结果；
40.s105、将各判别结果进行求取平均值获得联合损失函数，通过梯度归一化 法对联合损失函数进行梯度约束，得到归一化损失函数，通过归一化损失函数 计算判别器损失函数与生成器损失函数并进行判别器网络和生成器网络的参 数更新，直至获得最优的生成器网络；最后通过最优的生成器网络生成图像。
41.本实施例的方法通过将真实图像和生成图像输入多个初始化方法(如全零 初始化、随机初始化或kaiming初始化等)不同、学习率不同的判别器，令生 成器与多个判别器进行对抗，使生成器对于图像特征模式的学习更加全面，避 免了gans训练过程中的模式崩
溃问题；多个判别器对输入的图像进行判决， 并提供联合损失函数，通过对联合损失函数进行梯度归一化操作，在保障后向 传播的梯度信息完整性的同时，避免训练过程中的梯度爆炸问题；同时，本实 施例方法能够与wasserstein损失结合使用，避免了梯度消失问题；通过多个判 别器的协作与梯度归一化方法，减轻了收敛不稳定和模式崩溃等gans训练过 程中的问题，提升了gans生成图像的质量与多样性。
42.本实施例中，对真实图像初始集进行预处理具体为对初始集中的图像进行 随机水平翻转和正则化等预处理，并设置下述模型训练所需的参数：预处理过 程中水平翻转的概率ph和水平与垂直平移的最大值max
trans
，批容量m，迭代 总次数total_epoch，生成器网络的学习率αg，三个判别器网络各自的学习率α1、 α2、α3及其衰减率decay；
43.本实施例中，如图3(a)所示，步骤s102中构造生成器网络的结构依次 为线性层、三层相同的上采样残差网络模块、批归一化层、relu函数激活层、 卷积层和tanh函数激活层；其中上采样残差网络模块的结构如图3(b)所示； 生成器网路的输入为采样高斯白噪声得到的随机向量，输出为仿真图像，生成 的仿真图像与真实图像拼接合并为一个张量类型的变量后，被一起送入各判别 器中，生成器会根据判别器给出的判别结果计算损失函数并进行参数更新；
44.本实施例中，如图4所示，步骤s102中判别器网络的各判别器的结构依 次为一层能够更好保留背景信息的优化残差网络模块、三层相同的建立输入输 出之间恒等映射的常规残差网络模块、relu函数激活层、一层二元自适应均 值汇聚层和一层线性层；其中优化残差网络模块、残差网络模块的模块结构如 图4(b)与图4(c)所示；判别器网络的输入为张量类型的图像，输出为输入图像 是否为真实图像的判别结果；网络的输入为张量类型的图像，输出为图像是否 为真实图像的判别结果，判别结果在梯度归一化模块进行归一化后，将被用于 计算各判别器和生成器的损失函数(此处多个判别器共用同一个损失函数)， 从而进行梯度的反向传播过程，依次更新多个判别器的网络参数和生成器的网 络参数；判别器网络的初始化方法与学习率不同的对于网络的收敛速度乃至最 终结果都会有影响，而在gans的训练过程中，生成器网络参数的更新是通过 判别器的回传梯度进行的，而单一的判别器在训练中不可避免地会存在部分未 能学习到的特征模式，这将会导致生成图像的多样性与质量下降，为了减弱此 类问题的影响，可以通过采用多个不同的判别器来更大程度地覆盖样本空间， 使得网络学习到更加丰富的特征模式，同时多个判别器协作得到的联合损失函 数具有比单个判别器更小的方差，起到稳定训练过程的作用；
45.设网络的判决结果f(x)与真实结果f
ac
(x)的误差为δd＝f(x)-f
ac
(x)，则 实验的误差满足高斯分布所以多个判别器结果取平 均得到的联合损失函数为：
[0046][0047]
即多判别器的损失函数具有更小的方差，如下式所示：
[0048][0049]
在构造不同的判别器网络时，可以选用不同的初始化方法，并设置不同的 学习
率，保证各个判别器网络之间的差异性，确保生成器能够更加全面地学习 到真实图像的特征模式。尽管多判别器架构允许使用任意数量的判别器同时工 作，然而在实际训练过程中，过多的判别器会导致判别器之间的同质化问题， 判别器数量过少又可能导致生成器与单个判别器耦合，增大了网络负荷又没有 达到预期的目标。通过对不同数量判别器的网络进行训练，结果表明3个判别 器能够给出一个稳定且具有一定方差的分布，因此本网络采用3个判别器组成 判别器网络。
[0050]
本实施例中，步骤s105中，将各判别结果进行求取平均值获得联合损失 函数，通过梯度归一化法对联合损失函数进行梯度约束，得到归一化损失函数， 通过归一化损失函数计算判别器损失函数与生成器损失函数并进行判别器网 络和生成器网络的参数更新，直至获得最优的生成器网络具体实现如下。
[0051]
本实施例，原始gans中判别器的梯度空间过于陡峭，这不仅会导致训练 不稳定的问题，还可能引起生成器的模式崩溃问题。现有技术通过将判别器表 述为lipschitz常数l下的lipschitz连续函数，如谱归一化(spectral normalization)。一般而言，人们不希望网络模型对于输入的扰动敏感，要求模 型具有鲁棒性。鲁棒性体现在两个方面：一是模型对于模型参数的扰动不敏感； 二是模型对于输入的扰动不敏感。如果一个模型，对于相差仅仅一个像素点的 图像给出了两种判断，就是对于输入的扰动过于敏感了。如果通过一个常数l 对模型的输入进行约束，如下式所示：
[0052]
||f(x1)-f(x2)||≤l
·
||x
1-x2||
[0053]
其中，||x
1-x2||表示输入x1与输入x2之差的范数，||f(x1)-f(x2)||表示输出 f(x1)与输出f(x2)之差的范数，在上式中模型的输出被输入所约束，称模型满 足lipschitz约束，其中常数l称为lipschitz常数。
[0054]
相较于传统神经网络，谱归一化法将归一化层替换为谱归一化层，即将判 别器的权重矩阵除以其最大奇异值，使得对于所有输入权重矩阵都满足 lipschitz约束，在反向传播中网络权重每次更新的变化值都在一定范围内，不 容易受到极端数据的影响，平滑了整个训练过程。
[0055]
但是谱归一化法是在层与层之间施加lipschitz约束，因此是一种模块级的 方法，当网络层数增加时，lipschitz常数会快速减小，证明如下：
[0056]
设网络的第k层输出为fk(x)，非线性激活函数为relu函数，参数矩阵为 wk，偏置为bk，层与层之间的lipschitz常数为l，则有
[0057]
||fk(x1)-fk(x2)||＝||relu(wk·fk-1
(x1) bk)-relu(wk·fk-1
(x2) bk)|| ≤l
relu
||(wk·fk-1
(x1) bk)-(wk·fk-1
(x2) bk)|| ≤l
relu
lk||f
k-1
(x1)-f
k-1
(x2)||＝||f
k-1
(x1)-f
k-1
(x2)||
[0058]
即：
[0059][0060]
通过上式可知，谱归一化法在层与层之间施加的lipschitz约束，会随着层 数增加而乘性衰减，即：
[0061]
lk《l
k-1
《l《l1；
[0062]
所以在使用谱归一化法时，往往为了实现lipschitz约束而牺牲网络容量， 而对于判别器网络来说，较小的网络容量意味着更容易被生成器所欺骗，导致 训练结果不佳。
[0063]
因此为了规避且解决上述问题，本实施例通过使用梯度归一化方法对求取 平均值获得联合损失函数的梯度进行约束如图5所示，为本实施例的梯度归一 化模块的网络框图，设原联合损失函数为f(x)，归一化后的损失函数如 下式所示：
[0064][0065]
归一化后的损失函数的梯度范数有界，证明如下：
[0066][0067]
在梯度归一化方法的约束之下，的梯度范数取值范围为[-1,1]，避免 了梯度爆炸问题，稳定了训练过程；需要说明的是，虽然上述对三个判别器结 果求取平均值的结果也能够为生成器提供优化方向，但是该判别结果没有经过 梯度归一化，梯度的值浮动较大，容易造成训练不稳定问题；模块的输出为归 一化后的判别结果，此时的判别结果的梯度控制在[-1,1]，起到稳定训练过程 的作用。本模块也易于集成到网络中，只需要对判别器的判别结果进行归一化 即可保证回传梯度的范围为[-1,1]。
[0068]
由于网络梯度归一化后的输出范围为[-1,1]，所以判别器网络和生成器网 络的wasserstein损失退化为铰链损失，不同于谱归一化方法，梯度归一化模块 能够与wasserstein距离(又称earth-mover距离，em距离)良好地结合，从 而避免训练过程中的梯度消失问题；
[0069]
多个判别器提供的联合损失函数f(x)在归一化处理之后得到归一化损失 函数可以根据该结果对生成器网络和判别器网络的wasserstein损失函 数进行计算，确定判别器网络d和生成器网络g的损失函数分别如下式：
[0070][0071]
[0072]
其中，m为批容量大小，x为真实图像样本，z为满足多元高斯分布的噪 声向量，g(zi)为生成器接收输入的噪声向量zi后生成的仿真图像。
[0073]
损失函数ld和lg将通过反向传播分别对判别器和生成器的网络参数进行 更新。
[0074]
本实施例中，对于生成器网络的训练采用交叉训练法，在更新生成器网络 g的参数时冻结所有判别器d的参数，更新d的参数时也会冻结g的参数， 当每个判别器的网络参数都更新五次之后才会更新一次生成器的参数，直至生 成器的学习率在adam优化器的控制下衰减为0，训练过程停止，获得训练好 的且最优的生成器网络。
[0075]
本实施例优选的，还包括对训练好生成器网络进行测试，包括步骤：
[0076]
在对训练好的生成器网络进行测试时，首先需要载入训练好的生成器网络， 再通过对高斯白噪声进行采样得到噪声向量，将噪声向量送入生成器得到生成 图像，并通过pytorch_gan_metrics库中的get_inception_score_and_fid函数度量 生成图像与真实图像之间的分布距离，得到生成图像的inception score(is) 和fr
é
chet inception distance(fid)分数；所用生成图像的评价指标中，is是 生成图像质量的指标，越大说明图像的质量越高；fid为生成图像多样性的指 标，fid越小则生成图像的分布与真实分布越接近，说明生成图像的质量与多 样性越好。
[0077]
本实施例提供的方法较于现有技术，采用梯度归一化方法约束判别器函数 的输出，同时该方法能够与wasserstein损失相结合，避免gans训练过程中的 梯度爆炸和梯度消失导致的训练不稳定问题；通过多个初始化不同、学习率不 同的判别器协作，得到联合损失函数，使生成器能够学习到的真实图像特征分 布能够覆盖更大的空间，避免了单个判别器被生成器的某些单一生成图像欺骗 所引起的模式崩溃问题；另外，由于本方法是对多个判别器输出的联合损失函 数进行归一化约束，并不像谱归一化方法对网络的每一层施加约束，因此是一 种模型级方法，网络的性能不会因网络深度的增加而快速下降；本方法在实验 上取得了出色的结果，具体实验如下。
[0078]
下面通过具体实验案例说明本实施例的优点。
[0079]
训练阶段：
[0080]
本实验从官网获取cifar-10数据集 (http://www.cs.toronto.edu/～kriz/cifar-10-python.tar.gz)，cifar-10数据集包含 60000张大小为32
×
32
×
3的图像，这些图像被划分为50000个训练实例和10000 个测试实例，共10个类别。在图像的预处理阶段，首先对图像进行0.5概率的 随机水平翻转和最大值为0.2的水平和垂直平移以增大样本数据多样性，最后 对图像进行标准化以加快模型的收敛速度。
[0081]
本实验，批容量设置为64，生成器生成器g的学习率αg设置为2
×
10-4
， 判别器d1和d3的学习率α
d1
和α
d3
设置为4
×
10-4
，判别器d2的学习率α
d2
设 置为8
×
10-4
，迭代总次数设置为200k，以adam优化器作为αg、α
d1
、α
d2
和α
d3
的优化器，保证迭代至200k次时各学习率均衰减为0；
[0082]
根据构建好的生成器网络、判别器网络和梯度归一化模块，通过对高斯白 噪声进行64次128
×
128的采样得到64
×
128
×
128的张量，将得到的噪声向 量输入到生成器网络，得到64
×3×
32
×
32的张量，即64张3通道、大小为 32
×
32的仿真图像；从数据集中采样64张真实图像，组合为64
×3×
32
×
32 的张量，再与仿真图像合并为一个128
×3×
32
×
32的张量后，输入到各个判 别器后通过上述方法对整个网络结构进行训练，在每个判别器的网
络参数都更 新五次之后才会更新生成器参数一次，当生成器参数更新200k次后，学习率 在adam优化器的控制下衰减为0，训练过程停止，获得训练好的生成器网络。
[0083]
测试阶段：
[0084]
在对训练好的生成器网络进行测试时，首先需要载入训练好的生成器网络， 再通过对高斯白噪声进行50k次的128
×
128采样得到噪声向量，将噪声向量 送入生成器得到50k张生成图像，通过pytorch_gan_metrics库中的 get_inception_score_and_fid函数计算生成图像的is和fid分数。部分生成图 像与真实图像的样例对比如图6所示，可以看出网络生成的图像较为逼真，证 明网络较好地学习到了真实图像的特征模式，为了定量研究生成图像的质量与 多样性，引入inception score和fr
é
chet inception distance两个评价指标，以不 采用归一化模块的gans作为baseline，分别对采用归一化模块的网络与 baseline网络进行训练，且在每5k次迭代训练后利用生成器网络生成50k张图 像，并根据这50k图像计算网络的is和fid分数。
[0085]
其中，is为生成图像质量的指标，越大说明图像的质量越高，实验中is 分数随epoch数的收敛过程如图7所示，采用归一化模块的网络的is分数相比 baseline有30.3％的提升，而且在baseline网络的训练后期出现了收敛失败的问 题；fid为生成图像多样性的指标，fid越小则生成图像的分布与真实分布越 接近，实验中fid分数随epoch数的收敛过程如图8所示，采用归一化模块的 网络的fid分数相比baseline有69.4％的提升，且baseline网络的训练后期同 样出现fid分数收敛失败的问题，而采用归一化模块的网络的训练过程始终保 持平稳，可见梯度归一化模块对于稳定gans的训练有着良好的效果，最终采 用梯度归一化方法模块的网络is得分8.549，fid得分11.136。
[0086]
系统实施例
[0087]
根据本发明实施例，提供了一种基于多判别器协作的图像生成系统，如图 9所示，位本发明提供的基于多判别器协作的图像生成系统示意框图，根据本 发明实施例的基于多判别器协作的图像生成系统，包括：
[0088]
图像采集及处理单元：用于采集获取真实图像初始集，对真实图像初始集 进行预处理后得到真实图像数据集；
[0089]
图像生成单元：用于通过训练好的生成器网络生成图像；
[0090]
图像生成单元包括
[0091]
生成器网络构造模块：用于构造生成器网络；
[0092]
判别器网络构造模块：用于构造判别器网络，判别器网络由多个初始化方 法与学习率不同的判别器构成；
[0093]
训练模块：采样高斯白噪声输入至生成器网络获得生成图像集；基于生成 图像集，从图像采集及处理单元的真实图像数据集中获取等数量的真实图像， 拼接真实图像与生成图像并将其送入各判别器得到各判别结果；
[0094]
将各判别结果进行求取平均值获得联合损失函数，通过梯度归一化模块对 联合损失函数进行梯度约束，得到归一化损失函数，通过归一化损失函数计算 判别器损失函数与生成器损失函数并进行判别器网络和生成器网络的参数更 新，直至获得最优的生成器网络。
[0095]
本实施例中，生成器网络的结构依次为线性层、三层相同的上采样残差网 络模
块、批归一化层、relu函数激活层、卷积层和tanh函数激活层。
[0096]
判别器网络中各判别器的结构依次为一层能够更好保留背景信息的优化 残差网络模块、三层相同的建立输入输出之间恒等映射的残差网络模块、relu 函数激活层、一层二元自适应均值汇聚层和一层线性层。
[0097]
本实施例中，判别器网络的归一化损失函数如下式所示：
[0098][0099]
判别器网络的损失函数的梯度范数有界，证明如下：
[0100][0101]
在梯度归一化方法的约束之下，的梯度范数取值范围为[-1,1]。
[0102]
生成器网络和判别器网络的损失函数分别如下式：
[0103][0104][0105]
其中，lg为生成器网络的损失函数，ld判别器网络的损失函数；m为批 容量大小，x为真实图像样本，z为满足多元高斯分布的噪声向量，g(zi)为生 成器接收输入的噪声向量zi后生成的生成图像。
[0106]
本发明实施例是与上述系统实施例对应的方法实施例，各个处理步骤的具 体操作可以参照方法实施例的描述进行理解，在此不再赘述。
[0107]
如图10所示，本发明还提供了一种计算机可读存储介质，其上存储有计 算机程序，计算机程序被处理器执行时实现上述实施例中基于多判别器协作的 图像生成方法，或者计算机程序被处理器执行时实现上述实施例中基于多判别 器协作的图像生成方法，所述计算机程序被所述处理器执行时实现如下方法步 骤：
[0108]
s101、采集获取真实图像初始集，对真实图像初始集进行预处理后得到真 实图像数据集；
[0109]
s102、构造生成器网络和判别器网络，判别器网络由多个初始化方法与学 习率不同的判别器构成；
[0110]
s103、采样高斯白噪声输入至生成器网络获得生成图像集；
[0111]
s104、基于生成图像集，从步骤s101的真实图像数据集中获取等数量的 真实图像，拼接真实图像与生成图像并将其送入各判别器得到各判别结果；
[0112]
s105、将各判别结果进行求取平均值获得联合损失函数，通过梯度归一化 法对联合损失函数进行梯度约束，得到归一化损失函数，通过归一化损失函数 计算判别器损失函数与生成器损失函数并进行判别器网络和生成器网络的参 数更新，直至获得最优的生成器网络；最后通过最优的生成器网络生成图像。
[0113]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于 一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述 各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、 存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。 非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程 rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包 括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram 以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步 dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、 同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接 ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态 ram(rdram)等。
[0114]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相 似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。 尤其，对于装置或系统实施例而言，由于其基本相似于方法实施例，所以描述 得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置及 系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也 可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元， 即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需 要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术 人员在不付出创造性劳动的情况下，即可以理解并实施。
[0115]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其 限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者 对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相 应技术方案的本质脱离本发明各实施例技术方案的范围。