基于多尺度纹理特征分支的生成对抗网络图像修复方法与流程

1.本发明属于图像处理技术领域，具体涉及一种基于多尺度纹理特征分支的生成对抗网络图像修复方法。


背景技术：

2.图像修复技术一直是图像处理领域的一项研究热点，图像修复技术可以对于一幅具有一定缺失区域的图像，通过利用已知的完好区域的信息来恢复缺失区域的信息，从而修复图像，并保持图像的结构与纹理特征。随着该项技术的快速发展，其已逐渐应用于文物修复、医学成像、卫星遥感等多个领域，因此开展图像修复算法的研究具有较高的研究意义和应用价值。
3.近些年，随着计算机视觉领域的发展，图像修复也有了长远的进步，目前可以分为四个方向：基于偏微分方程的图像修复、基于纹理合成的图像修复、基于结构和纹理的图像修复以及基于深度学习的图像修复。
4.基于偏微分方程的图像修复对于纹理复杂或具有较大缺失区域的图像修复结果往往非常模糊；基于纹理合成的图像修复在纹理逼近方面表现良好，但在对自然图像修复时仍然存在一定的缺陷；当一幅图像既有结构性成分又有纹理成分的时候，往往将基于偏微分方程的图像修复与基于纹理合成的图像修复结合起来，即采用基于结构和纹理的图像修复，修复得到的图像纹理和结构特征都能得到较好的保持。
5.随着卷积神经网络和生成对抗网络的发展，图像修复技术也有了很大的进步，基于深度学习的图像修复通过从大规模的数据集上学习到图像的语义特征，实现了良好的图像修复效果，特别是在大区域缺失的图像修复问题中可以取得远好于传统方法的效果。


技术实现要素：

6.有鉴于此，本发明的主要目的在于提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法。
7.为达到上述目的，本发明的技术方案是这样实现的：
8.本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法，该方法为：
9.构建包含缺失区域的待修复图像与真实图像对数据集；
10.构建基于多尺度纹理特征分支的生成对抗网络模型；
11.对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型；
12.将包含缺失区域的待修复图像输入到最优的生成器网络模型中，输出最终的修复结果图像。
13.上述方案中，所述构建包含缺失区域的待修复图像与真实图像对数据集，具体为：采用celeba-hq人脸数据集和places365-standard场景数据集两个基准数据集，同时制作
掩膜数据集，所述掩膜数据集包含不规则随机掩膜和矩形掩膜两种数据集，根据所述基准数据集和掩膜数据集获得所需的包含缺失区域的待修复图像与真实图像对的数据集，并划分测试数据集与训练数据集比例为2∶8。
14.上述方案中，所述根据所述基准数据集和掩膜数据集获得所需的包含缺失区域的待修复图像与真实图像对的数据集，具体为：将所述基准数据集图像与掩码数据集图像进行逐元素相乘，得到所需的包含缺失区域的待修复图像与真实图像对的数据集，表示为
15.im＝i0⊙
m，im∈(ω∪φ)
16.其中，m是值为1或0的二进制掩膜，数值1代表图像完好区域φ，数值0代表图像缺失区域ω，i0是原始图像，im是降质后的受损图像，
⊙
表示逐元素相乘，即降质图像im可以由原始图像i0和掩膜m构建得到。
17.上述方案中，所述构建基于多尺度纹理特征分支的生成对抗网络模型，包括一个生成器模型g、一个全局鉴别器模型d和一个局部鉴别器模型f。
18.上述方案中，所述构建基于多尺度纹理特征分支的生成对抗网络模型，具体通过以下步骤实现：
19.步骤501：建立生成器网络模型，生成器网络结构为类似于u-net的编解码器网络结构；
20.步骤502：编码器和解码器通过4个空洞残差模块进行连接，空洞残差模块由1个膨胀率为2的空洞卷积层和1个传统卷积层组成，卷积核尺寸为2
×
2，步长为1，并采用leaky relu激活函数；
21.步骤503：编码器前三层输出特征图包含更丰富的纹理信息，将编码器前三层输出特征图调整至相同大小，并串联为一张纹理特征图，再输入到多尺度纹理特征分支进行多尺度的孔洞填充，最后将填充结果用于解码器纹理特征的补充；
22.步骤504：解码器结构包括6层上采样卷积，上采样卷积模块使用结合最近邻(nearest)插值和偶数卷积的插值卷积块，卷积核尺寸为4
×
4，步长为1；
23.步骤505：建立双鉴别器网络模型，即全局鉴别器和局部鉴别器，分别负责对修复图像整体结构的一致性判断和局部区域纹理细节的合理性判断。
24.上述方案中，所述对所述基于多尺度纹理特征分支的生成对抗网络模型进行训练，获得最优的生成对抗网络模型，具体通过以下步骤实现：
25.具体地，步骤601：对所述构建的包含缺失区域的待修复图像和真实图像对数据，调整尺寸大小为m
×
n；
26.步骤602：通过生成对抗网络模型生成器得到生成图像y’，并将生成图像y’和真实图像y分别输入到全局鉴别器网络；将所述生成图像y’和真实图像y中已知区域内的像素都置为0，得到只保留了修复区域的生成图像y’local
和真实图像y
local
，分别输入到局部鉴别器网络；
27.步骤603：分别计算全局鉴别器损失函数l
global
和局部鉴别器损失函数l
local
，则鉴别器损失函数ld为二者之和，损失函数的值越小则代表生成图像越逼近真实图像，即生成器的训练越好；
28.步骤604：将鉴别器判断结果反馈给生成器，并将包含缺失区域的待修复图像x输入到生成器网络模型中，继续进行训练；
29.步骤605：计算生成器损失函数lg，生成器损失函数采用了包括像素重建损失、感知损失、分格损失和对抗损失的联合损失函数；
30.步骤606：重复步骤602～步骤605，重复迭代生成器网络和鉴别器网络，不断对网络进行训练，直至训练稳定，得到最优的生成对抗网络模型。
31.上述方案中，所述将包含缺失区域的待修复图像输入到最优的生成器网络模型中，输出最终的修复图像，具体为：
32.输入包含缺失区域的待修复图像到编码器结构，经过6层下采样卷积，卷积层使用对称填充的偶数卷积核，每层的卷积核大小为4
×
4，步长为2，卷积核数目分别为64、128、256、512、512和512，各层卷积输出特征图分别记为x1、x2、x3、x4、x5、x6，则最终输出特征图x6大小为4
×4×
512；
33.将所述4
×4×
512大小特征图x6经过4层空洞残差模块，输入到第1层空洞残差模块，经过1个膨胀率为2的空洞卷积层和1个传统卷积层，卷积核尺寸为2
×
2，步长为1，卷积核数目为512，得到特征图x7，再将特征图x7和特征图x6进行残差连接，输出特征图x8；然后将所述特征图x8依次输入到第2、3、4层空洞卷积模块，输出4
×4×
512大小的特征图x9；
34.将解码器前三层输出特征图x1、x2、x3调整至相同大小，并串联为一张32
×
32
×
256大小的纹理特征图x
10
，再输入到多尺度纹理特征分支进行多尺度的孔洞填充，首先经过两组并行的结构流，每组结构都包括5个部分卷积层，同组卷积层的卷积核大小相同，不同组卷积层则采用了不同尺度的偶数卷积核，分别为基于对称填充的2
×
2和4
×
4大小的偶数卷积核，步长为1，再将两组输出结果串联成一张特征图x
11
，接着经过se模块处理输出32
×
32
×
512大小的特征图x
12
，最后通过卷积操作调整填充图像尺寸与编码器各阶段的特征图尺寸相同，对应相加后将输出结果用于解码器各阶段纹理特征的补充；
35.将特征图x6与多尺度纹理特征分支得到的和x6具有相同尺寸的填充图像相加后输入第1层卷积，输出8
×8×
512大小的特征图x
13
；对于第2层卷积，输入为特征图x5与多尺度纹理特征分支得到的和x5具有相同尺寸的填充图像相加后再与特征图x
13
串联的结果，输出16
×
16
×
512大小的特征图x
14
，第3、4、5、6层卷积以此类推，输出256
×
256
×
3大小的生成图像y’，即最终的修复图像。与现有技术相比，本发明通过构建基于多尺度纹理特征分支的生成对抗网络，其中，生成器网络结构采用类似于u-net的编解码器网络结构，编解码器之间通过空洞残差模块进行连接，提升了图像的感知场，同时添加了多尺度纹理特征分支，将编码器前三层输出特征图经过该分支处理后得到的填充结果用于解码器纹理特征的补充，实现了图像结构特征和纹理特征的同步修复；鉴别器网络结构采用双鉴别器结构，即全局鉴别器和局部鉴别器，分别负责对修复图像整体结构的一致性判断和局部区域纹理细节的合理性判断，针对图像不规则随机缺失和大面积缺失情况都能得到较好的修复效果，修复图像具有较好的结构和纹理特征。
附图说明
36.此处所说明的附图用来公开对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
37.图1为本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法的算法流程图；
38.图2为本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法的生成对抗网络模型整体结构图；
39.图3为本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法的空洞残差模块；
40.图4为本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法的多尺度纹理特征分支模块；
41.图5为本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法的缺失图像的修复效果图。
具体实施方式
42.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
43.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、物品或者装置中还存在另外的相同要素。
44.本发明实施例提供一种基于多尺度纹理特征分支的生成对抗网络图像修复方法，如图1所示，该方法通过以下步骤实现：
45.步骤1：构建包含缺失区域的待修复图像与真实图像对数据集；
46.具体地，采用celeba-hq人脸数据集和places365-standard场景数据集两个基准数据集，同时制作掩膜数据集，所述掩膜数据集包含不规则随机掩膜和矩形掩膜两种数据集，处理得到所需的包含缺失区域的待修复图像与真实图像对的数据集，并划分测试数据集与训练数据集比例为2∶8；
47.将基准数据集图像与掩码数据集图像进行逐元素相乘，从而得到所需的包含缺失区域的待修复图像与真实图像对的数据集，表示为
48.im＝i0⊙
m，im∈(ω∪φ)
49.其中，m是值为1或0的二进制掩膜，数值1代表图像完好区域φ，数值0代表图像缺失区域ω，i0是原始图像，im是降质后的受损图像，
⊙
表示逐元素相乘，即降质图像im可以由原始图像i0和掩膜m构建得到。
50.步骤2：构建基于多尺度纹理特征分支的生成对抗网络模型；
51.具体地，生成对抗网络模型整体结构如图2所示，改进的生成对抗网络模型包括一个生成器模型g、一个全局鉴别器模型d和一个局部鉴别器模型f。
52.步骤201：建立生成器网络模型，生成器网络结构为类似于u-net的编解码器网络结构，将包含缺失区域的待修复图像输入到编码器结构中进行下采样，假设待修复图像宽度为w，高度为h，通道数为c，具体为：
53.将待修复图像x经过6层下采样卷积，分别输出特征图x1、x2、x3、x4、x5、x6，下采样卷积模块使用基于对称填充的偶数卷积核，卷积核尺寸为4
×
4，步长为2。使用对称填充可以
解决传统偶数卷积存在的特征飘移问题，同时能够使网络表现出比使用奇数卷积核时更好的性能，网络也更容易收敛。
54.步骤202：编码器和解码器通过4个空洞残差模块进行连接，空洞残差模块由1个膨胀率为2的空洞卷积层和1个传统卷积层组成，卷积核尺寸为2
×
2，步长为1，并采用leaky relu激活函数替换relu激活函数。空洞残差模块将低层特征与高层特征通过残差连接，在改善网络性能的同时，进一步提升了图像的感知场，构建出的空洞残差模块如图2所示。将在步骤201中得到的特征图x6经过4层空洞残差卷积后，输出特征图x7。
55.步骤203：编码器前三层输出特征图包含更丰富的纹理信息，将编码器前三层输出特征图调整至相同大小，并串联为一张纹理特征图，再输入到多尺度纹理特征分支进行多尺度的孔洞填充，最后将填充结果用于解码器纹理特征的补充。多尺度纹理特征分支包括部分卷积网络和压缩激励(se)模块，其结构如图3所示；
56.所述部分卷积网络主要包括部分卷积操作和掩膜更新操作，由两组并行的结构流组成，每组结构都包括5个部分卷积层，同组卷积层的卷积核大小相同，不同组卷积层则采用了不同尺度的偶数卷积核，分别为基于对称填充的2
×
2和4
×
4大小的偶数卷积核，步长为1，以实现在不同尺度上图像缺失区域的填充，并将填充结果串联成一张特征图x8；
57.所述se模块可以通过学习每个特征通道间的相互关系，对特征图特征进行重新标定，即将注意力集中到了重要的特征通道，从而有效提高了特征的利用率。se模块对特征图x8进行通道域均衡化，得到特征图x9，具体为：假设输入到se模块的特征图x8大小为w
×h×
c，首先使用全局平均池化操作将特征图的每个通道压缩，从而获得维度为1
×1×
c的全局特征，然后通过一个全连接层将特征维度降到全局平均池化后的1/r，即特征图大小为1
×1×
c/r，接着经过leaky relu激活，再通过一个全连接层将特征图维度升回到原来的维度，即特征图大小为1
×1×
c，这样做比直接用一个全连接层具有更多的非线性，可以更好地拟合通道间复杂的相关性，同时减少参数量和计算量。之后通过一个sigmoid的门获得0～1之间归一化的权重，并将归一化后的权重加权到每个通道的特征上，实现在通道维度不同的权值。最后，将激励操作得到的特征权重s与初始特征图u进行scale操作，即对每个特征通道uc乘以相应的权重系数sc，实现特征的重新标定，从而提高填充图像有效特征的利用率。最后通过卷积操作调整填充图像尺寸与编码器各阶段的特征图尺寸相同，对应相加后将输出结果用于解码器各阶段纹理特征的补充。
58.步骤204：解码器结构包括6层上采样卷积，上采样卷积模块使用结合最近邻(nearest)插值和偶数卷积的插值卷积块，能够在一定程度上避免棋盘效应的出现，卷积核尺寸为4
×
4，步长为1。假设第i层插值卷积输出特征图为x’i
(i＝1,2,3,4,5,6)，将步骤201中得到的特征图x6与多尺度纹理特征分支得到的和x6具有相同尺寸的特征图相加后经过第1层插值卷积，输出特征图x
’1；然后将步骤201中得到的特征图x5与多尺度纹理特征分支得到的和x5具有相同尺寸的特征图相加后再与x
’1串联的结果经过第2层插值卷积，输出特征图x
’2；以此类推，最终上采样至原始输入图像大小，即得到生成器生成图像y’。采用多尺度纹理特征分支对解码器纹理特征进行补充，可以更好地利用各层级所学习的数据特征，使得上采样图像的纹理结构更加清晰；
59.所述最邻近插值通过建立输出图像与输入图像间的映射关系，用输入像元的值来填充对应输出像元的值。其主要思路是对于目标尺寸，每个像素映射到输入尺寸中距离最
近的像素，取该像素的值进行填充。
60.步骤205：建立双鉴别器网络模型，即全局鉴别器和局部鉴别器，分别负责对修复图像整体结构的一致性判断和局部区域纹理细节的合理性判断。全局鉴别器和局部鉴别器的网络结构相同，网络输入不同，具体为：
61.1)全局鉴别器和局部鉴别器的每层卷积都使用谱归一化从而来完成整个鉴别器的谱归一化，使得鉴别器可以满足lipschitz限制，解决因为梯度消失而导致网络训练崩溃的问题，进而稳定整个网络的训练。鉴别器结构包含5个基于对称填充的偶数卷积层，卷积核尺寸为4
×
4，步长为2；
62.2)将步骤204中得到的生成器生成图像y’和真实图像y分别输入到全局鉴别器网络，计算全局鉴别器损失函数l
global
；
63.3)将步骤204中得到的生成器生成图像y’和真实图像y中已知区域内的像素都置为0，得到只保留了修复区域的生成图像y’local
和真实图像y
local
，分别输入到局部鉴别器网络中，计算局部鉴别器损失函数l
local”；
64.4)将全局鉴别器损失函数l
global
和局部鉴别器损失函数l
local
相加，得到鉴别器损失函数ld，其值越小代表生成器训练越好，生成图像越逼近真实图像；
65.步骤3：训练基于多尺度纹理特征分支的生成对抗网络模型；
66.具体地，步骤301：对所述构建的包含缺失区域的待修复图像和真实图像对数据，调整尺寸大小为m
×
n，本实施例中m＝n＝256。
67.步骤302：固定生成器网络，对鉴别器网络模型参数进行迭代更新优化。将生成器生成图像y’和真实图像y分别输入到全局鉴别器网络；将所述生成图像y’和真实图像y中已知区域内的像素都置为0，得到只保留了修复区域的生成图像y’local
和真实图像y
local
，分别输入到局部鉴别器网络。
68.步骤303：在鉴别器网络进行前向传播，其具体传播过程为：输入图像大小为256
×
256
×
3，经过5层基于对称填充的偶数卷积，其中每层的卷积核大小为4
×
4，步长为2，卷积核数目分别为64、128、256、512和1，最终输出8
×8×
1大小的特征图y。
69.步骤304：将所述生成图像y’和真实图像y经过鉴别器前向传播得到的输出结果输入到鉴别器损失函数ld中，判断输入图像是真实图像还是生成图像。由于在鉴别器模型中加入了谱归一化使得其满足lipschitz限制，因此鉴别器的损失值具有实际意义，即其值越小代表生成器训练越好，生成图像y’/y’local
越接近真实图像y/y
local
，具体表示为
[0070][0071]
其中，i
gt
为真实图像，i
out
为生成器输出修复图像，d
sn
(
·
)表示对鉴别器网络采取谱归一化，e(
·
)表示期望值，l
global
为全局鉴别器损失函数，l
local
为局部鉴别器损失函数，ld为鉴别器损失函数。
[0072]
步骤305：固定鉴别器网络，对生成器网络模型参数进行迭代更新优化。将包含缺失区域的待修复图像x输入到生成器网络模型中，进行前向传播，其具体传播过程为：
[0073]
1)输入待修复图像到编码器结构，经过6层下采样卷积，卷积层使用对称填充的偶数卷积核，每层的卷积核大小为4
×
4，步长为2，卷积核数目分别为64、128、256、512、512和512，各层卷积输出特征图分别记为x1、x2、x3、x4、x5、x6，则最终输出特征图x6大小为4
×4×
512；
[0074]
2)将所述4
×4×
512大小特征图x6经过4层空洞残差模块，输入到第1层空洞残差模块，经过1个膨胀率为2的空洞卷积层和1个传统卷积层，卷积核尺寸为2
×
2，步长为1，卷积核数目为512，得到特征图x7，再将特征图x7和特征图x6进行残差连接，输出特征图x8；然后将所述特征图x8依次输入到第2、3、4层空洞卷积模块，输出4
×4×
512大小的特征图x9；
[0075]
3)将解码器前三层输出特征图x1、x2、x3调整至相同大小，并串联为一张32
×
32
×
256大小的纹理特征图x
10
，再输入到多尺度纹理特征分支进行多尺度的孔洞填充。首先经过两组并行的结构流，每组结构都包括5个部分卷积层，同组卷积层的卷积核大小相同，不同组卷积层则采用了不同尺度的偶数卷积核，分别为基于对称填充的2
×
2和4
×
4大小的偶数卷积核，步长为1，再将两组输出结果串联成一张特征图x
11
，接着经过se模块处理输出32
×
32
×
512大小的特征图x
12
，最后通过卷积操作调整填充图像尺寸与编码器各阶段的特征图尺寸相同，对应相加后将输出结果用于解码器各阶段纹理特征的补充；
[0076]
4)将所述特征图输入到解码器结构，经过6层上采样卷积，卷积层使用对称填充的偶数卷积核，每层的卷积核大小为4
×
4，步长为1，卷积核数目分别为512、512、256、128、64和3。具体为：将特征图x6与多尺度纹理特征分支得到的和x6具有相同尺寸的填充图像相加后输入第1层卷积，输出8
×8×
512大小的特征图x
13
；对于第2层卷积，输入为特征图x5与多尺度纹理特征分支得到的和x5具有相同尺寸的填充图像相加后再与特征图x
13
串联的结果，输出16
×
16
×
512大小的特征图x
14
，第3、4、5、6层卷积以此类推，输出256
×
256
×
3大小的特征图，即最终的修复图像y’。
[0077]
步骤306：将生成器生成的修复图像y’与真实图像y作为生成器损失函数输入，计算生成器损失函数。
[0078]
生成器网络模型损失函数采用了包括像素重建损失、感知损失、风格损失和对抗损失的联合损失函数lg；
[0079]
像素重建损失函数l
re
是用来约束网络学习过程中低频信息的丢失，其通过l1距离来计算真实图像和生成图像在像素级别上的差异，具体为
[0080]
l
re
＝||i
out-i
gt
||1[0081]
感知损失函数l
prec
能够捕获图像的高级语义特征，即不依赖于像素之间的差异，而是表达高层图像特征之间的差异，具体定义为
[0082][0083]
其中，ψi表示预训练模型vgg-16第i层的激活特征图，用于将真实图像i
gt
和生成图像i
out
投影到更高层的特征空间，然后进行l1距离的计算，ni表示预训练模型vgg-16第i层特征映射的数量；
[0084]
风格损失函数l
style
类似于感知损失函数，其在进行l1距离计算之前，计算每个特征图的自相关(gram)矩阵，具体定义为
[0085][0086]
其中，表示由当前激活特征图ψj构建的gram矩阵；
[0087]
对抗损失函数l
adv
通过交叉熵损失函数进行计算，其主要关注图像的高频细节，具体定义为
[0088]
l
adv
＝-e[d
sn
(i
out
)]
[0089]
最后通过联合使用上述损失函数，得到生成器损失函数lg，具体表示为
[0090]
lg＝λ1l
re
λ2l
prec
λ3l
style
λ4l
adv
[0091]
其中，λ1、λ2、λ3和λ4表示损失函数的四个超参数，本实施例中，四个超参数初始值取为λ1＝1，λ2＝0.1，λ3＝240，λ4＝0.2，训练过程中经过多次调整，最终将其设置为λ1＝4，λ2＝0.2，λ3＝250，λ4＝0.2。
[0092]
步骤307：重复步骤302～步骤306，重复迭代生成器网络和鉴别器网络，不断对网络进行训练，直至训练稳定，最终达到在鉴别器具有较好鉴别能力的条件下，生成器能够生成以假乱真样本的目的，得到最优的网络模型。
[0093]
步骤4：获得修复后的图像；
[0094]
具体地，将所述包含缺失区域的待修复图像尺寸调整为256
×
256，接着输入到步骤3中训练得到的最优的网络模型的生成器网络结构中，执行一次前向传播，得到修复后的图像，得到的修复完成的图像大小也为256
×
256。图4展示了4组使用基于多尺度纹理特征分支的生成对抗网络的图像修复效果图，其中包含矩形掩膜和不规则随机掩膜各两组，可以看出修复后的图像在结构复原、纹理清晰度等方面都具有较好的修复效果。
[0095]
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。