图像处理方法、图像处理网络训练方法、装置及电子设备与流程

1.本技术涉及计算机视觉技术领域，尤其涉及到一种图像处理方法、图像处理网络训练方法、装置及电子设备。


背景技术：

2.随着各种数字仪器和数码产品的普及，图像和视频已成为人类活动中最常用的信息载体，它们包含着物体的大量信息，成为人们获取外界原始信息的主要途径。然而在图像的获取、传输和存储等过程中常常会受到各种噪声的干扰和影响而使图像降质，并且图像预处理算法的好坏又直接关系到后续图像处理的效果，如图像分割、目标识别、边缘提取等，从而有必要对图像进行去噪处理。
3.目前，常采用的去噪方法是将噪声水平估计输入去噪网络，去噪网络将噪声水平估计作为权重来权衡对均匀分布的噪声的抑制和细节的保持，以实现去噪，然而，对于局部模糊的图像去噪的效果较差。


技术实现要素：

4.本技术实施例提供一种图像处理方法、图像处理网络训练方法、装置及电子设备，以解决现有图像去噪效果较差的问题。
5.为了解决上述技术问题，本技术是这样实现的：
6.第一方面，本技术实施例提供了一种图像处理方法，包括：
7.获取待处理图像；
8.利用目标图像去噪网络对所述待处理图像进行去噪处理，得到目标去噪图像；
9.其中，所述目标图像去噪网络包括依次连接的目标特征融合网络、目标级联特征提取网络以及第一卷积层；
10.所述目标特征融合网络，用于对所述待处理图像进行特征提取，以及对提取得到的第一特征图和第二特征图进行特征融合，得到目标融合特征图；
11.所述目标级联特征提取网络，用于对所述目标融合特征图进行特征提取，得到目标特征图；
12.所述第一卷积层，用于对所述目标特征图进行卷积处理，得到所述目标去噪图像。
13.可以看出，在本技术实施例中，在去噪过程中，采用了相连的两个不同的特征提取网络进行特征提取，目标特征融合网络不但可对待处理图像进行特征提取得到两个不同的特征图，而且对两个不同的特征图进行了特征融合，得到目标融合特征图，如此，可提高得到的目标融合特征的准确性，在得到的目标融合特征图的基础上，再采用目标级联特征提取网络对目标融合特征图进行进一步的特征提取，得到目标特征图，由于目标级联特征提取网络是一种级联结构的特征提取网络，通过级联的特征提取网络对目标融合特征图进行特征提取，以提高提取得到的目标特征图的准确性，这样，通过第一卷积层对提取得到的目标特征图进行卷积处理得到目标去噪图像，实现图像去噪，可提高图像去噪的效果。
14.第二方面，本技术实施例还提供一种图像处理网络训练方法，包括：
15.获取训练样本图像集；
16.基于所述训练样本图像集对初始生成对抗网络进行训练，得到目标生成对抗网络，其中，所述目标生成对抗网络包括目标图像去噪网络；所述目标图像去噪网络，用于对待处理图像进行去噪处理；
17.其中，所述初始生成对抗网络包括相连的初始图像去噪网络以及初始鉴别网络，所述初始图像去噪网络包括依次连接的初始特征融合网络、初始级联特征提取网络以及第一初始卷积层，所述初始特征融合网络的输入包括所述训练样本图像集，所述初始鉴别网络的输入包括所述第一初始卷积层的输出。
18.可以看出，在本技术实施例中，初始生成对抗网络中的初始图像去噪网络采用了相连的两个不同的初始特征提取网络的结构，即初始特征融合网络和初始级联特征提取网络，而且在训练过程中，是对生成对抗网络进行训练，是包括相连的初始图像去噪网络以及初始鉴别网络，生成对抗网络的训练特性是生成网络和对抗网络一起训练，也即是会初始特征融合网络和初始级联特征提取网络一起训练，从而可提高模型训练的效果，提高训练的模型性能，即可提高训练得到的目标图像去噪网络的性能，通过目标图像去噪网络对待处理图像进行去噪，可提高图像去噪效果。
19.第三方面，本技术实施例还提供一种图像处理装置，包括：
20.第一获取模块，用于获取待处理图像；
21.目标去噪图像获取模块，用于利用目标图像去噪网络对所述待处理图像进行去噪处理，得到目标去噪图像；
22.其中，所述目标图像去噪网络包括依次连接的目标特征融合网络、目标级联特征提取网络以及第一卷积层，所述目标特征融合网络对所述待处理图像进行特征提取，并对提取的第一特征图和第二特征图进行特征融合，得到目标融合特征图，所述目标级联特征提取网络对所述目标融合特征图进行特征提取，得到目标特征图，所述第一卷积层对所述目标特征图进行卷积处理，得到所述目标去噪图像。
23.第四方面，本技术实施例还提供一种图像处理网络训练装置，包括：
24.第二获取模块，用于获取训练样本图像集；
25.训练模块，用于基于所述训练样本图像集对初始生成对抗网络进行训练，得到目标生成对抗网络，其中，所述目标生成对抗网络包括目标图像去噪网络；所述目标图像去噪网络，用于对待处理图像进行去噪处理；
26.其中，所述初始生成对抗网络包括相连的初始图像去噪网络以及初始鉴别网络，所述初始图像去噪网络包括依次连接的初始特征融合网络、初始级联特征提取网络以及第一初始卷积层，所述初始特征融合网络的输入包括所述训练样本图像集，所述初始鉴别网络的输入连接所述第一初始卷积层的输出。
27.第五方面，本技术实施例还提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面提供的方法中的步骤或实现上述第二方面提供的方法中的步骤。
28.第六方面，本技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面提供的方法
中的步骤或实现上述第二方面提供的方法中的步骤。
附图说明
29.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1是本技术实施例提供的一种图像处理方法的流程图；
31.图2是本技术实施例提供的一种目标级联特征提取网络的示意图之一；
32.图3是本技术实施例提供的一种目标级联特征提取网络的示意图之二；
33.图4是本技术实施例提供的一种目标特征融合网络的示意图之一；
34.图5是本技术实施例提供的一种目标特征融合网络的示意图之二；
35.图6是本技术实施例提供的一种图像处理方法与现有方案对待处理图像去燥后的对比图；
36.图7是本技术实施例提供的一种图像处理网络训练方法的流程图；
37.图8是本技术实施例提供的一种初始图像去噪网络的示意图；
38.图9是本技术实施例提供的一种初始鉴别网络的示意图；
39.图10是本技术实施例提供的一种图像处理装置的结构示意图；
40.图11是本技术实施例提供的一种图像处理网络训练装置的结构示意图；
41.图12是本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
42.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
43.参见图1，图1是本技术实施例提供的一种图像处理方法的流程图，如图1所示，该方法应用于电子设备，包括以下步骤：
44.步骤101、获取待处理图像。
45.待处理图像可以理解为待去噪图像，即为需要进行去噪的图像，在本实施例中，其尺寸大小不作限定。
46.步骤102、利用目标图像去噪网络对待处理图像进行去噪处理，得到目标去噪图像。
47.其中，目标图像去噪网络包括依次连接的目标特征融合网络、目标级联特征提取网络以及第一卷积层；目标特征融合网络，用于对待处理图像进行特征提取，以及对提取得到的第一特征图和第二特征图进行特征融合，得到目标融合特征图；目标级联特征提取网络，用于对目标融合特征图进行特征提取，得到目标特征图；第一卷积层，用于对目标特征图进行卷积处理，得到目标去噪图像。
48.即目标特征融合网络不但可对待处理图像进行特征提取，可得到两种特征图，即
第一特征图和第二特征图，而且可对这两种特征图进行融合处理，从而得到目标融合特征图，然后目标融合特征图经过目标级联特征提取网络进行特征提取，得到目标特征图，通过第一卷积层进行卷积处理，即可得到待处理图像对应的目标去噪图像。需要说明的是，目标级联特征提取网络是级联结构的网络，是一个多层的结构，可以理解是包括多个特征提取层级联的网络。另外需要说明的是，在第一特征图、第二特征图、目标融合特征图、目标特征图以及目标去噪图像中，每一张图的大小与待处理图像的大小是相同的，例如，待处理图像的大小为n行n列，即大小为n*n，则上述每一张图的大小为n*n，*表示乘号。
49.在本实施例中，在去噪过程中，采用了相连的两个不同的特征提取网络进行特征提取，目标特征融合网络不但可对待处理图像进行特征提取得到两个不同的特征图，而且对两个不同的特征图进行了特征融合，得到目标融合特征图，如此，可提高得到的目标融合特征的准确性，在得到的目标融合特征图的基础上，再采用目标级联特征提取网络对目标融合特征图进行进一步的特征提取，得到目标特征图，由于目标级联特征提取网络是一种级联结构的特征提取网络，通过级联的特征提取网络对目标融合特征图进行特征提取，以提高提取得到的目标特征图的准确性，这样，通过第一卷积层对提取得到的目标特征图进行卷积处理得到目标去噪图像，实现图像去噪，可提高图像去噪的效果。
50.如图2所示，在一个实施例中，目标级联特征提取网络包括依次连接的n个特征提取模块、第二卷积层以及第一相加层，目标级联特征提取网络还包括依次连接的合并层以及第三卷积层，n为大于1的整数；
51.n个特征提取模块中的第1个特征提取模块的输入包括目标特征融合网络的输出，n个特征提取模块中的第i个特征提取模块的输入包括n个特征提取模块中的第i-1个特征提取模块的最终输出，i为整数，且2≤i≤n，第二卷积层的输入包括n个特征提取模块中的第n个特征提取模块的最终输出，合并层的输入包括n个特征提取模块中每个特征提取模块的中间输出，第一相加层的输入包括第三卷积层的输出，第一相加层对第二卷积层的输出与第三卷积层的输出进行相加得到目标特征图。
52.需要说明的是，n个特征提取模块作为一个整体，与第二卷积层以及第一相加层依次连接，n个特征提取模块中的特征提取模块之间也是依次连接的。
53.一个特征提取模块可以理解是一个特征提取层，任一特征提取模块进行特征提取最终输出一个参考特征图，目标特征融合网络进行特征提取和特征融合后输出目标融合特征图，即第1个特征提取模块可对目标融合特征图进行特征提取最终输出第1个参考特征图，第i个特征提取模块对第i-1个特征提取模块最终输出的第i-1个参考特征图进行特征提取，最终输出第i个参考特征图，第n个特征提取模块进行特征提取最终输出第n个参考特征图，第二卷积层对第n个参考特征图进行卷积处理输出第一卷积图，合并层对n个特征提取模块的中间输出(即n个中间输出)进行合并得到合并特征图，第三卷积层对合并特征图进行卷积处理得到第二卷积图，第一相加层对第一卷积图与第三卷积层输出的第二卷积图进行相加处理得到目标特征图。作为一个示例，第二卷积层可包括依次连接的第一子卷积层和第二子卷积层，即第二卷积层的输入为第一子卷积层的输出，第一子卷积层的输入包括第n个特征提取模块的输出，第二卷积层的输出为第二子卷积层的输出，即第一相加层对第二卷积层中第二子卷积层的输出与第三卷积层的输出进行相加得到目标特征图。
54.在本实施例中，目标级联特征提取网络是包括依次连接的n个特征提取模块、第二
卷积层以及第一相加层，还包括依次连接的合并层以及第三卷积层，目标级联特征提取网络在进行特征提取的过程中，由于目标级联特征提取网络包括依次相连的n个特征提取模块，相邻两个特征提取模块中，前一个特征提取模块的输出可作为后一个特征提取模块的输入，即后一个特征提取模块可在前一个特征提取模块的基础上进一步进行特征提取，最终通过第n个特征提取模块输出特征图，如此，可提高特征提取的准确性，而且第n个特征提取模块输出的特征图还可通过第一卷积层进行卷积处理，提取卷积特征，合并层对n个特征提取模块的中间输出进行合并，这样可提取到n个不同的中间特征，通过第三卷积层进行卷积处理后输入第一相加层，通过第一相加层对第三卷积层的输出与第二卷积层的输出进行相加得到目标特征图，实现了特征的融合，提高得到的目标特征图的准确性。
55.如图3所示，在一个实施例中，n个特征提取模块中的任一特征提取模块均包括依次连接的下采样层、上采样层、减残差层、目标卷积层以及加残差层；
56.第1个特征提取模块的下采样层的输入包括目标特征融合网络的输出，第1个特征提取模块的减残差层的输入包括目标特征融合网络的输出，第1个特征提取模块的加残差层的输入包括目标特征融合网络的输出，第1个特征提取模块的中间输出为第1个特征提取模块的减残差层的输出，第1个特征提取模块的最终输出为第1个特征提取模块的加残差层的输出；
57.第i个特征提取模块的下采样层的输入包括n个特征提取模块中的第i-1个特征提取模块的最终输出，第i个特征提取模块的减残差层的输入包括n个特征提取模块中的第i-1个特征提取模块的最终输出，第i个特征提取模块的加残差层的输入包括n个特征提取模块中的第i-1个特征提取模块的最终输出，第i个特征提取模块的中间输出为第i个特征提取模块的减残差层的输出，第i个特征提取模块的最终输出为第i个特征提取模块的加残差层的输出。
58.每个特征提取模块分别包括依次连接的下采样层、上采样层、减残差层、目标卷积层以及加残差层，一个特征提取模块的下采样层对其输入的特征图进行下采样处理，得到下采样图，通过下采样层进行下采样可使图的大小缩小，即得到的下采样图的大小小于输入到下采样层的图的大小。该特征提取模块的上采样层对下采样图进行上采样处理，得到上采样图，通过上采样层进行上采样可使图的大小扩大，即得到的上采样图的大小大于输入到上采样层的图的大小，得到的上采样图是与输入到特征提取模块的图的大小相同。对于相邻两个特征提取模块，后一个特征提取模块的下采样层的输入连接前一个特征提取模块的加残差层的输出。减残差层可以理解是相减层，用于对两个输入的特征图进行相减处理，即是对特征图中相同位置的值进行相减，加残差层可以理解是相加层，用于对两个输入的特征图进行相减处理，即是对特征图中相同位置的值进行相加。需要说明的是，在一个示例中，下采样层可以是步长为m的卷积层，m为大于1的整数，上采样层可以是亚像素卷积层，计算量小。
59.可以理解，第1个特征提取模块的下采样层对目标特征融合网络输出的目标融合特征图进行下采样得到第1个下采样图，第1个特征提取模块的上采样层对第1下采样图进行上采样得到第1个上采样图，第1个特征提取模块的减残差层对目标融合特征图以及第1个上采样图进行减残差处理，得到第1个减残差图，第1个特征提取模块的目标卷积层对第1个减残差图进行卷积处理，得到第1个目标卷积图，第1个特征提取模块的加残差层对第1个
目标卷积图以及目标融合特征图进行加残差处理，得到第1个参考特征图。
60.第i个特征提取模块的下采样层对第i-1个特征提取模块最终输出的第i-1个参考特征图进行下采样得到第i个下采样图，第i个特征提取模块的上采样层对第i下采样图进行上采样得到第i个上采样图，第i个特征提取模块的减残差层对第i-1个参考特征图以及第i个上采样图进行减残差处理，得到第i个减残差图，第i个特征提取模块的目标卷积层对第i个减残差图进行卷积处理，得到第i个目标卷积图，第i个特征提取模块的加残差层对第i个目标卷积图以及目第i-1个参考特征图进行加残差处理，得到第i个参考特征图。
61.在本实施例中，任一特征提取模块包括依次连接的下采样层、上采样层、减残差层、目标卷积层以及加残差层，输入到特征提取模块的特征图经过上采样和下采样，不仅可增大感受野，使得到包含更加全面的特征，而且可以提取主频信息，将下采样层输出的特征与输入到该特征提取模块的特征(目标融合特征图或该特征提取模块的前一个特征提取模块的最终输出)进行减残差，可将不明显的特征去除，然后将减残差层输出的特征一方面送入合并层，另一方面送入目标卷积层进行卷积处理，提取纹理特征以及实现平滑处理，在这过程中主频信息可能会有所丢失，因此将目标卷积层输出的特征送入加残差层，与输入到该特征提取模块的特征(目标融合特征图或该特征提取模块的前一个特征提取模块的最终输出)进行加残差，对丢失的特征信息进行补偿，得到该特征提取模块的最终输出，该特征提取模块最终输出的特征送入到下一个特征提取模块进行上述类似处理，从而，经过n个特征提取模块进行特征提取，可提取到图像的更多细节特征，再通过第二卷积层处理后输入到第一相加层，合并层对n个特征提取模块的减残差层的输出进行合并后经过第三卷积层处理，输出到第一相加层，第一相加层对第二卷积层的输出与第三卷积层的输出进行相加融合，使得到的目标特征图具有更多的细节特征，提高特征提取的准确性，通过第一卷积层进行卷积处理后得到目标去噪图像，实现去噪，从而可提高去噪的效果。
62.在一个实施例中，目标级联特征提取网络还包括第四卷积层，目标特征融合网络通过第四卷积层分别与第1个特征提取模块的下采样层以及第1个特征提取模块的减残差层连接；
63.第1个特征提取模块的下采样层的输入包括第四卷积层的输出，第1个特征提取模块的减残差层的输入包括第1个特征提取模块的上采样层的输出以及第四卷积层的输出。
64.在目标特征融合网络与第1个特征提取模块之间还设置一个第四卷积层，即目标特征融合网络输出的目标融合特征图先经过第四卷积层进行卷积处理，提取纹理特征并实现平滑，得到第三卷积图，将第三卷积图输出至第1个特征提取模块的下采样层，第1个特征提取模块的下采样层是对第三卷积图进行下采样得到第1个下采样图。可以理解，在目标融合特征图输入特征提取模块进行特征提取前，先通过第四卷积层进行卷积处理，提取目标融合特征图的纹理特征，且得到的第三卷积图更平滑，将其输入特征提取模块进行特征提取，有利于提取到更多的细节特征，以此作为后续实现图像去噪的依据，从而可提高图像去噪的效果。
65.如图4所示，在一个实施例中，目标特征融合网络包括第一支路特征提取网络、第二支路特征提取网络以及第二相加层，第二相加层的输入包括第一支路特征提取网络的输出以及第二支路特征提取网络的输出；
66.第一支路特征提取网络的输入以及第二支路特征提取网络的输入均包括待处理
图像，第一支路特征提取网络对待处理图像进行特征提取，得到第一特征图，第二支路特征提取网络对待处理图像进行特征提取，得到第二特征图，目标融合特征图为第二相加层的输出。
67.可以理解，目标特征融合网络通过2个不通的支路特征提取网络分别对待处理图像进行特征提取，得到2个不同的特征图，并通过第一相加层将2个不同的特征图进行相加处理，即将第一特征图和第二特征图进行相加处理，实现特征融合，得到目标融合特征图。
68.在本实施例中，将第二支路特征提取网络提取的第二特征图与第一支路特征提取网络提取的第一特征图相加融合进行矫正，实现两个特征图的像素级融合，可以弥补第一支路特征提取网络可能造成的像素偏移现象，而且可以得到细节更加明显的特征，提高得到的目标融合特征图的准确性，以此作为后续图像去噪的依据，从而可提高图像去噪效果。
69.如图5所示，在一个实施例中，第一支路特征提取网络包括依次连接的第五卷积层、第一变换层、字典层、全连接层以及第二变换层，第五卷积层的输入包括待处理图像，第一特征图为第二变换层的输出。
70.可以理解，第五卷积层对待处理图像进行卷积处理，得到第四卷积图，第一变换层对第四卷积图进行变换，得到第一变换图，字典层对第一变换图进行处理，得到第三特征图，全连接层对第三特征图进行处理，得到第一结果，第二变换层对第一结果进行变换，得到第一特征图。
71.需要说明的是，字典层是预训练好的字典层，也即是字典矩阵是已训练的字典矩阵，例如，可以是通过ksvd(一种稀疏表示中字典学习的算法)算法进行字典训练。字典层是通过字典矩阵对字典层的输入进行处理得到相应的结果。在本实施例中，第一变换层的输出输入至字典层，字典层利用字典矩阵对第一变换层的输出进行处理，例如，第一变换层的输出为矩阵形式的输出，字典层是将第一变换层的输出与字典矩阵做乘积，得到相应的结果，并输出给全连接层。在本实施例中，使用了字典层，该字典层是预先训练好的字典层，通过字典层可更好地识别特征，输出更能表征图像的特征。而且，增加字典层，可使在训练得到目标图像去噪网络过程中，通过已训练的字典层可加速网络训练，并且可减少训练样本的数量，可实现小批量样本的训练的同时，确保训练的效果。
72.本实施例中的变换层(reshape)可以理解为改变变换层的输入的结构形式。例如，字典层的维度均为4096*6144，第四卷积图的尺寸大小若是64*64，通过第一变换层将第四卷积图拉成1*4096的矩阵形式，字典层对第一变换层的输出进行处理，可得到1*6144的矩阵形式的长条特征图。
73.在本实施例中，可通过第五卷积层对待分类图像进行浅层纹理特征提取，提取的纹理信息中包括了中高频信息，通过第一变换层进行变换后输出至字典层，通过字典层可更好地识别特征，可得到更加准确的特征，字典层的输出输入到全连接层进行处理后，再通过第二变换层进行变换，得到第一特征图，如此，可提高特征提取效果，提高得到的第一特征图的准确性。
74.如图5所示，在一个实施例中，第二支路特征提取网络包括依次连接的第六卷积层和第七卷积层，第六卷积层的输入包括待处理图像，第二特征图为第七卷积层的输出。
75.在本实施例中，通过第六卷积层对待处理图像进行卷积处理，得到第五卷积图，再通过第七卷积层对第五卷积图进行卷积处理，以提取图像的纹理信息和边缘信息等，其中
可包括中高频信息，得到第二特征图，如此，使得到的第二特征图中具有更多的细节特征，更加能表征图像，提高特征提取效果，提高得到的第二特征图的准确性，以此作为后续去噪的依据，从而可提高图像去噪的效果。
76.采用本技术实施例的图像处理方法与一个现有去噪方案分别对同一待处理图像进行去噪，例如，如图6所示，待处理图像为图像x，通过现有方案对图像x去噪后得到图像x1，通过本技术实施例的图像处理方案对图像x去噪后得到图像x2(即目标去噪图像)，通过图6中去噪后的图像对比可知，通过本技术实施例的方案对图像x去噪后得到的图像x2相对图像x1，噪声更少，图像更清晰，可实现更好的去噪效果。
77.参见图7，图7是本技术实施例提供的一种图像处理网络训练方法的流程图，如图7所示，包括以下步骤：
78.步骤701、获取训练样本图像集以及训练样本图像集的标签去噪图像集。
79.训练样本图像集中可包括多张训练样本图像，可将训练样本图像切分成图像块进行训练，图像块的大小的不作限定，例如，图像块的大小可以是64*64等。
80.步骤702、基于训练样本图像集以及标签去噪图像集对初始生成对抗网络进行训练，得到目标生成对抗网络。
81.其中，目标生成对抗网络包括依次连接的目标图像去噪网络(初始图像去噪网络训练后的网络)以及目标鉴别网络(初始鉴别网络训练完成后的网络)；目标图像去噪网络，用于对待处理图像进行去噪处理；
82.其中，初始生成对抗网络包括相连的初始图像去噪网络以及初始鉴别网络，初始图像去噪网络包括依次连接的初始特征融合网络、初始级联特征提取网络以及第一初始卷积层，初始特征融合网络的输入包括训练样本图像集，初始鉴别网络的输入包括第一初始卷积层的输出。
83.可以理解，初始特征融合网络对训练样本图像集进行特征提取，并对提取的第一初始特征图集和第二初始特征图集进行特征融合，得到初始融合特征图集，初始级联特征提取网络对初始融合特征图集进行特征提取，得到初始训练特征图集，第一卷积层对初始训练特征图集进行卷积处理，得到训练去噪图像集。在训练过程中，采用目标损失函数进行训练，目标损失函数包括训练去噪图像集和标签去噪图像集确定的损失函数，需要说明的是，由于是对初始对抗生成网络进行训练，包括初始鉴别网络，初始鉴别网络可用于对初始图像去噪网络的输出进行鉴别处理输出相应的鉴别分值，目标损失函数还可包括与初始鉴别网络的输出有关的损失函数，此处不再赘述。
84.在本实施例中，初始生成对抗网络中的初始图像去噪网络采用了相连的两个不同的初始特征提取网络的结构，即初始特征融合网络和初始级联特征提取网络，初始特征融合网络先对训练样本图像进行特征提取并对提取的特征进行融合，在初始特征融合网络得到的融合特征的基础上，再利用初始级联特征提取网络进行进一步地提取特征，将提取的特征作为第一初始卷积层的输入，通过第一初始卷积层进行卷积处理，第一初始卷积层的输出作为训练的一个依据。而且在训练过程中，是对生成对抗网络进行训练，是包括相连的初始图像去噪网络以及初始鉴别网络，生成对抗网络的训练特性是生成网络和对抗网络一起训练，需要平衡两个网络的训练，在本实施例中，初始图像去噪网络可以理解是初始生成网络，初始鉴别网络可以理解是初始对抗网络，即初始图像去噪网络与初始鉴别网络一起
训练，从而可提高模型训练的效果，提高训练的模型性能，可提高训练得到的目标图像去噪网络的性能，通过目标图像去噪网络对待处理图像进行去噪，可提高图像去噪效果。
85.上述实施例的图像处理方法中采用的目标图像去噪网络是根据本技术实施例中的图像处理网络训练方法训练得到，目标图像去噪网络即是初始图像去噪网络训练完成后的网络。
86.需要说明的是，本技术实施例中的训练可以为迭代训练，例如，迭代训练的停止条件可以包括迭代次数达到预设次数阈值或损失函数的结果收敛等，在满足迭代训练的停止条件的情况下，可确定完成训练。
87.在一个实施例中，初始鉴别网络包括依次连接的图像混合层和鉴别层，图像混合层的输入包括第一初始卷积层的输出以及训练样本图像集的标签去噪图像集，图像混合层用于分别对标签去噪图像集的每一张图像与第一初始卷积层输出的对应的初始去噪图像进行混合处理，鉴别层用于对图像混合层的输出进行鉴别处理得到图像混合层的输出的鉴别分值；
88.其中，图像混合层对第一标签去噪图像以及与第一标签去噪图像对应的第一初始去噪图像进行混合过程中，将第一标签去噪图像中第一像素点的像素值调整为第一初始去噪图像中第二像素点的像素值；
89.其中，第一标签去噪图像为标签去噪图像集中的任一图像，第一像素点在第一标签去噪图像中的位置与第二像素点在第一初始去噪图像中的位置相同，第一像素点为根据预设间隔数量对第一标签去噪图像的像素点进行采样得到的像素点，第一像素点中位于同行或同列的相邻两个像素点之间间隔预设间隔数量个像素点。
90.标签去噪图像集中的图像数量与训练样本图像集的图像数量相同，每个训练样本图像分别通过第一初始卷积层输出对应的一个初始去噪图像，且每个训练样本图像分别有对应的一个标签去噪图像，这样，第一初始卷积层输出的每个初始去噪图像有对应的一个标签去噪图像。在训练过程中，对抗网络中鉴别层的输入是混合图，图像混合层的输入是分别连接第一初始卷积层的输出以及标签去噪图像集，通过图像混合层分别对标签去噪图像集的每一张图像与对应的初始去噪图像进行混合处理，得到混合图集，其中的混合图数量与训练样本图像集的图像数量相同。需要说明的是一个图像的鉴别分值可以用于表示该图像的真假，即也可以表示该图像的清晰程度，值越大，表示越清晰，即表示去噪效果越好，反之，越不清晰，表示去噪效果越差。
91.对于标签去噪图像集中的任一标签去噪图像，混合层在对该标签去噪图像与对应的初始去噪图像进行混合处理的过程中，同一行或同一列中，每间隔预设间隔数量个像素点，将该标签去噪图像中像素点的像素值调整为对应的初始去噪图像中相应位置的像素值。例如，预设间隔数量为2，则该标签去噪图像中需要调整像素值的第一像素点中相邻两个像素点之间间隔2个像素点，每间隔2个像素点，将标签去噪图像的像素值调整为对应的初始去噪图像中相同位置的像素值，比如，第一像素点包括像素点a(在该标签去噪图像中的位置是第2行第2列)和像素点b(在该标签去噪图像中的位置是第2行第4列)，在对应的初始去噪图像中，与其位置相同的像素点，即是初始去噪图像中第2行第2列的像素点以及第2行第4列的像素点，即将该标签去噪图像中像素点a的像素值调整为对应初始去噪图像中第2行第2列的像素点的像素值，将该标签去噪图像中像素点b的像素值调整为对应初始去噪
图像中第2行第4列的像素点的像素值。
92.在本实施例中，在训练过程中，通过图像混合层对标签去噪图像与对应的初始去噪图像使用规则进行混合，规则为标签去噪图像每隔预设间隔数量个像素点替换为对应的初始去噪图像中相应位置的像素点的值，这样，利用混合处理后的图像输入对抗网络中的鉴别层进行训练，可弥补局部模糊去除不干净的问题，提高训练得到的网络的鲁棒性。
93.在一个实施例中，鉴别层包括第一鉴别器和第二鉴别器，第一鉴别器的输入和第二鉴别器的输入均包括图像混合层的输出；
94.基于训练样本图像集对初始生成对抗网络进行训练，得到目标生成对抗网络，包括：
95.基于训练样本图像对第一子生成对抗网络进行训练，得到中间生成对抗网络，其中，第一子生成对抗网络为初始图像去噪网络、图像混合层以及第一鉴别器构成的子生成对抗网络，中间生成对抗网络包括中间图像去噪网络、图像混合层以及第一目标鉴别器；
96.基于训练样本图像对第二子生成对抗网络进行训练，得到目标图像去噪网络以及第二目标鉴别器，其中，第二子生成对抗网络为中间图像去噪网络、图像混合层以及第二鉴别器构成的子生成对抗网络，目标鉴别网络包括图像混合层以及分别与图像混合层连接的第一目标鉴别器和第二目标鉴别器。
97.在本实施例中，采用两个鉴别器进行交替训练，即先基于训练样本图像对初始图像去噪网络、图像混合层以及第一鉴别器依次连接构成的第一子生成对抗网络进行训练，得到中间生成对抗网络，然后基于训练样本图像对中间生成对抗网络中的中间图像去噪网络、图像混合层以及第二鉴别器依次连接构成的第二子生成对抗网络进行训练，得到目标生成对抗网络，可以理解图像去噪网络与2个不同鉴别器分别组合进行了2次训练，如此，可提高训练得到的目标图像去噪网络的性能，而且两个鉴别器的使用，可增加单一鉴别器坏死，生成网络。
98.下面以一个具体实施例对上述方法的过程加以具体说明。以n为3为例进行说明。
99.图8为本技术一个实施例的初始图像去噪网络的结构示意图，初始图像去噪网络包括依次连接的初始特征融合网络、第四初始卷积层、初始级联特征提取网络以及第一初始卷积层。初始级联特征提取网络包括依次连接的3个初始特征提取模块、第二初始卷积层(包括第一初始子卷积层和第二初始子卷积层)以及第一初始相加层，初始级联特征提取网络还包括依次连接的初始合并层以及第三初始卷积层，3个初始特征提取模块中的任一初始特征提取模块包括依次连接的初始下采样层、初始上采样层、初始减残差层、初始卷积层以及初始加残差层；初始特征融合网络包括第一初始支路特征提取网络、第二初始支路特征提取网络以及第二初始相加层，第二初始相加层的输入包括第一初始支路特征提取网络的输出以及第二初始支路特征提取网络的输出；第一初始支路特征提取网络包括依次连接的第五初始卷积层、第一初始变换层、字典层、初始全连接层以及第二初始变换层，第五初始卷积层的输入包括待训练样本图像集；第二初始支路特征提取网络包括依次连接的第六初始卷积层和第七初始卷积层，第六初始卷积层的输入包括训练样本图像集。其中，第四初始卷积层的输入包括第二初始相加层的输出，第1个初始特征提取模块的初始下采样层的输入以及第1个初始特征提取模块的初始减残差层的输入均包括第四初始卷积层的输出，第2个初始特征提取模块的初始下采样层的输入、第2个初始特征提取模块的初始减残差层
的输入以及第2个初始特征提取模块的初始加残差层的输入均包括第1个初始特征提取模块的初始加残差层的输出，第3个初始特征提取模块的初始下采样层的输入、第3个初始特征提取模块的初始减残差层的输入以及第3个初始特征提取模块的初始加残差层的输入均包括第2个初始特征提取模块的初始加残差层的输出，初始合并层的输入包括第1个初始特征提取模块的初始减残差层的输出、第2个初始特征提取模块的初始减残差层的输出以及第3个初始特征提取模块的初始减残差层的输出，第二初始卷积层的输入包括第3个初始特征提取模块的初始加残差层的输出，第一初始相加层的输入包括第二初始卷积层的输出以及第三初始卷积层的输出，第一初始卷积层的输入包括第一初始相加层的输出，第一初始卷积层的输出包括训练样本图像集中图像对应的初始去噪图像，即包括初始去噪图像集。
100.如图9所示，为本技术一个实施例的初始鉴别网络的结构示意图，包括相连的图像混合层和鉴别层，鉴别层包括第一鉴别器和第二鉴别器，第一鉴别器的输入以及第二鉴别器的输入均包括图像混合层的的输出。鉴别层的鉴别器可采用srgan(一种生成对抗神经网络)以及wgan(wasserstein generative adversarial networks，一种生成对抗网络)中的鉴别器。
101.需要说明的是，本技术实施例中卷积层的卷积核个数(通道数)没有说明的，均可以为预设个数，例如64，初始特征融合网络有2个支路网络，即第一初始支路特征提取网络、第二初始支路特征提取网络,本实施例的训练流程如下：
102.首先，可将待训练图像切成m*m的图像块进行训练，例如m可以取64，即图像块的大小为64*64，将其同时送入2个支路网络。
103.第一初始支路特征提取网络的第五初始卷积层为卷积核个数为64且卷积核大小为1*1的卷积层，主要是增加通道维度，为送入字典层做准备，紧接着送入第一变换层(第一reshape层)进行变换，拉成64个1*4096的长条特征图(为了将特征送进字典层)，然后送进字典层，字典层根据送进的特征可以输出稀疏标准的特征，即输出64个1*6144大小的长条特征图，然后将其送进初始全连接层(fc)，初始fc的神经元个数为4096，初始fc的输出送进第二变换层，可输出64个64*64大小的特征图，即得到第一初始特征图，送进第一初始相加层。
104.第二初始支路特征提取网络使用2层3*3卷积核大小的卷积层(即第六初始卷积层和第七初始卷积层，卷积核的个数可均为64)进行浅层特征提取，提取图片的纹理信息以及边缘信息，包含了中高频信息。通过2层卷积层中后一层卷积层可输出64张64*64大小的特征图，即得到第二初始特征图，将其送进第一初始相加层。
105.通过第一初始相加层对第二变换层的输出和第七初始卷积层的输出进行相加处理，实现像素级融合，得到64张64*64大小的初始融合特征图。
106.将融合后的初始融合特征图送入卷积核大小为3*3的第四初始卷积层(0卷积核个数为64)进行特征提取，将得到的第三初始特征图送进特征提取模块。本技术考虑速度以及性能，使用了3个依次相连的特征提取模块，通过3个特征提取模块进行特征提取后，最后一个特征提取模块的输出送进2层3*3的卷积层(即对应第一初始子卷积层和第二初始子卷积层，卷积核个数均可为64)进行平滑处理，在这个过程中3个特征提取模块的中间输出(即初始减残差层的输出，均是64个64*64大小的图)均送入初始合并(concat)层进行通道间的融合，如此，可得到193(64*3)个64*64大小的合并结果图，再使用一层卷积核大小为1*1的卷
积层(即第三初始卷积层，卷积核大小为64)进行降维，得到64个64*64大小的特征图，即得到第二初始卷积图，将其与第二初始子卷积层的输出进行残差学习，因为在较深度网络学习后，会丢失一些高频特征，所以进行加残差处理以补充的丢失的表征属性等信息；再使用1层第一初始卷积层(3维的3*3大小的卷积核，即3个或3通道的卷积核)进行平滑处理，生成初始去噪图像，即rgb图像(三个通道的图像)。
107.对于特征提取模块，任一特征提取模块由一层下采样层(downsample，可以是步长为2的64维的1*1大小的卷积层)、上采样层(upsample，可以是亚像素卷积层，计算量小)以及一层卷积层(第二初始卷积层)组成，输入的特征首先经过下采样以及上采样，不仅可以增大感受野，使特征包含的更加全面，而且可以将主频信息提取出来；将上采样层输出的特征与输入到该特征提取模块的特征进行减残差，使用减残差的目的是将不是很明显的特征进行去除，然后将减残差后得到的特征一方面送入初始合并层，另一方面送入输入到第二初始卷积层进行纹理特征提取以及平滑处理，在这个过程中主频信息可能会有所丢失，因此，需将第二初始卷积层的输出与输入到该特征提取模块的特征再进行加残差，进行特征补偿，得到初始去噪图像。
108.初始去噪图像网络、图像混合层以及第一鉴别器构成第一子对抗生成网络，通过图像混合层对标签去噪图像与初始去噪图像网络输出与该标签去噪图像对应的初始去噪图像使用规则进行混合，规则为标签去噪图像每隔预设间隔数量个像素点替换为对应的初始去噪图像中相应位置的像素点的值，这样，利用混合处理后的图像输入对抗网络中的鉴别层进行训练，可弥补局部模糊去除不干净的问题，提高训练得到的网络的鲁棒性。通过基于训练样本图像对第一子生成对抗网络进行训练，得到中间生成对抗网络后，可基于训练样本图像对中间图像去噪网络、图像混合层以及第二鉴别器构成的第二子生成对抗网络进行训练，得到目标图像去噪网络以及第二目标鉴别器，目标鉴别网络包括图像混合层以及分别与图像混合层连接的第一目标鉴别器和第二目标鉴别器，训练得到的目标生成对抗网络包括依次连接的目标图像去噪网络以及目标鉴别网络。
109.后续可将目标生成对抗网络中的目标图像去噪网络应用到图像去噪场景中，使用目标图像去噪网络对待处理图像进行去噪处理，得到目标去噪图像，实现图像去噪，即使输入的待处理图像是模糊图像，通过上述结构的目标图像去噪网络进行去噪，可实现较好的去噪效果，得到相对高清的目标去噪图像。
110.参见图10，图10是本技术实施例提供的图像处理装置的结构图，能实现上述实施例中图像处理方法的细节，并达到相同的效果。如图10所示，图像处理装置1000，包括：
111.第一获取模块1001，用于获取待处理图像；
112.目标去噪图像获取模块1002，用于利用目标图像去噪网络对待处理图像进行去噪处理，得到目标去噪图像；
113.其中，目标图像去噪网络包括依次连接的目标特征融合网络、目标级联特征提取网络以及第一卷积层；
114.目标特征融合网络，用于对待处理图像进行特征提取，以及对提取得到的第一特征图和第二特征图进行特征融合，得到目标融合特征图；
115.目标级联特征提取网络，用于对目标融合特征图进行特征提取，得到目标特征图；
116.第一卷积层，用于对目标特征图进行卷积处理，得到目标去噪图像。
117.本技术实施例提供的图像处理装置为实现上述图像处理方法各过程的装置，技术特征一一对应，在此不再赘述。
118.参见图11，图11是本技术实施例提供的图像处理网络训练装置的结构图，能实现上述实施例中图像处理网络训练方法的细节，并达到相同的效果。如图11所示，图像处理网络训练装置1100，包括：
119.第二获取模块1101，用于获取训练样本图像集；
120.训练模块1102，用于基于训练样本图像集对初始生成对抗网络进行训练，得到目标生成对抗网络，其中，目标生成对抗网络包括依次连接的目标图像去噪网络以及目标鉴别网络；目标图像去噪网络，用于对待处理图像进行去噪处理；
121.其中，初始生成对抗网络包括相连的初始图像去噪网络以及初始鉴别网络，初始图像去噪网络包括依次连接的初始特征融合网络、初始级联特征提取网络以及第一初始卷积层，初始特征融合网络的输入包括训练样本图像集，初始鉴别网络的输入包括第一初始卷积层的输出。
122.本技术实施例提供的图像处理网络训练装置为实现上述图像处理网络训练方法各过程的装置，技术特征一一对应，在此不再赘述。
123.优选的，如图12所示，本技术实施例还提供一种电子设备，包括处理器1201，存储器1202，存储在存储器1202上并可在处理器1201上运行的计算机程序，该计算机程序被处理器1201执行时实现上述图像处理方法实施例的各个过程或实现上述图像处理网络训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
124.本技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述图像处理方法实施例的各个过程或实现上述图像处理网络训练方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
125.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
126.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本技术各个实施例所述的方法。
127.上面结合附图对本技术的实施例进行了描述，但是本技术并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本技术的启示下，在不脱离本技术宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本技术的保护之内。