图像处理方法、电子设备及存储介质与流程

1.本技术涉及神经网络领域，具体涉及图像处理方法、电子设备及存储介质。


背景技术：

2.目前，利用卷积神经网络对待处理图像进行修复例如图像超分辨率是被广泛应用的图像修复手段。利用卷积神经网络对待处理图像进行修复，仅利用表示单一类型的信息的特征，即待处理图像的适合通过卷积捕获的像素信息的特征，得到修复后的图像。修复后的图像的修复效果有待提升。


技术实现要素：

3.本技术实施例提供一种图像处理方法、装置、电子设备及存储介质。
4.本技术实施例提供一种图像处理方法，包括：
5.获取待处理图像；
6.利用图像修复网络对所述待处理图像进行修复，得到修复后的图像，所述图像修复网络包括：
7.编码器，被配置为对所述待处理图像进行卷积处理，得到所述待处理图像的编码特征；
8.至少一个长距离信息捕获模块，所述长距离信息捕获模块被配置为：将所述长距离信息捕获模块的输入数据划分为所述长距离信息捕获模块的第一特征图序列和所述长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为所述编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕获模块的输入数据为所述其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在所述第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征；在所述第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第二特征；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；
9.解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到所述待处理图像的解码特征，以及基于所述解码特征，得到修复后的图像。
10.本技术实施例提供一种图像处理装置，包括：
11.获取单元，被配置为获取待处理图像；
12.处理单元，被配置为利用图像修复网络对所述待处理图像进行修复，得到修复后的图像，所述图像修复网络包括：编码器，被配置为对所述待处理图像进行卷积处理，得到所述待处理图像的编码特征；至少一个长距离信息捕获模块，所述长距离信息捕获模块被配置为：将所述长距离信息捕获模块的输入数据划分为所述长距离信息捕获模块的第一特征图序列和所述长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为所述编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕
获模块的输入数据为所述其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在所述第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征；在所述第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第二特征；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到所述待处理图像的解码特征，以及基于所述解码特征，得到修复后的图像。
13.本技术实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现上述图像处理方法。
14.本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法。
15.本技术实施例提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现实现上述图像处理方法。
16.本技术实施例提供的图像处理方法，将卷积处理与适合提取长距离信息的自注意力操作结合，通过长距离信息捕获模块得到的相应的第一特征、相应的第二特征均可以表达相应的通过卷积捕获的像素信息和相应的长距离信息。相比于利用表示单一类型的信息的特征即待处理图像的适合通过卷积捕获的像素信息的特征得到修复后的图像，参与得到修复后的图像的特征表示的信息的类型更加丰富，从而，提升修复后的图像的修复效果。
附图说明
17.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
18.图1示出了本技术实施例提供的图像处理方法的流程图；
19.图2示出了利用图像修复网络对待处理图像进行修复的流程示意图；
20.图3示出了特征图中的窗口的效果示意图；
21.图4示出了残差模块的结构示意图；
22.图5示出了本技术实施例提供的图像处理装置的结构框图。
具体实施方式
23.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
24.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
25.图1示出了本技术实施例提供的图像处理方法的流程图，该方法包括：
26.步骤101，获取待处理图像。
27.在本技术中，待处理图像为需要进行修复的图像。
28.在一些实施例中，对待处理图像的修复可以为以下之一：图像超分辨率、图像去噪、图像去雨。
29.步骤102，利用图像修复网络对待处理图像进行修复，得到修复后的图像。
30.在本技术中，图像修复网络包括：编码器、至少一个长距离信息捕获模块、解码器。
31.在本技术中，可以将输入到长距离信息捕获模块中的数据称之为长距离信息捕获模块的输入数据。可以将在长距离信息捕获模块对长距离信息捕获模块的输入数据进行处理之后，长距离信息捕获模块输出的数据称之为长距离信息捕获模块的输出结果。
32.在本技术中，编码器被配置为对待处理图像进行卷积处理，得到待处理图像的编码特征。
33.编码器可以为用于特征提取的残差模块，用于特征提取的残差模块的结构可以为与已有的具有残差模块的神经网络例如resnet网络中的残差模块的结构。编码器也可以为已有的卷积神经网络中的完成整个特征提取过程的结构或该结构的一部分。
34.在本技术中，当编码器对待处理图像进行卷积处理，得到待处理图像的编码特征时，将待处理图像输入到编码器中，编码器输出待处理图像的编码特征。
35.在本技术中，若多个修复类型的修复均通过图像修复网络实现，换言之，图像修复网络可以对待处理图像进行多个修复类型中的一个修复类型的修复，则编码器可以包括多个修复类型中的每一个修复类型对应的通过卷积来提取特征的单元，修复类型对应的通过卷积来提取特征的单元可以为残差模块，修复类型对应的通过卷积来提取特征的单元也可以为已有的卷积神经网络中的完成整个特征提取过程的结构或该结构的一部分。对于多个修复类型中的每一个修复类型，该修复类型对应的通过卷积来提取特征的单元用于提取适合进行该修复类型的修复的特征。
36.当对待处理图像执行多个修复类型中的一个修复类型的修复时，在将该待处理图像输入到图像修复网络中之后，由编码器中的对应于该一个修复类型的通过卷积来提取特征的单元接收待处理图像，对应于该一个修复类型的通过卷积来提取特征的单元对对待处理图像进行卷积处理，对应于该一个修复类型的通过卷积来提取特征的单元输出待处理图像的编码特征。
37.在本技术中，当图像修复网络包括多个长距离信息捕获模块时，将除了第一个特征长距离信息捕获模块之外的特征长距离信息捕获模块称之为其他特征长距离信息捕获模块。
38.在本技术中，对于每一个长距离信息捕获模块，该长距离信息捕获模块的输入数据为一系列特征图。
39.对于每一个长距离信息捕获模块，该长距离信息捕获模块被配置为：将该长距离信息捕获模块的输入数据划分为该长距离信息捕获模块的第一特征图序列和该长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为待处理图像的编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕获模块的输入数据为该其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在该长距离信息捕获模块的第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到该长距离信息捕获模块对应的第一特征；在该长距离信息捕获模块的第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到该长距离信息捕获模块对应的第二特征；基于该长距离信息捕获模块对应的第一特征和该长距离信息捕获模块对应的第二特征，生成该长距离信息捕获模块的输出结果。
40.对于一个长距离信息捕获模块，在该长距离信息捕获模块第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征包括：对于该长距离信息捕获模块的第一特征图序列中的每一个第一特征图，在该第一特征图中的每一个第一窗口内进行自注意力操作。
41.对于一个长距离信息捕获模块，在该长距离信息捕获模块的第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到该长距离信息捕获模块对应的第二特征包括：对于该长距离信息捕获模块的第二特征图序列中的每一个第二特征图，在该第二特征图中的每一个第二窗口内进行自注意力操作。
42.在本技术中，第一个长距离信息捕获模块的输入数据为为待处理图像的编码特征。将除了第一个长距离信息捕获模块之外的长距离信息捕获模块统一称之为其他长距离信息捕获模块。当图像修复网络包括多个长距离信息捕获模块时，对于每一个其他长距离信息捕获模块，该其他长距离信息捕获模块的输入数据为该其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果。
43.例如，图像修复网络包括多个长距离信息捕获模块包括3个长距离信息捕获模块，第2个长距离信息捕获模块、第3个长距离信息捕获模块均为其他长距离信息捕获模块。第1个长距离信息捕获模块的输入数据为待处理图像的编码特征，第1个长距离信息捕获模块对第1个长距离信息捕获模块的输入数据进行处理得到的第1个长距离信息捕获模块的输出结果作为第2个长距离信息捕获模块的输入数据，第2个长距离信息捕获模块对第2个长距离信息捕获模块的输入数据进行处理得到的第2个长距离信息捕获模块的输出结果作为第3个长距离信息捕获模块的输入数据。
44.在本技术中，对于每一个长距离信息捕获模块，该长距离信息捕获模块的第一特征图序列中的第一特征图在该长距离信息捕获模块的输入数据中的位置连续，该长距离信息捕获模块的第二特征图序列中的第二特征图在该长距离信息捕获模块的输入数据中的位置连续。
45.在一种实现中，对于每一个长距离信息捕获模块，该长距离信息捕获模块的第一特征图序列包括的第一特征图数量和该长距离信息捕获模块的第二特征图序列包括的第二特征图的数量相同，该长距离信息捕获模块的输入数据包括n个特征图，该长距离信息捕获模块的输入数据中的前n/2个特征图组成该长距离信息捕获模块的第一特征图序列，该长距离信息捕获模块的输入数据中的前n/2个特征图中的每一个特征图均作为第一特征图，该长距离信息捕获模块的输入数据中的后n/2个特征图组成该长距离信息捕获模块的第二特征图序列，该长距离信息捕获模块的输入数据中的后n/2个特征图中的每一个特征图均作为第二特征图。
46.在本技术中，每一个第一窗口可以均为矩形窗口，每一个第二窗口可以均为矩形窗口。
47.在本技术中，将出现在长距离信息捕获模块的第一特征图中的窗口统一称之为第一窗口。
48.在本技术中，每一个第一窗口的宽度可以相同，每一个第一窗口的高度可以相同，每一个第一窗口的尺寸可以相同。
49.对于任意一个长距离信息捕获模块的每一个第一特征图，出现在该第一特征图中
的所有第一窗口可以通过对包围该第一特征图的框进行划分得到，包围该第一特征图的框的尺寸与该第一特征图的尺寸相同，包围该第一特征图的框的水平方向的边即为该第一特征图的水平方向的边，包围该第一特征图的框的垂直方向的边即为该第一特征图的垂直方向的边。
50.在本技术中，对于一个长距离信息捕获模块，该长距离信息捕获模块的第一特征图序列包括：该长距离信息捕获模块的每一个第一特征图，对于该长距离信息捕获模块的每一个第一特征图，多个第一窗口出现在该第一特征图中，该第一特征图中的每一个第一窗口分别包围该第一特征图的一部分。
51.在本技术中，对于一个长距离信息捕获模块，该长距离信息捕获模块被配置为：对于该长距离信息捕获模块的每一个第一特征图，在该第一特征图中的每一个第一窗口内进行自注意力操作，以得到该长距离信息捕获模块对应的第一特征。
52.在本技术中，对于一个长距离信息捕获模块的每一个第一特征图，当在该第一特征图中的每一个第一窗口内进行自注意力操作时，对于该第一特征图中的每一个第一窗口，对被该第一窗口包围的部分进行自注意力操作，得到该第一窗口对应的自注意力操作结果，对被该第一窗口包围的部分进行自注意力操作，得到该第一窗口对应的自注意力操作结果可以为：将被该第一窗口包围的部分输入到用于在第一窗口内进行自注意力操作的多头自注意力(multi-head self-attention，简称msa)模块中，用于在第一窗口内进行自注意力操作的多头自注意力模块输出该第一窗口对应的自注意力操作结果，每一个该第一窗口对应的自注意力操作结果组成该第一特征图对应的自注意力操作结果。
53.在本技术中，对于每一个长距离信息捕获模块，在得到该长距离信息捕获模块的每一个第一特征图对应的自注意力操作结果之后，该长距离信息捕获模块的第一特征图序列中的每一个第一特征图对应的自注意力操作结果组成该长距离信息捕获模块对应的第一特征。
54.在本技术中，将出现在长距离信息捕获模块的第二特征图中的窗口统一称之为第二窗口。
55.在本技术中，每一个第二窗口的宽度可以相同，每一个第二窗口的高度可以相同，每一个第二窗口的尺寸可以相同。
56.对于任意一个长距离信息捕获模块的每一个第二特征图，出现在该第二特征图中的所有第二窗口可以通过对包围该第二特征图的框进行划分得到，包围该第二特征图的框的尺寸与该第二特征图的尺寸相同，包围该第二特征图的框的水平方向的边即为该第二特征图的水平方向的边，包围该第二特征图的框的垂直方向的边即为该第二特征图的垂直方向的边。
57.在本技术中，对于每一个长距离信息捕获模块，该长距离信息捕获模块的第二特征图序列包括：该长距离信息捕获模块的每一个第二特征图，对于该长距离信息捕获模块的每一个第二特征图，多个第二窗口出现在该第二特征图中，该第二特征图中的每一个第二窗口分别包围该第二特征图的一部分。
58.在本技术中，对于一个长距离信息捕获模块，该长距离信息捕获模块被配置为：对于该长距离信息捕获模块的每一个第二特征图，在该第二特征图中的每一个第二窗口内进行自注意力操作，以得到该长距离信息捕获模块对应的第二特征。
59.在本技术中，对于一个长距离信息捕获模块的每一个第二特征图，当在该第二特征图中的每一个第二窗口内进行自注意力操作时，对于该第二特征图中的每一个第二窗口，对被该第二窗口包围的部分进行自注意力操作，得到该第二窗口对应的自注意力操作结果，对被该第二窗口包围的部分进行自注意力操作，得到该第二窗口对应的自注意力操作结果可以为：将被该第二窗口包围的部分输入到用于在第二窗口内进行自注意力操作的多头自注意力模块中，用于在第二窗口内进行自注意力操作的多头自注意力模块输出该第二窗口对应的自注意力操作结果，每一个该第二窗口对应的自注意力操作结果组成该第二特征图对应的自注意力操作结果。
60.在本技术中，对于一个长距离信息捕获模块，在得到该长距离信息捕获模块的每一个第二特征图对应的自注意力操作结果之后，该长距离信息捕获模块的每一个第二特征图对应的自注意力操作结果组成该长距离信息捕获模块对应的第二特征。
61.在本技术中，对于一个长距离信息捕获模块，基于该长距离信息捕获模块对应的第一特征和该长距离信息捕获模块对应的第二特征，生成该长距离信息捕获模块的输出结果。当基于该长距离信息捕获模块对应的第一特征和该长距离信息捕获模块对应的第二特征，生成该长距离信息捕获模块的输出结果时，可以将该长距离信息捕获模块对应的第一特征和该长距离信息捕获模块对应的第二特征进行拼接(concatenate)，得到该长距离信息捕获模块的输出结果。
62.在本技术中，解码器被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到待处理图像的解码特征，以及基于待处理图像的解码特征，得到修复后的图像。
63.例如，图像修复网络包括多个长距离信息捕获模块包括3个长距离信息捕获模块，第3个长距离信息捕获模块为最后一个长距离信息捕获模块。第1个长距离信息捕获模块的输入数据为待处理图像的编码特征，第1个长距离信息捕获模块对第1个长距离信息捕获模块的输入数据进行处理得到的第1个长距离信息捕获模块的输出结果作为第2个长距离信息捕获模块的输入数据，第2个长距离信息捕获模块对第2个长距离信息捕获模块的输入数据进行处理得到的第2个长距离信息捕获模块的输出结果作为第3个长距离信息捕获模块的输入数据。第3个长距离信息捕获模块对第3个长距离信息捕获模块的输入数据进行处理，得到第3个长距离信息捕获模块的输出结果。解码器对第3个长距离信息捕获模块的输出结果进行解码，得到待处理图像的解码特征。
64.解码器可以包括用于得到修复后的图像的残差模块。用于得到修复后的图像的残差模块的结构可以为已有的具有残差模块的神经网络例如resnet网络中的残差模块的结构。
65.在本技术中，当解码器对最后一个长距离信息捕获模块的输出结果进行解码，得到解码特征时，将最后一个长距离信息捕获模块的输出结果输入到解码器中，解码器输出待处理图像的解码特征。当基于待处理图像的解码特征，得到修复后的图像时，可以基于待处理图像的解码特征，对待处理图像进行双线性插值(bilinear interpolation)，得到修复后的图像。
66.在本技术中，若多个修复类型的修复均通过图像修复网络实现，换言之，图像修复网络可以对待处理图像执行多个修复类型中的一个修复类型的修复，则解码器可以包括多个修复类型中的每一个修复类型对应的用于得到修复后的图像的残差模块，对于多个修复
类型中的每一个修复类型，该修复类型对应的用于得到修复后的图像的残差模块输出适合该修复类型的修复的解码特征。
67.当对待处理图像执行多个修复类型中的一个修复类型的修复时，由解码器中的对应于该一个修复类型的用于得到修复后的图像的残差模块接收最后一个长距离信息捕获模块的输出结果，该一个修复类型的用于得到修复后的图像的残差模块输出待处理图像的解码特征。
68.请参考图2，其示出了利用图像修复网络对待处理图像进行修复的流程示意图。
69.在将待处理图像输入到图像修复网络中之后，由编码器对待处理图像进行卷积处理，得到待处理图像的编码特征。待处理图像的编码特征作为图像修复网络中的第1个长距离信息捕获模块的输入数据。最后一个长距离信息捕获模块的输出结果作为解码器的输入数据。解码器对最后一个长距离信息捕获模块的输出结果进行解码，得到待处理图像的解码特征，以及基于待处理图像的解码特征，得到修复后的图像。解码器输出修复后的图像。
70.在一些实施例中，对于第一个长距离信息捕获模块的每一个第一特征图，该第一特征图中的第一窗口的水平方向的边的长度大于该第一窗口的垂直方向的边的长度；对于第一个长距离信息捕获模块的每一个第二特征图，该第二特征图中的第二窗口的水平方向的边的长度小于该第二特征图中的第二窗口的垂直方向的边的长度。
71.第一个长距离信息捕获模块的第一特征图中的第一窗口的水平方向的边的长度大于该第一窗口的垂直方向的边的长度，使得该第一窗口适合与第一个长距离信息捕获模块进行结合，在水平方向捕获长距离信息，第一个长距离信息捕获模块的第二特征图中的第二窗口的水平方向的边的长度小于该第二窗口的垂直方向的边的长度，使得该第二窗口适合与第二长距离信息捕获模块进行结合，在垂直方向捕获长距离信息，从而，可以利用第一个长距离信息捕获模块在多个方向即水平方向和垂直方向捕获长距离信息，全面地捕获长距离信息。
72.在一些实施例中，第一个长距离信息捕获模块的第一特征图中的每一个第一窗口通过对包围该第一特征图的框进行划分得到，第一个长距离信息捕获模块的第二特征图中的每一个第二窗口通过对包围该第二特征图的框进行划分得到，第一个长距离信息捕获模块的第一特征图中的每一个第一窗口的尺寸相同，第一个长距离信息捕获模块的第二特征图中第一个第二窗口的尺寸相同；其他长距离信息捕获模块的第一特征图中的每一个第一窗口通过将该其他长距离信息捕获模块的上一个长距离信息捕获模块的第一特征图中的每一个第一窗口添加到该其他长距离信息捕获模块的第一特征图中并且对每一个添加到该其他长距离信息捕获模块的第一特征图中的第一窗口进行平移得到，该其他长距离信息捕获模块的第二特征图中的每一个第二窗口通过将该其他长距离信息捕获模块的上一个长距离信息捕获模块的第二特征图中的每一个第二窗口添加到该其他长距离信息捕获模块的第二特征图中并且对每一个添加到该其他长距离信息捕获模块的第二特征图中的第二窗口进行平移得到。
73.在本技术中，对于第一个长距离信息捕获模块的每一个第一特征图，对包围该第一特征图的框进行划分，得到该第一特征图中的每一个第一窗口，该第一特征图中的每一个第一窗口的尺寸相同，包围该第一特征图的框的尺寸与该第一特征图的尺寸相同，包围该第一特征图的框的水平方向的边即为该第一特征图的水平方向的边，包围该第一特征图
的框的垂直方向的边即为该第一特征图的垂直方向的边。
74.在本技术中，对于第一个长距离信息捕获模块的每一个第二特征图，对包围该第二特征图的框进行划分，得到该第二特征图中的每一个第二窗口，该第二特征图中的每一个第二窗口的尺寸相同，包围该第二特征图的框的尺寸与该第二特征图的尺寸相同，包围该第二特征图的框的水平方向的边即为该第二特征图的水平方向的边，包围该第二特征图的框的垂直方向的边即为该第二特征图的垂直方向的边。
75.在本技术中，对于每一个其他长距离信息捕获模块，为了得到该其他长距离信息捕获模块的每一个第一特征图中的第一窗口，可以对于该其他长距离信息捕获模块的每一个第一特征图，将该其他长距离信息捕获模块的上一个长距离信息捕获模块的一个第一特征图中的每一个第一窗口添加到该第一特征图中，该一个第一特征图可以为该其他长距离信息捕获模块的上一个长距离信息捕获模块的任意一个第一特征图。
76.对于任意一个其他长距离信息捕获模块的每一个第一特征图，在将该其他长距离信息捕获模块的上一个长距离信息捕获模块的第一特征图中的每一个第一窗口添加到该第一特征图中之后，分别对添加到该第一特征图中的每一个第一窗口进行平移，对添加到该第一特征图中的第一窗口进行的平移可以为：首先将添加到该第一特征图中的第一窗口进行水平方向的移动，该水平方向的移动可以为向左移动或向右移动，然后，将添加到该第一特征图中的第一窗口进行垂直方向的移动，该垂直方向的移动可以为向下移动或向上移动，对添加到该第一特征图中的第一窗口进行的平移也可以为：首先将添加到该第一特征图中的第一窗口进行垂直方向的移动，然后，将添加到该第一特征图中的第一窗口进行水平方向的移动。对添加到该第一特征图中的第一窗口进行平移，可以形成新的第一窗口。
77.对于任意一个其他长距离信息捕获模块的每一个第一特征图，分别对添加到该第一特征图中的每一个第一窗口进行平移，通过平移形成的所有位于该第一特征图中的第一窗口和添加到该第一特征图中的每一个第一窗口组成该第一特征图中的所有第一窗口。
78.在本技术中，对于任意一个添加到第一特征图中的第一窗口，对该添加到第一特征图中的第一窗口的水平方向的移动的移动量与第一窗口的宽度相关，对该添加到第一特征图中的第一窗口的垂直方向的移动的移动量与第一窗口的高度相关。
79.在一种实现中，对于任意一个添加到第一特征图中的第一窗口，对该添加到第一特征图中的第一窗口的水平方向的移动的移动量为该添加到第一特征图中的第一窗口的宽度的1/2，对该添加到第一特征图中的第一窗口的垂直方向的移动的移动量为该添加到第一特征图中的第一窗口的高度的1/2。
80.在本技术中，对于每一个其他长距离信息捕获模块，为了得到该其他长距离信息捕获模块的每一个第二特征图中的第二窗口，可以对于该其他长距离信息捕获模块的每一个第二特征图，将该其他长距离信息捕获模块的上一个长距离信息捕获模块的一个第二特征图中的每一个第二窗口添加到该第二特征图中，该一个第二特征图可以为该其他长距离信息捕获模块的上一个长距离信息捕获模块的任意一个第二特征图。
81.对于任意一个其他长距离信息捕获模块的每一个第二特征图，在将该其他长距离信息捕获模块的上一个长距离信息捕获模块的第二特征图中的每一个第二窗口添加到该第二特征图中之后，分别对添加到该第二特征图中的每一个第二窗口进行平移，对添加到该第二特征图中的第二窗口进行的平移可以为：首先将添加到该第二特征图中的第二窗口
进行水平方向的移动，该水平方向的移动可以为向左移动或向右移动，然后，将添加到该第二特征图中的第一窗口进行垂直方向的移动，该垂直方向的移动可以为向下移动或向上移动，对添加到该第二特征图中的第二窗口进行的平移也可以为：首先将添加到该第二特征图中的第二窗口进行垂直方向的移动，然后，将添加到该第二特征图中的第二窗口进行水平方向的移动。对添加到该第二特征图中的第二窗口进行平移，可以形成新的第二窗口。
82.对于任意一个其他长距离信息捕获模块的每一个第二特征图，分别对添加到该第二特征图中的每一个第二窗口进行平移，通过平移形成的所有位于该第二特征图中的第二窗口和添加到该第二特征图中的每一个第二窗口组成该第二特征图中的所有第二窗口。
83.在本技术中，对于任意一个添加到第二特征图中的第二窗口，对该添加到第二特征图中的第二窗口的水平方向的移动的移动量与第二窗口的宽度相关，对该添加到第二特征图中的第二窗口的垂直方向的移动的移动量与第二窗口的高度相关。
84.在一种实现中，对于任意一个添加到第二特征图中的第二窗口，对该添加到第二特征图中的第二窗口的水平方向的移动的移动量为该添加到第二特征图中的第二窗口的宽度的1/2，对该添加到第二特征图中的第二窗口的垂直方向的移动的移动量为该添加到第二特征图中的第二窗口的高度的1/2。
85.请参考图3，其示出了特征图中的窗口的效果示意图。
86.在图3中，示例性地示出了第一个长距离信息捕获模块的一个第一特征图301、第二个长距离信息捕获模块的一个第一特征图302、第一个长距离信息捕获模块的一个第二特征图303、第二个长距离信息捕获模块的一个第二特征图304。在图3中，示例性地示出了第一窗口3011、第一窗口3012等第一特征图301中的第一窗口。示例性地示出了第二窗口3021、第二窗口3022、第二窗口3023等第二特征图302中的第二窗口。示例性地示出了第一窗口3031、第一窗口3032等第一特征图303中的第一窗口。示例性地示出了第二窗口3041、第二窗口3042、第二窗口3043等第二特征图304中的第二窗口。可以将第一特征图301中的每一个第一窗口添加到第一特征图302中，分别对添加到该第一特征图302中的每一个第一窗口进行平移，对添加到第一特征图中的每一个第一窗口进行平移，均可以形成新的第一窗口，通过平移形成的所有位于第一特征图302中的第一窗口和添加到第一特征图302中的每一个第一窗口组成第一特征图302中的所有第一窗口。可以将第二特征图303中的每一个第二窗口添加到第二特征图304中，分别对添加到该第二特征图304中的每一个第二窗口进行平移，对添加到第二特征图中的每一个第二窗口进行平移，均可以形成新的第二窗口。通过平移形成的所有位于第二特征图中的第二窗口和添加到第二特征图304中的每一个第二窗口组成第二特征图304中的所有第二窗口。
87.在一些实施例中，对于任意一个长距离信息捕获模块，基于该长距离信息捕获模块对应的第一特征和该长距离信息捕获模块对应的第二特征，生成该长距离信息捕获模块的输出结果包括：将该长距离信息捕获模块对应的第一特征和该长距离信息捕获模块对应的第二特征拼接为该长距离信息捕获模块对应的拼接特征；对该长距离信息捕获模块对应的拼接特征进行卷积处理，得到该长距离信息捕获模块对应的卷积后的拼接特征；基于该长距离信息捕获模块对应的卷积后的拼接特征，生成该长距离信息捕获模块的输出结果。
88.对该长距离信息捕获模块对应的拼接特征进行卷积处理，得到该长距离信息捕获模块对应的卷积后的拼接特征可以表示为：
89.(s)cl-msa(x)＝proj[x1’
，x2’
]
[0090]
(s)cl-msa(x)表示该长距离信息捕获模块对应的卷积后的拼接特征，proj[x1’
，x2’
]表示对该长距离信息捕获模块对应的拼接特征进行卷积处理。
[0091]
对于任意一个长距离信息捕获模块时，当对该长距离信息捕获模块对应的拼接特征进行卷积处理时，可以将该长距离信息捕获模块对应的拼接特征输入到用于对拼接特征进行卷积处理的卷积层中，用于对拼接特征进行卷积处理的卷积层输出该长距离信息捕获模块对应的卷积后的拼接特征。
[0092]
当基于该长距离信息捕获模块对应的卷积后的拼接特征，生成该长距离信息捕获模块的输出结果，可以将该长距离信息捕获模块对应的卷积后的拼接特征作为该长距离信息捕获模块的输出结果。
[0093]
在一些实施例中，对于任意一个长距离信息捕获模块，基于该长距离信息捕获模块对应的卷积后的拼接特征，生成该长距离信息捕获模块的输出结果包括：对该长距离信息捕获模块对应的卷积后的拼接特征进行线性和激活处理，得到该长距离信息捕获模块对应的线性和激活处理后的特征；对该线性和激活处理后的特征进行抗块效应处理，得到该长距离信息捕获模块对应的抗块效应处理后的特征，其中，对该线性和激活处理后的特征进行抗块效应处理包括：利用尺度大于尺寸阈值的卷积核分别对该线性和激活处理后的特征的每一个特征图进行卷积；基于该长距离信息捕获模块对应的抗块效应处理后的特征，生成该长距离信息捕获模块的输出结果。
[0094]
对该长距离信息捕获模块对应的卷积后的拼接特征进行线性和激活处理，得到该长距离信息捕获模块对应的线性和激活处理后的特征可以为：将该长距离信息捕获模块对应的卷积后的拼接特征输入到全连接层中，由全连接层对该长距离信息捕获模块对应的卷积后的拼接特征进行线性处理，得到全连接层输出的输出结果，将全连接层输出的输出结果输入到激活函数层中，由激活函数层对进行全连接层输出的输出结果进行激活处理，激活函数层输出该长距离信息捕获模块对应的线性和激活处理后的特征。
[0095]
对该长距离信息捕获模块对应的卷积后的拼接特征进行线性和激活处理，得到该长距离信息捕获模块对应的线性和激活处理后的特征表示为：
[0096]
x’＝act(linear(x))
[0097]
x表示该长距离信息捕获模块对应的卷积后的拼接特征，linear()表示利用全连接层进行线性处理，act()表示利用激活函数层进行激活处理，x’表示该长距离信息捕获模块对应的线性和激活处理后的特征。
[0098]
在本技术中，对于任意一个长距离信息捕获模块，在得到该长距离信息捕获模块对应的线性和激活处理后的特征之后，可以对该长距离信息捕获模块对应的线性和激活处理后的特征进行抗块效应处理，得到该长距离信息捕获模块对应的抗块效应处理后的特征。
[0099]
对该长距离信息捕获模块对应的线性和激活处理后的特征进行抗块效应处理包括：利用尺度大于尺寸阈值的卷积核分别对该长距离信息捕获模块对应的线性和激活处理后的特征的每一个特征图进行卷积。
[0100]
在本技术中，考虑到自注意力操作是以窗口为单位进行的，窗口之间可能会不连续，通过抗块效应处理来消除由于窗口之间可能会不连续对通过自注意力操作提取出的第
一特征、第二特征的准确性的不利影响。
[0101]
尺寸阈值可以为常规的卷积核尺寸3x3，在一种实现中，尺度大于尺寸阈值的卷积核可以为5x5卷积核。
[0102]
对于该长距离信息捕获模块对应的线性和激活处理后的特征中的每一个特征图，利用尺度大于尺寸阈值的卷积核对该特征图进行卷积，得到该特征图对应的卷积结果，每一个该特征图对应的卷积结果组成该长距离信息捕获模块对应的抗块效应处理后的特征。
[0103]
当基于该长距离信息捕获模块对应的抗块效应处理后的特征，生成该长距离信息捕获模块的输出结果时，可以将该抗块效应处理后的特征输入到激活函数层中，得到激活函数层输出的输出结果，将激活函数层输出的输出结果输入到全连接层中，全连接层输出的输出结果作为该长距离信息捕获模块的输出结果。
[0104]
对该长距离信息捕获模块对应的线性和激活处理后的特征进行抗块效应处理，得到该长距离信息捕获模块对应的抗块效应处理后的特征，基于该抗块效应处理后的特征，生成该长距离信息捕获模块的输出结果表示为：
[0105]
x”＝linear(act(anti-block(x’)))
[0106]
x”表示该长距离信息捕获模块的输出结果，x’表示该长距离信息捕获模块对应的线性和激活处理后的特征，anti-block()表示抗块效应处理，linear()表示利用全连接层进行线性处理，act()表示利用激活函数层进行激活处理。
[0107]
在一些实施例中，编码器包括：第一残差模块、第二残差模块，第一残差模块的输入数据基于待处理图像确定，第二残差模块的输入数据基于第一残差模块的输出结果确定，第二残差模块的输出结果为待处理图像的编码特征，解码器包括：第三残差模块、第四残差模块，所述第三残差模块的输入数据基于最后一个长距离信息捕获模块的输出结果确定，第四残差模块的输入数据基于第三残差模块的输出结果确定，第四残差模块的输出结果为待处理图像的解码特征。
[0108]
在本技术中，第一残差模块的结构与第二残差模块的结构相同。当编码器对待处理图像进行卷积处理，得到待处理图像的编码特征时，可以将待处理图像作为第一残差模块的输入数据，将待处理图像输入到第一残差模块中，第一残差模块输出第一残差模块的输出结果。可以将第一残差模块的输出结果作为第二残差模块的输入数据，将第一残差模块的输出结果输入到第二残差模块中，第二残差模块输出第二残差模块的输出结果，第二残差模块的输出结果即为待处理图像的编码特征。
[0109]
在本技术中，第三残差模块的结构与第四残差模块的结构相同。可以将最后一个长距离信息捕获模块的输出结果作为第三残差模块，将最后一个长距离信息捕获模块的输出结果输入到第三残差模块中，第三残差模块输出第三残差模块的输出结果。可以将第三残差模块的输出结果作为第四残差模块的输入数据，将第三残差模块的输出结果输入到第四残差模块中，第四残差模块输出第四残差模块的输出结果，第四残差模块的输出结果即为待处理图像的解码特征。
[0110]
在一些实施例中，待处理图像的分辨率高于分辨率阈值，第一残差模块的输入数据通过对待处理图像进行预设倍数的下采样得到，第二残差模块的输入数据通过对第一残差模块的输出结果进行预设倍数的下采样得到，第三残差模块的输入数据通过对最后一个长距离信息捕获模块的输出结果进行预设倍数的上采样得到，第四残差模块的输入数据通
过对第三残差模块的输出结果进行预设倍数的上采样得到。
[0111]
在本技术中，当待处理图像的分辨率高于分辨率阈值时即待处理图像为高分辨率图像时，可以对待处理图像进行预设倍数的下采样，得到第一残差模块的输入数据。可以对第一残差模块的输出结果进行预设倍数的下采样，得到第二残差模块的输入数据。可以对最后一个长距离信息捕获模块的输出结果进行预设倍数的上采样，得到第三残差模块的输入数据。可以对第三残差模块的输出结果进行预设倍数的上采样，得到第四残差模块的输入数据。
[0112]
在一种实现中，预设倍数的下采样为2倍的下采样，预设倍数的上采样为2倍的上采样。
[0113]
请参考图4，其示出了残差模块的结构示意图。
[0114]
在图4中，示例性地示出了编码器中的残差模块的结构、解码器中的残差模块的结构。编码器中的残差模块包括两个3x3卷积层、一个1x1卷积层。解码器中的残差模块包括两个3x3卷积层、一个1x1卷积层。
[0115]
请参考图5，其示出了本技术实施例提供的图像处理装置的结构框图。装置包括：获取单元501，处理单元502。
[0116]
获取单元501被配置为获取待处理图像；
[0117]
处理单元502被配置为利用图像修复网络对所述待处理图像进行修复，得到修复后的图像，所述图像修复网络包括：编码器，被配置为对所述待处理图像进行卷积处理，得到所述待处理图像的编码特征；至少一个长距离信息捕获模块，所述长距离信息捕获模块被配置为：将所述长距离信息捕获模块的输入数据划分为所述长距离信息捕获模块的第一特征图序列和所述长距离信息捕获模块的第二特征图序列，其中，第一个长距离信息捕获模块的输入数据为所述编码特征，除了第一个长距离信息捕获模块之外的其他长距离信息捕获模块的输入数据为所述其他长距离信息捕获模块的上一个长距离信息捕获模块的输出结果；在所述第一特征图序列中的第一特征图中的每一个第一窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第一特征；在所述第二特征图序列中的第二特征图中的每一个第二窗口内进行自注意力操作，以得到所述长距离信息捕获模块对应的第二特征；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果；解码器，被配置为对最后一个长距离信息捕获模块的输出结果进行解码，得到所述待处理图像的解码特征，以及基于所述解码特征，得到修复后的图像。
[0118]
在一些实施例中，基于所述第一特征和所述第二特征，生成所述长距离信息捕获模块的输出结果包括：将所述第一特征和所述第二特征拼接为所述长距离信息捕获模块对应的拼接特征；对所述拼接特征进行卷积处理，得到所述长距离信息捕获模块对应的卷积后的拼接特征；基于所述卷积后的拼接特征，生成所述长距离信息捕获模块的输出结果。
[0119]
在一些实施例中，基于所述卷积后的拼接特征，生成所述长距离信息捕获模块的输出结果包括：对所述卷积后的拼接特征进行线性和激活处理，得到所述长距离信息捕获模块对应的线性和激活处理后的特征；对所述线性和激活处理后的特征进行抗块效应处理，得到所述所述长距离信息捕获模块对应的抗块效应处理后的特征，其中，所述抗块效应处理包括：利用尺度大于尺寸阈值的卷积核分别对所述线性和激活处理后的特征的每一个
特征图进行卷积；基于所述抗块效应处理后的特征，生成所述长距离信息捕获模块的输出结果。
[0120]
在一些实施例中，第一个长距离信息捕获模块的第一特征图中的每一个第一窗口通过对包围所述第一特征图的框进行划分得到，第一个长距离信息捕获模块的第二特征图中的每一个第二窗口通过对包围所述第二特征图的框进行划分得到，所述每一个第一窗口的尺寸相同，所述第一个第二窗口的尺寸相同；所述其他长距离信息捕获模块的第一特征图中的每一个第一窗口通过将所述其他长距离信息捕获模块的上一个长距离信息捕获模块的第一特征图中的每一个第一窗口添加到所述其他长距离信息捕获模块的第一特征图中并且对每一个添加到所述其他长距离信息捕获模块的第一特征图中的第一窗口进行平移得到，所述其他长距离信息捕获模块的第二特征图中的每一个第二窗口通过将所述其他长距离信息捕获模块的上一个长距离信息捕获模块的第二特征图中的每一个第二窗口添加到所述其他长距离信息捕获模块的第二特征图中并且对每一个添加到所述其他长距离信息捕获模块的第二特征图中的第二窗口进行平移得到。
[0121]
在一些实施例中，第一个长距离信息捕获模块的第一特征图中的第一窗口的水平方向的边的长度大于所述第一窗口的垂直方向的边的长度，所述第一个长距离信息捕获模块的第二特征图中的第二窗口的水平方向的边的长度小于所述第二窗口的垂直方向的边的长度。
[0122]
在一些实施例中，所述编码器包括：第一残差模块、第二残差模块，所述第一残差模块的输入数据基于所述待处理图像确定，所述第二残差模块的输入数据基于第一残差模块的输出结果确定，所述第二残差模块的输出结果为所述待处理图像的编码特征，所述解码器包括：第三残差模块、第四残差模块，所述第三残差模块的输入数据基于所述最后一个长距离信息捕获模块的输出结果确定，所述第四残差模块的输入数据基于所述第三残差模块的输出结果确定，所述第四残差模块的输出结果为所述待处理图像的解码特征。
[0123]
在一些实施例中，所述待处理图像的分辨率高于分辨率阈值，所述第一残差模块的输入数据通过对所述待处理图像进行预设倍数的下采样得到，所述第二残差模块的输入数据通过对所述第一残差模块的输出结果进行预设倍数的下采样得到，所述第三残差模块的输入数据通过对所述最后一个长距离信息捕获模块的输出结果进行预设倍数的上采样得到，所述第四残差模块的输入数据通过对所述第三残差模块的输出结果进行预设倍数的上采样得到。
[0124]
在一些实施例中，所述修复为以下之一：图像超分辨率、图像去噪、图像去雨。
[0125]
本技术实施例提供一种电子设备，包括：存储器、处理器及存储在存储器上的计算机程序，该处理器执行该计算机程序以实现上述图像处理方法。
[0126]
本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述图像处理方法。
[0127]
本技术实施例提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现实现上述图像处理方法。
[0128]
需要说明的是，计算机可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访
问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本技术中，计算机可读存储介质可以是任何包括或存储程序的有形介质，该程序可以被消息执行系统、装置或者器件使用或者与其结合使用。而在本技术中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多方面形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由消息执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包括的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0129]
附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行消息。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机消息的组合来实现。
[0130]
以上描述仅为本请求的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术实施例，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术实施例。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术实施例。