一种图像复原方法和相关设备

本技术涉及图像处理，尤其涉及一种图像复原方法和相关设备。

背景技术：

1、图像在采集和传输过程中容易受到环境、设备和运动等因素影响，产生噪声、模糊、雾、雨、雪、低照度等退化。图像复原的目标是从退化图像中恢复清晰图像。

2、相关技术中，存在统一图像复原方法，该方法通过采用一个共享特征提取网络，将不同退化图像映射到同一特征空间，再利用提示信息、退化编码、专家模块或自适应调制模块生成复原图像。然而，目前的统一图像复原方法通常在同一个共享特征空间内同时学习图像结构、纹理细节和退化信息，主要存在以下问题：全局结构信息和局部细节信息容易相互混合；单一特征处理方式难以同时兼顾大范围结构恢复和细小纹理恢复；面对多种退化或复合退化时，复原图像容易出现结构不完整、纹理模糊或残留退化。

3、综上，相关技术中存在的技术问题有待得到改善。

技术实现思路

1、本技术实施例旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本技术实施例的主要目的在于提出一种图像复原方法和相关设备，能够提高退化图像的结构恢复能力和细节恢复能力，有效提升退化图像的复原精度。

2、为实现上述目的，本技术实施例的一方面提出了一种图像复原方法，所述方法包括以下步骤：

3、将待恢复退化图像输入图像块嵌入模块进行特征嵌入处理，得到浅层图像特征；

4、将所述浅层图像特征输入编码器进行特征编码处理，得到多尺度编码特征；其中，所述编码器由若干个编码模块组成，所述编码模块由双通路表征模块组成，所述双通路表征模块包括结构通路和细节通路，所述结构通路用于提取图像的结构信息，所述细节通路用于提取图像的细节信息；

5、将所述多尺度编码特征输入解码器进行特征解码处理，得到目标解码特征；

6、将所述目标解码特征输入细化模块进行特征细化处理，得到细化特征，并将所述细化特征映射至图像空间，得到预测图像；

7、将所述预测图像和所述待恢复退化图像输入全局残差融合模块进行全局残差融合处理，得到目标复原图像。

8、在一些实施例中，所述将所述浅层图像特征输入编码器进行特征编码处理，得到多尺度编码特征，包括：

9、将所述浅层图像特征输入所述编码器，并将所述编码器中的第一个所述编码模块确定为当前编码模块，将所述浅层图像特征确定为当前图像输入特征；

10、通过所述当前编码模块中的所述双通路表征模块，对所述当前图像输入特征中的图像结构信息和图像细节信息进行互补表征，得到当前中间表征结果；

11、若所述当前编码模块不是所述编码器中的最后一个编码模块，则将所述编码器中的下一个所述编码模块确定为所述当前编码模块，将所述当前中间表征结果确定为所述当前图像输入特征，并返回执行所述通过所述当前编码模块中的所述双通路表征模块，对所述当前图像输入特征中的图像结构信息和图像细节信息进行互补表征，得到当前中间表征结果的步骤，直至所述当前编码模块为所述编码器中的最后一个所述编码模块，将最后一个所述编码模块输出的所述当前中间表征结果确定为所述编码器的深层编码特征；

12、基于每个所述编码模块输出的所述当前中间表征结果，构建所述多尺度编码特征。

13、在一些实施例中，所述通过所述当前编码模块中的所述双通路表征模块，对所述当前图像输入特征中的图像结构信息和图像细节信息进行互补表征，得到当前中间表征结果，包括：

14、通过所述双通路表征模块中的第一归一化层，对所述当前图像输入特征进行归一化处理，得到第一归一化特征；

15、通过所述双通路表征模块中的所述结构通路，对所述第一归一化特征进行特征变换操作，得到结构通路特征；

16、通过所述双通路表征模块中的所述细节通路，对所述第一归一化特征进行特征变换操作，得到细节通路特征；

17、通过所述双通路表征模块中的双通路融合单元，对所述结构通路特征、所述细节通路特征以及所述当前图像输入特征进行逐元素残差相加，得到双通路融合特征；

18、通过所述双通路表征模块中的第二归一化层，对所述双通路融合特征进行归一化处理，得到第二归一化特征；

19、通过所述双通路表征模块中的频率感知细化模块，对所述第二归一化特征进行特征细化处理，得到频率感知细化特征；

20、将所述频率感知细化特征和所述双通路融合特征进行逐元素残差相加，得到所述当前中间表征结果。

21、在一些实施例中，所述通过所述双通路表征模块中的所述结构通路，对所述第一归一化特征进行特征变换操作，得到结构通路特征，包括：

22、通过所述结构通路中的输入卷积单元，对所述第一归一化特征进行特征投影处理，得到结构投影特征；

23、通过所述结构通路中的深度卷积单元，对所述结构投影特征进行局部空间信息提取，得到结构空间聚合特征；

24、对所述结构空间聚合特征进行互补特征划分处理，得到第一特征组和第二特征组；

25、通过所述结构通路中的双向特征交互单元，对所述第一特征组和所述第二特征组进行信息交换处理，得到第一交互特征和第二交互特征；

26、对所述第一交互特征和所述第二交互特征进行逐元素交互，得到双向交互融合特征；

27、通过所述结构通路中的输出卷积单元，对所述双向交互融合特征进行通道映射和特征聚合，得到所述结构通路特征。

28、在一些实施例中，所述通过所述双通路表征模块中的所述细节通路，对所述第一归一化特征进行特征变换操作，得到细节通路特征，包括：

29、通过所述细节通路中的输入投影单元，对所述第一归一化特征进行通道映射处理，得到细节投影特征；

30、通过所述细节通路中的高斯差分频率细化单元，对所述细节投影特征进行高斯差分频率分解处理，得到频率特征；

31、通过所述细节通路中的频带门控单元，根据所述细节投影特征生成自适应门控信息，并根据所述自适应门控信息对所述频率特征进行逐元素调制，得到频率细节特征；

32、通过所述细节通路中的全局上下文提取单元，对所述细节投影特征进行全局空间信息聚合，得到全局上下文特征；

33、通过所述细节通路中的特征拼接融合单元，将所述全局上下文特征和所述频率细节特征进行拼接，得到融合细节特征；

34、通过所述细节通路中的输出投影单元，对所述融合细节特征进行通道映射和特征聚合，得到所述细节通路特征。

35、在一些实施例中，所述通过所述双通路表征模块中的频率感知细化模块，对所述第二归一化特征进行特征细化处理，得到频率感知细化特征，包括：

36、通过所述频率感知细化模块中的输入投影单元，对所述第二归一化特征进行特征映射处理，得到交互投影特征；

37、对所述交互投影特征进行特征分流处理，得到第一特征分支和第二特征分支；

38、通过所述频率感知细化模块中的深度卷积单元，对所述第一特征分支进行局部特征提取，得到局部提取特征；

39、通过所述频率感知细化模块中的非线性激活单元，对所述局部提取特征进行非线性激活处理，生成自适应调制信息；

40、通过所述频率感知细化模块中的逐元素乘法单元，将所述自适应调制信息和所述第二特征分支的特征响应进行逐元素相乘，得到门控增强特征；

41、通过所述频率感知细化模块中的输出投影单元，对所述门控增强特征进行通道映射和特征聚合，得到映射聚合特征；

42、通过所述频率感知细化模块中的局部图像块频域处理单元，对所述映射聚合特征在局部频率域进行特征细化，得到所述频率感知细化特征。

43、为实现上述目的，本技术实施例的另一方面提出了一种图像复原装置，所述装置包括以下模块：

44、特征嵌入处理模块，用于将待恢复退化图像输入图像块嵌入模块进行特征嵌入处理，得到浅层图像特征；

45、特征编码处理模块，用于将所述浅层图像特征输入编码器进行特征编码处理，得到多尺度编码特征；其中，所述编码器由若干个编码模块组成，所述编码模块由双通路表征模块组成，所述双通路表征模块包括结构通路和细节通路，所述结构通路用于提取图像的结构信息，所述细节通路用于提取图像的细节信息；

46、特征解码处理模块，用于将所述多尺度编码特征输入解码器进行特征解码处理，得到目标解码特征；

47、特征细化处理模块，用于将所述目标解码特征输入细化模块进行特征细化处理，得到细化特征，并将所述细化特征映射至图像空间，得到预测图像；

48、全局残差融合模块，用于将所述预测图像和所述待恢复退化图像输入全局残差融合模块进行全局残差融合处理，得到目标复原图像。

49、为实现上述目的，本技术实施例的另一方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

50、为实现上述目的，本技术实施例的另一方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

51、为实现上述目的，本技术实施例的另一方面提出了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述的方法。

52、本技术实施例至少包括以下有益效果：本技术提供一种图像复原方法和相关设备,该方案通过将待恢复退化图像输入图像块嵌入模块进行特征嵌入处理，得到浅层图像特征；将浅层图像特征输入编码器进行特征编码处理，得到多尺度编码特征；其中，编码器由若干个编码模块组成，编码模块由双通路表征模块组成，双通路表征模块包括结构通路和细节通路，结构通路用于提取图像的结构信息，细节通路用于提取图像的细节信息；将多尺度编码特征输入解码器进行特征解码处理，得到目标解码特征；将目标解码特征输入细化模块进行特征细化处理，得到细化特征，并将细化特征映射至图像空间，得到预测图像；将预测图像和待恢复退化图像输入全局残差融合模块进行全局残差融合处理，得到目标复原图像。本技术实施例通过图像块嵌入提取完整的浅层图像特征，为后续特征编码与图像复原提供了可靠的基础特征支撑；通过包含双通路表征模块的编码器对浅层特征进行多尺度编码，利用结构通路与细节通路分别独立提取全局结构信息和局部细节信息，可以减少不同类型图像信息在同一处理通路中的相互干扰；通过解码器完成多尺度特征的解码重构，能够保障多尺度特征信息的完整还原；通过细化模块进一步优化特征表征能力，能够提升图像预测质量；通过全局残差融合充分结合原始退化图像信息与预测图像信息，弥补了特征修复过程中的信息损失。因此，本技术实施例能够兼顾物体整体结构恢复和纹理细节恢复，从而提高退化图像的结构恢复能力和细节恢复能力，有效提升退化图像的复原精度。