一种图像处理方法、装置、电子设备及存储介质与流程

1.本公开涉及计算机视觉技术领域，具体而言，涉及一种图像处理方法、装置、电子设备及存储介质。


背景技术：

2.由于手机、平板等移动设备的数量激增，移动摄影的应用变得越来越广泛。然而，移动设备的低成本传感器捕获的原始图像通常会显示大量噪声，增加的噪声会显著降低图像质量，在弱光环境中尤为明显。
3.因此，提出一种去除图像噪声的方法已成为移动摄影的一项基本任务。


技术实现要素：

4.有鉴于此，本公开至少提供一种图像处理方法、装置、电子设备及存储介质。
5.第一方面，本公开提供了一种图像处理方法，包括：
6.获取待去噪图像、和所述待去噪图像对应的至少一个参考图像；
7.分别对所述待去噪图像和所述参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像；其中，所述处理后的待去噪图像和所述处理后的参考图像的方差位于设置的方差范围之内；
8.将每个所述处理后的参考图像与所述处理后的待去噪图像对齐，得到对齐后的至少一个参考图像；
9.利用所述对齐后的至少一个参考图像，对所述处理后的待去噪图像进行去噪处理，生成所述待去噪图像对应的目标图像。
10.上述方法中，通过对待去噪图像和参考图像的像素进行调整，得到处理后的待去噪图像和处理后的参考图像，使得处理后的待去噪图像和处理后的参考图像的方差位于设置的方差范围之内，缓解了待去噪图像和参考图像存在的噪声方差不稳定的问题。再将处理后的参考图像与处理后的待去噪图像对齐后，利用对齐后的至少一个参考图像，对处理后的待去噪图像进行去噪处理，生成待去噪图像对应的目标图像。由于去噪处理过程是对方差稳定的图像执行的，使得去噪处理过程能够有效的消除与信号无关的高斯噪声，提高了图像去噪的效率和精准度，生成的目标图像的图像质量较佳。
11.一种可能的实施方式中，所述分别对所述待去噪图像和所述参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像，包括：
12.基于图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像；
13.或，
14.基于所述图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像；
15.或，
16.基于所述图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行缩放处理和噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像；
17.其中，所述图像传感器用于采集所述待去噪图像和所述参考图像。
18.通过上述操作，消除了造成待去噪图像和参考图像方差不稳定的因素，比如传感器增益引起的方差不稳定或图像亮度引起的方差不稳定，使得处理后的待去噪图像和处理后的参考图像的方差稳定，以便后续在方差稳定的基础上对待去噪图像进行去噪处理，有效提高去噪处理的精度和效率。
19.一种可能的实施方式中，所述基于图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像，包括：
20.基于所述图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，确定缩放信息；
21.基于所述缩放信息，分别对所述待去噪图像和所述参考图像中每个像素点的像素信息进行缩放处理，生成处理后的待去噪图像和处理后的参考图像。
22.一种可能的实施方式中，所述基于图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像，包括：
23.基于所述图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，对所述传感器信息指示的方差进行缩放处理，得到转换后方差信息；
24.基于所述转换后方差信息，分别对所述待去噪图像和所述参考图像中每个像素点的像素信息进行噪声类型转化处理，生成处理后的待去噪图像和处理后的参考图像。
25.一种可能的实施方式中，所述将每个所述处理后的参考图像与所述处理后的待去噪图像对齐，得到对齐后的至少一个参考图像，包括：
26.针对每个所述处理后的参考图像，对所述处理后的参考图像和所述处理后的待去噪图像进行至少一次下采样处理，生成不同尺寸的多个图像对；其中，所述图像对中包括所述处理后的参考图像对应的第一图像、和所述处理后的待去噪图像对应的第二图像；
27.基于第一尺寸的图像对和设置的单应流配准方式，确定单应性矩阵；
28.基于所述单应性矩阵，对第二尺寸的图像对中的第一图像进行对齐操作，生成第三图像；
29.基于所述第二尺寸的图像对中第二图像和设置的块匹配配准方式，对所述第三图像进行对齐操作，生成所述处理后的参考图像对应的对齐后的至少一个参考图像；其中第一尺寸小于第二尺寸。
30.这里，利用单应流配准方式对第一尺寸的图像对进行对齐，该对齐过程能够模拟较精确的相机运动，实现图像的全局对齐；在该基础上，利用块匹配配准方式对第二尺寸的图像对进行对齐，该方式能够细化局部图像的对齐，使得图像对齐的精度较高。同时，利用上述级联设计的对齐方式，能够对暗光环境下采集的图像对进行较稳定和较高效的对齐。
31.一种可能的实施方式中，所述利用所述对齐后的至少一个参考图像，对所述处理后的待去噪图像进行去噪处理，生成所述待去噪图像对应的目标图像，包括：
32.对所述处理后的待去噪图像进行第一去噪处理，得到所述待去噪图像对应的第一中间图像；
33.利用所述对齐后的至少一个参考图像，对所述第一中间图像进行第二去噪处理，生成所述待去噪图像对应的目标图像。
34.上述实施方式中，通过对处理后的待去噪图像进行第一去噪处理，得到第一中间图像，实现了待去噪图像的单帧去噪，强调了处理后的待去噪图像相对于参考图像的优先级，使得第一中间图像具有较清晰的边缘和较少的噪声；再利用对齐后的参考图像，对第一中间图像进行第二去噪处理，在这个过程中，不需要考虑帧间的时间关系，实现了利用计算量更小的轻量级网络完成第二去噪处理，在保障去噪精度的同时提高了去噪效率。
35.一种可能的实施方式中，所述参考图像的数量为多个，利用所述对齐后的多个参考图像，对所述第一中间图像进行第二去噪处理，生成所述待去噪图像对应的目标图像，包括：
36.利用对齐后的第1个参考图像，对所述第一中间图像进行第二去噪处理，生成第1个第二中间图像；
37.利用对齐后的第i个参考图像，对所述第i-1个第二中间图像进行第二去噪处理，生成第i个第二中间图像；其中，i为2、3、
…
、k；
38.在第k-1个第二中间图像被第二去噪处理完之后，将生成的第k个第二中间图像，确定为所述待去噪图像对应的目标图像。
39.上述实施方式中，利用第一个参考图像，对第一中间图像进行第二去噪处理，生成第1个第二中间图像，然后依次利用第i个参考图像对第i-1个第二中间图像进行第二去噪处理，通过多次去噪处理能够有效的去除噪声，提高了噪声去除的精度，使得目标图像的图像质量较好。
40.一种可能的实施方式中，所述利用对齐后的第i个参考图像，对所述第i-1个第二中间图像进行第二去噪处理，生成第i个第二中间图像，包括：
41.将对齐后的第i个参考图像和所述第i-1个第二中间图像进行级联，得到级联图像；
42.对所述级联图像进行至少一次下采样处理，得到不同尺寸的多个候选图像；其中，不同尺寸的候选图像包括的噪声频率不同；
43.对所述不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像。
44.这里，通过对不同尺寸的多个候选图像进行多频去噪处理，能够有效的去除不同频率的噪声，较准确的生成第i个第二中间图像。
45.一种可能的实施方式中，所述对所述不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像，包括：
46.分别对每个尺寸的候选图像进行去噪处理，生成所述候选图像对应的去噪图像；
47.将每个尺寸的候选图像对应的去噪图像进行融合，生成所述第i个第二中间图像。
48.这里，分别对每个尺寸的候选图像进行去噪处理，能够有效的去噪与候选图像尺寸匹配的噪声，较准确的生成候选图像对应的去噪图像；再将每个尺寸的候选图像对应的去噪图像进行融合，较准确的生成第i个第二中间图像。
49.一种可能的实施方式中，所述分别对每个尺寸的候选图像进行去噪处理，生成所述候选图像对应的去噪图像，包括：
50.按照每个所述候选图像的尺寸从小到大的顺序，对多个所述候选图像进行排序，
得到候选图像序列，所述候选图像序列包括第1、2......n个候选图像；其中，n为正整数；
51.对第1个候选图像进行去噪处理，生成所述第1个候选图像对应的第1个去噪图像；
52.基于所述第j-1个去噪图像，对第j个候选图像进行去噪处理，生成所述第j个候选图像对应的第j个去噪图像，其中，j为大于等于1且小于n的正整数；
53.基于第n-1个去噪图像，对第n个候选图像进行去噪处理，生成所述第n个候选图像对应的第n个去噪图像。
54.一种可能的实施方式中，所述第一中间图像和第二中间图像为利用多频去噪网络生成的；所述多频去噪网络包括：多频聚合子网络和n个用于对不同噪声频率进行处理的去噪子网络；其中，n为正整数；
55.所述n个去噪子网络中，输入数据尺寸最小的第1个去噪子网络包括第1个编码器和第1个解码器；所述第1个编码器与所述第1个解码器相连；
56.所述n个去噪子网络中，除所述第1个去噪子网络之外的第t个去噪子网络包括第t个编码器、第t个接连层和第t个解码器；所述第t个连接层分别与第t个解码器、第t个编码器相连，且第t个连接层接收第t-1个去噪子网络输出的去噪图像；其中，t为大于1、且小于等于n的正整数；
57.各个所述去噪子网络中的解码器分别与所述多频聚合子网络相连。
58.以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
59.第二方面，本公开提供了一种图像处理装置，包括：
60.获取模块，用于获取待去噪图像、和所述待去噪图像对应的至少一个参考图像；
61.第一处理模块，用于分别对所述待去噪图像和所述参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像；其中，所述处理后的待去噪图像和所述处理后的参考图像的方差位于设置的方差范围之内；
62.第二处理模块，用于将每个所述处理后的参考图像与所述处理后的待去噪图像对齐，得到对齐后的至少一个参考图像；
63.生成模块，用于利用对齐后的至少一个参考图像，对所述处理后的待去噪图像进行去噪处理，生成所述待去噪图像对应的目标图像。
64.第三方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。
65.第四方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的图像处理方法的步骤。
66.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
67.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出
了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
68.图1示出了本公开实施例所提供的一种图像处理方法的流程示意图；
69.图2示出了本公开实施例所提供的一种图像处理方法中，顺序去噪策略的示意图；
70.图3示出了本公开实施例所提供的一种图像处理方法中，多频去噪网络的结构示意图；
71.图4示出了本公开实施例所提供的另一种图像处理方法的流程示意图；
72.图5示出了本公开实施例所提供的一种图像处理装置的架构示意图；
73.图6示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
74.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
75.由于移动设备的低成本传感器捕获的原始图像通常会显示大量噪声，增加的噪声会显著降低图像质量，在弱光环境中尤为明显。为了提高移动设备的成像质量，对多个原始帧的捕获和去噪成为消除噪声的常见选择。
76.其中，经典的多帧去噪方法可以包括三个阶段：噪声先验积分、多帧对齐和多帧去噪。一般的，基于深度学习的方法通过按照上述过程构建大型网络来处理各种级别的噪声，完成图像的去噪过程。但是上述方法通常需要大量内存消耗和高计算成本。
77.为了缓解上述问题，本公开实施例提供了一种图像处理方法、装置、电子设备以及存储介质。
78.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
79.为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍。本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器；终端设备比如可以包括手机、电脑、平板、相机等；服务器比如可以包括本地服务器、云端服务器等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
80.参见图1所示，为本公开实施例所提供的一种图像处理方法的流程示意图，该方法包括s101-s104，其中：
81.s101，获取待去噪图像、和待去噪图像对应的至少一个参考图像。
82.s102，分别对待去噪图像和参考图像进行像素调整处理，得到处理后的待去噪图
像和处理后的参考图像；其中，处理后的待去噪图像和处理后的参考图像的方差位于设置的方差范围之内。
83.s103，将每个处理后的参考图像与处理后的待去噪图像对齐，得到对齐后的至少一个参考图像。
84.s104，利用对齐后的至少一个参考图像，对处理后的待去噪图像进行去噪处理，生成待去噪图像对应的目标图像。
85.上述方法中，通过对待去噪图像和参考图像的像素进行调整，得到处理后的待去噪图像和处理后的参考图像，使得处理后的待去噪图像和处理后的参考图像的方差位于设置的方差范围之内，缓解了待去噪图像和参考图像存在的噪声方差不稳定的问题。再将处理后的参考图像与处理后的待去噪图像对齐后，利用对齐后的至少一个参考图像，对处理后的待去噪图像进行去噪处理，生成待去噪图像对应的目标图像。由于去噪处理过程是对方差稳定的图像执行的，使得去噪处理过程能够有效的消除与信号无关的高斯噪声，提高了图像去噪的效率和精准度，生成的目标图像的图像质量较佳。
86.下述对s101-s104进行具体说明。
87.针对s101：
88.实施时，待去噪图像和参考图像可以为图像采集设备采集的多帧连续图像；比如，在手机摄影过程中，手机连续采集了n帧图像，可以将任意一帧图像(比如第1帧图像、第n帧图像等)作为待去噪图像，将其他n-1帧图像作为参考图像。或者，在获取到图像采集设备采集的视频数据之后，针对视频数据中每个视频帧，将该视频帧作为待去噪图像，将该视频帧相邻的其他视频帧作为参考图像。以便后续利用参考图像对待去噪图像进行去噪处理。
89.其中，参考图像可以为一个或多个，参考图像的数量可以根据实际需求进行设置。
90.针对s102：
91.考虑到采集的图像中会存在各种不同的噪声，不同的噪声会导致图像的方差不稳定。在对方差不稳定的图像进行去噪处理时，需要构建大型网络以便大型网络能够捕捉和去除变化的噪声。但是大型网络的运算成本和效率较低。为了提高去噪的效率和精度，可以通过消除不稳定的方差来降低网络的学习复杂度。
92.对造成图像方差不稳定的因素进行研究，经研究发现，图像传感器的增益和图像亮度是造成图像方差不稳定的重要因素。基于上述研究，在获取到待去噪图像和至少一个参考图像之后，本公开使用方差稳定技术来消除参考图像和待去噪图像中由各种因素引起的不稳定噪声方差，使得处理后的待去噪图像和处理后的参考图像的方差位于设置的方差范围之内。
93.具体的，可以使用方差稳定技术，对待去噪图像和参考图像的像素进行调整，得到处理后的待去噪图像和处理后的参考图像，使得处理后的待去噪图像和处理后的参考图像的图像方差稳定。
94.本公开实施方式中，分别对待去噪图像和参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像，可以包括下述方式：
95.方式一，基于图像传感器的传感器信息，对待去噪图像和参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像。
96.方式二，基于图像传感器的传感器信息，对待去噪图像和参考图像进行噪声类型
转化处理，得到处理后的待去噪图像和处理后的参考图像。
97.方式三，基于图像传感器的传感器信息，对待去噪图像和参考图像进行缩放处理和噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像；其中，图像传感器用于采集待去噪图像和参考图像。
98.图像传感器用于采集待去噪图像和参考图像。比如，图像传感器可以为互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)传感器等。
99.针对方式一，为了消除图像传感器的增益带来的方差不稳定，可以基于图像传感器的传感器信息，对待去噪图像和参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像。其中，传感器信息为图像传感器的传感器相匹配，即在确定了图像传感器之后，可以获取到图像传感器对应传感器信息。
100.实施时，基于图像传感器的传感器信息，对待去噪图像和参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像，具体包括：
101.步骤a1，基于图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，确定缩放信息。
102.步骤a2，基于缩放信息，分别对待去噪图像和参考图像中每个像素点的像素信息进行缩放处理，生成处理后的待去噪图像和处理后的参考图像。
103.这里，基于图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，确定缩放信息；基于缩放信息，分别对待去噪图像和参考图像中每个像素点的像素信息进行缩放处理，生成处理后的待去噪图像和处理后的参考图像。
104.具体的，以待去噪图像为例进行说明。对待去噪图像中每个像素点的像素信息，进行缩放处理，生成缩放处理后的待去噪图像。其中，可以根据下述公式(1)确定缩放处理后的待去噪图像的每个像素点的像素信息：
[0105][0106]
其中，x
′
为缩放处理后的待去噪图像的每个像素点的像素信息，x为未处理的待去噪图像的每个像素点的像素信息，qe为传感器光电转换效率，α为传感器增益，qeα为缩放信息。
[0107]
同理，可以利用公式(1)确定处理后的参考图像的每个像素点的像素信息，以得到处理后的参考图像。
[0108]
针对方式二，考虑到同一图像内的不同亮度具有变化的方差，为了消除图像亮度引起的方差不稳定，利用图像传感器的传感器信息，对待去噪图像和参考图像进行噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像。
[0109]
实施时，基于图像传感器的传感器信息，对待去噪图像和参考图像进行噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像，具体包括：
[0110]
步骤b1，基于图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，对传感器信息指示的方差进行缩放处理，得到转换后方差信息。
[0111]
步骤b2，基于转换后方差信息，分别对待去噪图像和参考图像中每个像素点的像素信息进行噪声类型转化处理，生成处理后的待去噪图像和处理后的参考图像。
[0112]
可以利用图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，对
传感器信息指示的方差进行缩放处理，得到转换后方差信息。基于转换后方差信息，分别对待去噪图像和参考图像中每个像素点的像素信息进行噪声类型转化处理，生成处理后的待去噪图像和处理后的参考图像。
[0113]
具体的，以待去噪图像为例进行说明。对待去噪图像中每个像素点的像素信息进行噪声类型转化处理，生成处理后的待去噪图像。其中，可以根据下述公式(2)确定处理后的待去噪图像的每个像素点的像素信息：
[0114][0115]
其中，y为处理后的待去噪图像的每个像素点的像素信息，x为未处理的待去噪图像的每个像素点的像素信息，σ为传感器信息指示的方差，为转换后方差信息。
[0116]
同理，可以利用公式(2)确定处理后的参考图像中每个像素点的像素信息，得到处理后的参考图像。
[0117]
针对方式三，基于图像传感器的传感器信息，对待去噪图像和参考图像进行缩放处理和噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像。比如，可以利用图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，按照公式(1)对待去噪图像和参考图像中每个像素点的像素信息进行缩放处理，生成缩放处理后的待去噪图像和缩放处理后的参考图像。再使用图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，按照公式(2)分别对缩放处理后的待去噪图像和缩放处理后的参考图像中每个像素点的像素信息进行噪声类型转化处理，这得到处理后的待去噪图像和处理后的参考图像。这里，使用公式(2)时，公式(2)中的x为缩放处理后的待去噪图像和缩放处理后的参考图像中每个像素点的像素信息。
[0118]
通过上述操作，消除了造成待去噪图像和参考图像方差不稳定的因素，比如传感器增益引起的方差不稳定或图像亮度引起的方差不稳定，使得处理后的待去噪图像和处理后的参考图像的方差稳定，以便后续在方差稳定的基础上对待去噪图像进行去噪处理，有效提高去噪处理的精度和效率。
[0119]
针对s103：
[0120]
在得到方差稳定的处理后的参考图像和处理后的待去噪图像后，将处理后的参考图像与处理后的待去噪图像对齐，得到对齐后的参考图像；在处理后的参考图像的数量为多个时，需要将每个处理后的参考图像与处理后的待去噪图像进行对齐。比如，可以利用单应流配准方式实现图像对齐，即分别从处理后的参考图像和处理后的待去噪图像中提取特征点、以及每个提取每个特征点对应的描述子；通过匹配特征点描述子，确定处理后的参考图像和处理后的待去噪图像中匹配的特征点对；并根据匹配的特征点对确定单应性矩阵，根据该单应性矩阵将处理后的参考图像与处理后的待去噪图像对齐，得到对齐后的参考图像。
[0121]
再比如，可以利用块匹配配准方式实现图像对齐，即分别将处理后的参考图像和处理后的待去噪图像划分为多个图像块，如图像块的数量可以为16
×
16个；再针对处理后的参考图像中的每个第一图像块，基于距离信息(比如l1距离、l2距离等)，从处理后的待去噪图像中搜索对应的第二图像块；再根据各个第一图像块和对应的第二图像块，将处理后
的参考图像与处理后的待去噪图像对齐，得到对齐后的参考图像。
[0122]
再比如，也可以使用对齐模型比如光流模型、可变形卷积模型等，将处理后的参考图像与处理后的待去噪图像对齐，得到各个对齐后的参考图像。由于图像中存在噪声，噪声可能会干扰对齐模型的准确性，降低对齐操作的准确度；且使用对齐模型的方式会增加去噪处理的运算成本、降低去噪效率。
[0123]
为了在保障对齐精准度的同时，提高对齐的效率，本公开中构建了一个多尺度对齐金字塔，以从粗到细的方式估计帧之间的运动。其中，可以在金字塔的顶部使用单应流配准方式，以及在金字塔的底层使用块匹配配准方式。
[0124]
本公开实施方式中，将每个处理后的参考图像与处理后的待去噪图像对齐，得到对齐后的至少一个参考图像，具体包括：
[0125]
s1031，针对每个处理后的参考图像，对处理后的参考图像和处理后的待去噪图像进行至少一次下采样处理，生成不同尺寸的多个图像对；其中，图像对中包括处理后的参考图像对应的第一图像、和处理后的待去噪图像对应的第二图像。
[0126]
s1032，基于第一尺寸的图像对和设置的单应流配准方式，确定单应性矩阵。
[0127]
s1033，基于单应性矩阵，对第二尺寸的图像对中的第一图像进行对齐操作，生成第三图像。
[0128]
s1034，基于第二尺寸的图像对中第二图像和设置的块匹配配准方式，对第三图像进行对齐操作，生成处理后的参考图像对应的对齐后的至少一个参考图像；其中第一尺寸小于第二尺寸。
[0129]
针对每个处理后的参考图像，对处理后的参考图像和处理后的待去噪图像进行至少一次下采样处理，生成不同尺寸的多个图像对。图像对的数量可以根据需要进行设置，比如，可以对处理后的参考图像和处理后的待去噪图像进行一次下采样处理，得到图像对1；再将得到的图像对1进行一次下采样处理，得到图像对2等，图像对2的尺寸小于图像对1的尺寸。其中，图像对中包括处理后的参考图像对应的第一图像、和处理后的待去噪图像对应的第二图像。
[0130]
在多个图像对包括第一尺寸的图像对1和第二尺寸的图像对2、第一尺寸小于第二尺寸时，针对图像对1，基于图像对1中的第二图像和设置的单应流配准方式，确定单应性矩阵。比如，可以提取图像对1中的第一图像和第二图像的特征点，以及提取每个特征点对应的描述子，进而通过匹配特征点描述子，确定第一图像和第二图像中匹配的特征点对；并根据匹配的特征点对确定单应性矩阵。
[0131]
然后，基于单应性矩阵，对图像对2中的第一图像进行对齐操作，生成第三图像。基于图像对2中第二图像和设置的块匹配配准方式，对第三图像进行对齐操作，生成处理后的参考图像对应的对齐后的参考图像。比如，可以将第三图像和图像对2中的第二图像划分为多个图像块，比如16
×
16个图像块，针对第三图像中的图像块，根据l1距离，从图像对2的第二图像上搜索与之对应的图像块；最后根据第三图像中的各个图像块、以及图像对2的第二图像上对应的图像块，对第三图像进行对齐操作，生成对齐后的参考图像。
[0132]
为了更精准的进行图像对齐，还可以在上述s1031-s1034的基础上进行细化，细化后的步骤可以包括如下：
[0133]
步骤1、针对每个处理后的参考图像，对处理后的参考图像和处理后的待去噪图像
进行至少一次下采样处理，生成不同尺寸的多个图像对。其中，图像对包括：第一尺寸的图像对1、第二尺寸的图像对2、第三尺寸的图像对3，第一尺寸小于第二尺寸，第二尺寸小于第三尺寸。
[0134]
步骤2、基于图像对1和设置的单应流配准方式，确定第一单应性矩阵。并利用第一单应性矩阵，对图像对2中的第一图像进行对齐操作，生成第三图像。
[0135]
步骤3、对第三图像进行划分，得到多个图像块1，比如图像块1的数量可以为2
×
2个、4
×
4个等。针对每个图像块1，基于图像对2中的第二图像，按照单应流配准方式，确定该图像块1对应的第二单应性矩阵，进而得到每个图像块1对应的第二单应性矩阵。
[0136]
这里，在任意图像块1没有足够的匹配特征时，可以将第一单应性矩阵，确定为该图像块1对应的第二单应性矩阵。
[0137]
步骤4、基于各个图像块1对应的第二单应性矩阵，对图像对3中的第一图像进行对齐操作，生成第四图像。并按照块匹配配准方式，将第四图像与图像对3中的第二图像对齐，得到第五图像。
[0138]
具体的：对第四图像进行划分，得到第四图像包括的多个图像块2，比如图像块2的数量可以为8
×
8个、16
×
16个等。针对每个图像块2，从图像对3的第二图像中确定与该图像块2匹配的目标块，并基于各个图像块2分别对应的目标块，对第四图像进行对齐操作，生成第五图像。
[0139]
步骤5、在第五图像的尺寸与处理后的参考图像一致时，将第五图像，确定为对齐后的参考图像。
[0140]
在第五图像的尺寸与处理后的参考图像不一致时，可以对第五图像进行上采样处理，得到对齐后的参考图像。或者，也可以对第五图像进行上采样处理，得到上采样图像(该上采样图像与处理后的参考图像的尺寸一致)；将上采样图像进行划分，得到多个图像块3，比如图像块3的数量可以为16
×
16个、32
×
32个等。针对图像块3，从处理后的待去噪图像中确定与该图像块3匹配的目标块，并基于图像块3对应的目标块，对上采样图像进行对齐操作，生成对齐后的参考图像。
[0141]
这里，利用单应流配准方式对第一尺寸的图像对进行对齐，该对齐过程能够模拟较精确的相机运动，实现图像的全局对齐；在该基础上，利用块匹配配准方式对第二尺寸的图像对进行对齐，该方式能够细化局部图像的对齐，使得图像对齐的精度较高。同时，利用上述级联设计的对齐方式，能够对暗光环境下采集的图像对进行较稳定和较高效的对齐。
[0142]
针对s104：
[0143]
实施时，可以利用对齐后的至少一个参考图像，确定噪声信息，利用确定的噪声信息，对处理后的待去噪图像进行去噪处理，生成去噪图像；并将去噪图像进行还原处理，得到待去噪图像对应的目标图像。其中，可以根据下述公式(3)对去噪图像进行还原处理：
[0144][0145]
其中，qe为传感器光电转换效率，α为传感器增益，为缩放后的方差，y为去噪图像中像素点的像素信息，x
inv
为目标图像中像素点的像素信息。
[0146]
一种可能的实施方式中，利用对齐后的至少一个参考图像，对处理后的待去噪图像进行去噪处理，生成待去噪图像对应的目标图像，具体包括：
[0147]
s1041，对处理后的待去噪图像进行第一去噪处理，得到待去噪图像对应的第一中间图像。
[0148]
s1042，利用对齐后的至少一个参考图像，对第一中间图像进行第二去噪处理，生成待去噪图像对应的目标图像。
[0149]
实施时，可以按照设置的顺序去噪策略，利用对齐后的至少一个参考图像，对处理后的待去噪图像进行去噪处理，生成目标图像。比如，可以先对处理后的待去噪图像进行第一去噪处理，得到待去噪图像对应的第一中间图像。再依次利用对齐后的至少一个参考图像，对第一中间图像进行第二去噪处理，生成待去噪图像对应的目标图像，比如，可用对齐后的参考图像1对第一中间图像进行第二去噪处理，得到第1个第二中间图像，再利用对齐后的参考图像2对第1个第二中间图像进行第二去噪处理，得到第2个第二中间图像，直至对齐后的参考图像均被使用为止，将最后一次得到的第二中间图像确定为目标图像。
[0150]
上述实施方式中，通过对处理后的待去噪图像进行第一去噪处理，得到第一中间图像，实现了待去噪图像的单帧去噪，强调了处理后的待去噪图像相对于参考图像的优先级，使得第一中间图像具有较清晰的边缘和较少的噪声；再利用对齐后的参考图像，对第一中间图像进行第二去噪处理，在这个过程中，不需要考虑帧间的时间关系，实现了利用计算量更小的轻量级网络完成第二去噪处理，在保障去噪精度的同时提高了去噪效率。
[0151]
在参考图像的数量为一个时，可以利用一个对齐后的参考图像对第一中间图像进行一次第二去噪处理，生成目标图像。在参考图像的数量为多个时，可以利用多个对齐后的参考图像依次对第一中间图像进行第二去噪处理，即第二去噪处理的次数为多个，生成目标图像。
[0152]
在参考图像的数量为多个时，利用对齐后的多个参考图像，对第一中间图像进行第二去噪处理，生成待去噪图像对应的目标图像，具体包括：
[0153]
步骤a1、利用对齐后的第1个参考图像对第一中间图像进行第二去噪处理，生成第1个第二中间图像。
[0154]
步骤a2、利用对齐后的第i个参考图像，对第i-1个第二中间图像进行第二去噪处理，生成第i个第二中间图像；其中，i为2、3、
…
、k。
[0155]
步骤a3、在第k-1个第二中间图像被第二去噪处理完之后，将生成的第k个第二中间图像，确定为待去噪图像对应的目标图像。
[0156]
实施时，可以利用对齐后的第1个参考图像，对第一中间图像进行第二去噪处理，生成第1个第二中间图像；利用对齐后的第2个参考图像，对第1个第二中间图像进行第二去噪处理，生成第2个第二中间图像。以此类推，利用对齐后的第i个参考图像，对第i-1个第二中间图像进行第二去噪处理，生成第i个第二中间图像；其中，i为2、3、
…
、k；在利用对齐后的第k个参考图像，对第k-1个第二中间图像进行第二去噪处理完之后，将生成的第k个第二中间图像确定为待去噪图像对应的目标图像。
[0157]
实施时，还可以对对齐后的参考图像进行分组，得到多个图像组，每个图像组中包括至少一个对齐后的参考图像。再依次利用多个图像组对第一中间图像进行第二去噪处理，生成所述待去噪图像对应的目标图像。
[0158]
若图像组的数量为k组，利用第一个图像组包括的对齐后的参考图像，对第一中间图像进行第二去噪处理，得到第1个第二中间图像。再利用第2个图像组包括的对齐后的参
考图像，对第1个第二中间图像进行第二去噪处理，生成第2个第二中间图像。以此类推，利用第k个图像组包括的对齐后的参考图像，对第k-1个第二中间图像进行第二去噪处理，生成第k个第二中间图像；并将第k个第二个中间图像确定为待去噪图像对应的目标图像。
[0159]
上述实施方式中，利用第一个参考图像，对第一中间图像进行第二去噪处理，生成第1个第二中间图像，然后依次利用第i个参考图像对第i-1个第二中间图像进行第二去噪处理，通过多次去噪处理能够有效的去除噪声，提高了噪声去除的精度，使得目标图像的图像质量较好。
[0160]
在步骤a2中，利用对齐后的第i个参考图像，对第i-1个第二中间图像进行第二去噪处理，生成第i个第二中间图像，具体包括：
[0161]
步骤a21，将对齐后的第i个参考图像和第i-1个第二中间图像进行级联，得到级联图像。
[0162]
步骤a22，对级联图像进行至少一次下采样处理，得到不同尺寸的多个候选图像；其中，不同尺寸的候选图像包括的噪声频率不同。
[0163]
步骤a23，对不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像。
[0164]
将对齐后的第i个参考图像和第i-1个第二中间图像进行级联，得到级联图像。
[0165]
考虑到相同模式的噪声在下采样到不同尺度时会对应不同的频率。例如，如果图像被下采样，则低频噪声将会变成高频噪声。基于此，对级联图像进行至少一次下采样处理，得到不同尺寸的多个候选图像，不同尺寸的候选图像包括有不同频率的噪声。比如，可以对级联图像进行下采样处理，得到候选图像1；再对该候选图像1进行下采样处理，得到候选图像2等。
[0166]
在对不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像。比如，可以针对每个候选图像进行去噪处理，即消除了该候选图像包括的特定频率的噪声，得到去噪图像。再将多个候选图像分别对应的去噪图像进行融合，生成第i个第二中间图像。
[0167]
在步骤a23中，对不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像，具体包括：
[0168]
步骤a231，分别对每个尺寸的候选图像进行去噪处理，生成候选图像对应的去噪图像。
[0169]
步骤a232，将每个尺寸的候选图像对应的去噪图像进行融合，生成第i个第二中间图像。
[0170]
这里，可以分别对每个尺寸的候选图像进行去噪处理，生成候选图像对应的去噪图像。比如可以利用去噪神经网络，对每个尺寸的候选图像进行去噪处理，生成候选图像对应的去噪图像。
[0171]
这里，分别对每个尺寸的候选图像进行去噪处理，能够有效的去噪与候选图像尺寸匹配的噪声，较准确的生成候选图像对应的去噪图像；再将每个尺寸的候选图像对应的去噪图像进行融合，较准确的生成第i个第二中间图像。
[0172]
一种可能的实施方式中，分别对每个尺寸的候选图像进行去噪处理，生成候选图像对应的去噪图像，具体包括：
[0173]
步骤b1，按照每个候选图像的尺寸从小到大的顺序，对多个候选图像进行排序，得
到候选图像序列，候选图像序列包括第1、2......n个候选图像。其中，n为正整数。
[0174]
步骤b2，对第1个候选图像进行去噪处理，生成第1个候选图像对应的第1个去噪图像。
[0175]
步骤b3，基于第j-1个去噪图像，对第j个候选图像进行去噪处理，生成第j个候选图像对应的第j个去噪图像，其中，j为大于1且小于n的正整数。
[0176]
步骤b4，基于第n-1个去噪图像，对第n个候选图像进行去噪处理，生成第n个候选图像对应的第n个去噪图像。
[0177]
按照每个候选图像的尺寸从小到大的顺序，对多个候选图像进行排序，得到候选图像序列，候选图像序列包括第1、2......n个候选图像。其中，第1个候选图像的尺寸小于第2个候选图像；第j个候选图像的尺寸小于第j 1个候选图像。
[0178]
若n为3，对第1个候选图像进行去噪处理，生成第1个候选图像对应的第1个去噪图像。基于第1个去噪图像，对第2个候选图像进行去噪处理，生成第2个候选图像对应的第2个去噪图像。以此类推，生成第3个候选图像对应的第3个去噪图像。
[0179]
然后，将每个尺寸的候选图像对应的去噪图像进行融合，生成第i个第二中间图像。比如，可以将不同尺寸的去噪图像统一至相同尺寸，再将尺寸相同的去噪图像进行同位置相减操作，得到第i个第二中间图像。
[0180]
参见图2所示的一种顺序去噪策略的示意图，该顺序去噪策略包括：第一部分：利用多频去噪网络s0对处理后的待去噪图像进行第一去噪处理，得到第一中间图像。第二部分：利用各个多频去噪网络s1、
…
、sk，基于对齐后的至少一个参考图像，对第一中间图像进行第二去噪处理，生成待去噪图像对应的目标图像。其中，s0、s1、
…
、sk的网络结构相同，s0的输入数据为处理后的待去噪图像，s1的输入数据为对齐后的至少一个参考图像和第一中间图像；sk的输入数据为对齐后的至少一个参考图像和第k-1个第二中间图像。
[0181]
下述对多频去噪网络的结构和处理过程进行说明。
[0182]
一种可能的实施方式中，第一中间图像和第二中间图像为利用多频去噪网络生成的。多频去噪网络包括：多频聚合子网络和n个用于对不同噪声频率进行处理的去噪子网络；其中，n为正整数。
[0183]
n个去噪子网络中，输入数据尺寸最小的第1个去噪子网络包括第1个编码器和第1个解码器；第1个编码器与第1个解码器相连。n个去噪子网络中，除第1个去噪子网络之外的第t个去噪子网络包括第t个编码器、第t个接连层和第t个解码器。第t个连接层分别与第t个解码器、第t个编码器相连，且第t个连接层接收第t-1个去噪子网络输出的去噪图像；其中，t为大于1、且小于等于n的正整数。各个去噪子网络中的解码器分别与多频聚合子网络相连。
[0184]
参见图3所示的多频去噪网络的结构示意图，多频去噪网络包括多频聚合子网络a和3个用于对不同噪声频率进行处理的去噪子网络。3个去噪子网络中，输入数据尺寸最小的第1个去噪子网络包括第1个编码器和第1个解码器；第1个编码器与第1个解码器相连。3个去噪子网络中，除第1个去噪子网络之外的第2个去噪子网络包括第2个编码器、第2个接连层和第2个解码器；第2个连接层分别与第2个解码器和第2个编码器相连。第3个去噪子网络包括第3个编码器、第3个接连层和第3个解码器；第3个连接层分别与第3个解码器和第3个编码器相连。各个解码器分别与多频聚合子网络a相连。
[0185]
该多频去噪网络能够执行第一去噪处理和第二去噪处理的过程。即多频去噪网络用于对处理后待去噪图像进行去噪处理，生成第一中间图像；多频去噪网络用于对第一中间图像和对齐后的至少一个参考图像进行去噪处理，生成第1个第二中间图像；多频去噪网络用于对第i-1个第二中间图像和对齐后的至少一个参考图像进行去噪处理，生成第i个第二中间图像。
[0186]
在多频去噪子网络执行第一去噪处理时，具体包括如下步骤：
[0187]
步骤c1、对处理后的待去噪图像进行至少一次下采样处理，得到多个候选图像。假设多个候选图像包括候选图像m1、候选图像m2、候选图像m3，且候选图像m1的尺寸小于候选图像m2、候选图像m2的尺寸小于候选图像m3。
[0188]
步骤c2、利用第1个编码器e1对候选图像m1进行特征提取，得到候选特征数据1，利用第1个解码器d1对候选特征数据1进行特征提取，预测得到噪声特征数据1，将噪声特征数据1与候选图像m1中相同像素位置的像素信息相加，得到去噪图像o1。
[0189]
步骤c3、利用第2个编码器e2对候选图像m2进行特征提取，得到候选特征数据2，第2个连接层将候选特征数据2与去噪图像o1进行级联，并利用第2个解码器d2对级联后的特征数据进行特征提取，预测得到噪声特征数据2，将噪声特征数据2与候选图像m2中相同像素位置的像素信息相加，得到去噪图像o2。
[0190]
步骤c4、利用第3个编码器e3对候选图像m3进行特征提取，得到候选特征数据3，第3个连接层将候选特征数据3与去噪图像o2进行级联，利用第3个解码器d3对级联后的特征数据进行特征提取，预测得到噪声特征数据3，将噪声特征数据3与候选图像m3中相同像素位置的像素信息相加，得到去噪图像o3。
[0191]
步骤c5、将去噪图像o1、去噪图像o2、去噪图像o3输入至多频聚合子网络中进行融合处理，得到输出图像，将该输出图像确定为第一中间图像。具体的包括如下步骤：
[0192]
步骤c51、对去噪图像o3进行下采样处理，得到下采样图像3；将下采样图像3与去噪图像o2中相同像素位置的像素信息相减，得到残留噪声图n2。以及对去噪图像o2进行下采样处理，得到下采样图像2，将下采样图像2与去噪图像o1中相同像素位置的像素信息相减，得到残留噪声图n1。
[0193]
步骤c52、对残留噪声图n2进行一次上采样处理，得到噪声图3，以及对残留噪声图n1进行两次上采样处理，得到噪声图2，将去噪图像o3依次与噪声图3、噪声图2中相同像素位置的像素信息相减，得到多频聚合子网络的输出图像。
[0194]
可根据下述公式(4)确定残留噪声图n
j-1
：
[0195]nj-1
＝
↓
(oj)-o
j-1
ꢀꢀꢀ
(4)
[0196]
其中，
↓
表示下采样处理，oj第j个候选图像对应的第j个去噪图像，o
j-1
为第j-1个候选图像对应的第j-1个去噪图像。其中，j-1为1、2、
…
、n-1。
[0197]
在n为3时，可以基于残留噪声图n1和残留噪声图n2，对第3个去噪图像进行去噪，生成输出图像。其中，可以根据下述公式(5)确定输出图像：
[0198][0199]
其中，为输出图像，
↑
表示上采样处理，o3为第3个候选图像对应的去噪图像。
[0200]
其中第二去噪处理过程，可以参照上述步骤c1至步骤c5的过程，此处不在详述。
[0201]
结合图2，对图像处理方法进行示例性说明，参见图4所示，该方法包括如下步骤：
[0202]
s401：获取待去噪图像、和待去噪图像对应的至少一个参考图像。
[0203]
s402：分别对待去噪图像和参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像。
[0204]
s403：将每个处理后的参考图像与处理后的待去噪图像对齐，得到对齐后的至少一个参考图像。
[0205]
s404：利用多频去噪网络s0，对处理后的待去噪图像进行第一去噪处理，得到待去噪图像对应的第一中间图像。
[0206]
s405：将多个对齐后的参考图像划分为k个图像组。将第1个图像组中包括至少一个对齐后的参考图像和第一中间图像输入至多频去噪网络s1，得到第1个第二中间图像；将第2个图像组中包括至少一个对齐后的参考图像和第1个第二中间图像输入至多频去噪网络s2，得到第2个第二中间图像；以此类推，可以得到第k个第二中间图像；将第k个第二中间图像，确定为待去噪图像对应的目标图像。其中，多频去噪网络s0、s1、
…
、sk的处理过程可参考前述步骤c1至步骤c5的说明。
[0207]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0208]
基于相同的构思，本公开实施例还提供了一种图像处理装置，参见图5所示，为本公开实施例提供的图像处理的架构示意图，包括获取模块501、第一处理模块502、第二处理模块503、生成模块504，具体的：
[0209]
获取模块501，用于获取待去噪图像、和所述待去噪图像对应的至少一个参考图像；
[0210]
第一处理模块502，用于分别对所述待去噪图像和所述参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像；其中，所述处理后的待去噪图像和所述处理后的参考图像的方差位于设置的方差范围之内；
[0211]
第二处理模块503，用于将每个所述处理后的参考图像与所述处理后的待去噪图像对齐，得到对齐后的至少一个参考图像；
[0212]
生成模块504，用于利用所述对齐后的至少一个参考图像，对所述处理后的待去噪图像进行去噪处理，生成所述待去噪图像对应的目标图像。
[0213]
一种可能的实施方式中，所述第一处理模块502，在分别对所述待去噪图像和所述参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像时，用于：
[0214]
基于图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像；
[0215]
或，
[0216]
基于所述图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像；
[0217]
或，
[0218]
基于所述图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行缩放处理和噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像；
[0219]
其中，所述图像传感器用于采集所述待去噪图像和所述参考图像。
[0220]
一种可能的实施方式中，所述第一处理模块502，在基于图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行缩放处理，得到处理后的待去噪图像和处理后的参考图像时，用于：
[0221]
基于所述图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，确定缩放信息；
[0222]
基于所述缩放信息，分别对所述待去噪图像和所述参考图像中每个像素点的像素信息进行缩放处理，生成处理后的待去噪图像和处理后的参考图像。
[0223]
一种可能的实施方式中，所述第一处理模块502，在基于图像传感器的传感器信息，对所述待去噪图像和所述参考图像进行噪声类型转化处理，得到处理后的待去噪图像和处理后的参考图像时，用于：
[0224]
基于所述图像传感器的传感器信息指示的传感器光电转换效率和传感器增益，对所述传感器信息指示的方差进行缩放处理，得到转换后方差信息；
[0225]
基于所述转换后方差信息，分别对所述待去噪图像和所述参考图像中每个像素点的像素信息进行噪声类型转化处理，生成处理后的待去噪图像和处理后的参考图像。
[0226]
一种可能的实施方式中，所述第二处理模块503，在将每个所述处理后的参考图像与所述处理后的待去噪图像对齐，得到对齐后的至少一个参考图像时，用于：
[0227]
针对每个所述处理后的参考图像，对所述处理后的参考图像和所述处理后的待去噪图像进行至少一次下采样处理，生成不同尺寸的多个图像对；其中，所述图像对中包括所述处理后的参考图像对应的第一图像、和所述处理后的待去噪图像对应的第二图像；
[0228]
基于所述第一尺寸的图像对和设置的单应流配准方式，确定单应性矩阵；
[0229]
基于所述单应性矩阵，对第二尺寸的图像对中的第一图像进行对齐操作，生成第三图像；
[0230]
基于所述第二尺寸的图像对中第二图像和设置的块匹配配准方式，对所述第三图像进行对齐操作，生成所述处理后的参考图像对应的对齐后的参考图像；其中第一尺寸小于第二尺寸。
[0231]
一种可能的实施方式中，所述生成模块504，在利用所述对齐后的至少一个参考图像，对所述处理后的待去噪图像进行去噪处理，生成所述待去噪图像对应的目标图像时，用于：
[0232]
对所述处理后的待去噪图像进行第一去噪处理，得到所述待去噪图像对应的第一中间图像；
[0233]
利用所述对齐后的至少一个参考图像，对所述第一中间图像进行第二去噪处理，生成所述待去噪图像对应的目标图像。
[0234]
一种可能的实施方式中，参考图像的数量为多个，所述生成模块504，在利用所述对齐后的多个参考图像，对所述第一中间图像进行第二去噪处理，生成所述待去噪图像对应的目标图像时，用于：
[0235]
利用对齐后的第1个参考图像，对所述第一中间图像进行第二去噪处理，生成第1个第二中间图像；
[0236]
利用对齐后的第i个参考图像，对所述第i-1个第二中间图像进行第二去噪处理，
生成第i个第二中间图像；其中，i为2、3、
…
、k；
[0237]
在第k-1个第二中间图像被第二去噪处理完之后，将生成的第k个第二中间图像，确定为所述待去噪图像对应的目标图像。
[0238]
一种可能的实施方式中，所述生成模块504，在利用对齐后的第i个参考图像，对所述第i-1个第二中间图像进行第二去噪处理，生成第i个第二中间图像时，用于：
[0239]
将对齐后的第i个参考图像和所述第i-1个第二中间图像进行级联，得到级联图像；
[0240]
对所述级联图像进行至少一次下采样处理，得到不同尺寸的多个候选图像；其中，不同尺寸的候选图像包括的噪声频率不同；
[0241]
对所述不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像。
[0242]
一种可能的实施方式中，所述生成模块504，在对所述不同尺寸的多个候选图像进行多频去噪处理，生成第i个第二中间图像时，用于：
[0243]
分别对每个尺寸的候选图像进行去噪处理，生成所述候选图像对应的去噪图像；
[0244]
将每个尺寸的候选图像对应的去噪图像进行融合，生成所述第i个第二中间图像。
[0245]
一种可能的实施方式中，所述生成模块504，在所述分别对每个尺寸的候选图像进行去噪处理，生成所述候选图像对应的去噪图像时，用于：
[0246]
按照每个所述候选图像的尺寸从小到大的顺序，对多个所述候选图像进行排序，得到候选图像序列，所述候选图像序列包括第1、2......n个候选图像；其中，n为正整数；
[0247]
对第1个候选图像进行去噪处理，生成所述第1个候选图像对应的第1个去噪图像；
[0248]
基于所述第j-1个去噪图像，对第j个候选图像进行去噪处理，生成所述第j个候选图像对应的第j个去噪图像，其中，j为大于等于1且小于n的正整数；
[0249]
基于第n-1个去噪图像，对第n个候选图像进行去噪处理，生成所述第n个候选图像对应的第n个去噪图像。
[0250]
一种可能的实施方式中，所述第一中间图像和第二中间图像为利用多频去噪网络生成的；
[0251]
所述多频去噪网络包括：多频聚合子网络和m个用于对不同噪声频率进行处理的去噪子网络；其中，m为正整数；
[0252]
所述m个去噪子网络中，输入数据尺寸最小的第m个去噪子网络包括第m个编码器和第m个解码器；所述第m个编码器与所述第m个解码器相连；
[0253]
所述m个去噪子网络中，除所述第m个去噪子网络之外的第j个去噪子网络包括第j个编码器、第j个接连层和第j个解码器；
[0254]
所述第j个连接层分别与第j个解码器、第j个编码器和第j 1个解码器相连；其中，j为大于等于1、且小于m的正整数；
[0255]
各个所述去噪子网络中的解码器分别与所述多频聚合子网络相连。
[0256]
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
[0257]
基于同一技术构思，本公开实施例还提供了一种电子设备。参照图6所示，为本公开实施例提供的电子设备600的结构示意图，包括处理器601、存储器602、和总线603。其中，
存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当电子设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
[0258]
获取待去噪图像、和所述待去噪图像对应的至少一个参考图像；
[0259]
分别对所述待去噪图像和所述参考图像进行像素调整处理，得到处理后的待去噪图像和处理后的参考图像；其中，所述处理后的待去噪图像和所述处理后的参考图像的方差位于设置的方差范围之内；
[0260]
将每个所述处理后的参考图像与所述处理后的待去噪图像对齐，得到对齐后的至少一个参考图像；
[0261]
利用所述各个对齐后的参考图像，对所述处理后的待去噪图像进行去噪处理，生成所述待去噪图像对应的目标图像。
[0262]
其中，处理器601的具体处理流程可以参照上述方法实施例的记载，这里不再赘述。
[0263]
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0264]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0265]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0266]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0267]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0268]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0269]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以
存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0270]
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。