一种图像去噪方法、存储介质及终端设备与流程

1.本技术涉及图像处理技术领域，特别涉及一种图像去噪方法、存储介质及终端设备。


背景技术：

2.随机智能终端不断发展，智能终端普遍配置有夜景拍摄功能，通过夜景拍摄功能来提高夜景场景下拍摄图像的图像质量。然而，图像采集设备在拍摄图像时会因受外界环境的影响，而使得拍摄到的图像会存在图像噪声。特别是在夜间低照度条件下拍摄图像时，拍摄得到的图像经常会因为光线不足而产生退化，使得拍摄得到图像携带有图像噪声而降低图像质量。


技术实现要素：

3.本技术要解决的技术问题在于，针对现有技术的不足，提供一种图像去噪方法、存储介质及终端设备。
4.为了解决上述技术问题，本技术实施例第一方面提供了一种图像去噪方法，应用于图像去噪模型，所述方法包括：
5.所述图像去噪模型确定待去噪图像对应的若干特征图；
6.所述图像去噪模型基于所述若干特征图中一目标特征图，确定所述待去噪图像对应的注意力图；
7.所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图；
8.所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
9.所述图像去噪方法，其中，若干特征图中各特征图的图像尺寸不同。
10.所述图像去噪方法，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图。
11.所述图像去噪方法，其中，所述图像去噪模型包括下采样模块，所述下采样模块包括若干级联的下采样单元，若干下采样单元与若干特征图一一对应，以通过各下采样单元确定各自对应的特征图。
12.所述图像去噪方法，其中，所述图像去噪模型包括注意力模块，所述注意力模块包括第一注意力单元和第二注意力单元；所述图像去噪模型基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图具体包括：
13.所述第一注意力单元基于所述目标特征图，确定所述待去噪图像对应的第一注意力图；
14.所述第二注意力单元基于所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述所述待去噪图像对应的注意力图。
15.所述图像去噪方法，其中，所述第一注意力单元包括第一卷积单元，第一全局平均池化层和第一融合单元；所述第一注意力模块基于所述目标特征图，确定所述待去噪图像对应的第一注意力图具体包括：
16.所述第一卷积单元基于所述目标特征图，确定所述待去噪图像对应的第一特征图；
17.第一全局平均池化层基于所述第一特征图，确定所述待去噪图像对应的第三注意力图；
18.所述第一融合单元基于所述第三注意力图以及所述第一特征图，确定所述待去噪图像对应的第一注意力图。
19.所述图像去噪方法，其中，所述第二注意力单元包括第二全局平均池化层、全局最大池化层、第二卷积单元以及第二融合单元；
20.所述第二全局平均池化层基于第一注意力图，确定所述待去噪图像对应的第四注意力图；
21.所述全局最大池化层基于第一注意力图，确定所述待去噪图像对应的第五注意力图；
22.所述第二卷积单元基于所述第四注意力图和所述第五注意力图，确定所述待去噪图像对应的第二特征图；
23.所述第二融合单元基于所述第二特征图以及所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述待去噪图像对应的注意力图。
24.所述图像去噪方法，其中，所述注意力模块包括若干注意力模块，若干注意力模块依次级联，并且若干注意力模块中按照级联顺序位于最前的注意力模块的输入项为目标特征图，位于最后的注意力模块的输出项为所述待去噪图像对应的注意力图，相邻两个注意力模型中前一注意力模块输出的注意力图为后一个注意力模块的输入项。
25.所述图像去噪方法，其中，所述图像去噪模型包括若干级联的增强模块以及融合模块，所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图具体包括：
26.所述若干增强模块中按照级联顺序位于最前的增强模块基于所述注意力图，确定所述待去噪图像对应的第一增强特征图，位于最后的增强模块基于所述注意力图，确定所述待去噪图像对应的第二增强特征图，其中，相邻两个增强模块中前一增强模块的输出项为后一个增强模块的输入项；
27.所述图像去噪模型基于所述第一增强特征图和所述第二增强特征图，确定所述待去噪图像对应的增强特征图。
28.所述图像去噪方法，其中，所述图像去噪模型包括上采样模块，所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像具体包括：
29.所述上采样模块基于所述增强图像以及若干特征图，确定所述待去噪图像对应的上采样特征图；
30.所述融合模块基于所述上采样特征图以及所述待去噪图像，确定所述待去噪图像
对应的去噪图像。
31.所述图像去噪方法，其中，所述图像去噪模型的生成过程包括：
32.获取训练图像集，其中，所述训练图像集包括若干训练图像组，每组训练图像组包括若干训练图像，并且每组训练图像组中的各训练图像对应的去噪图像相同；
33.基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。
34.所述图像去噪方法，其中，所述获取训练图像集具体包括：
35.获取若干拍摄场景；
36.对于每个拍摄场景，获取该拍摄场景对应的若干候选图像，其中，若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同；
37.将所述若干候选图像进行融合，以得到融合图像；
38.将所述若干候选图像作为一训练图像组，并将所述融合图像作为该训练图像组中各融合图像对应的去噪图像，以得到训练图像集。
39.所述图像去噪方法，其中，所述基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型具体包括：
40.将训练图像集中的训练图像输入预设网络模型，通过预设网络模型输出所述训练图像对应的预测去噪图像；
41.确定所述预测去噪图像以及训练图像对应的去噪图像的均方差，并将所述均方差作为所述训练图像对应的损失值；
42.基于所述损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
43.本技术实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的图像去噪方法中的步骤。
44.本技术实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；
45.所述通信总线实现处理器和存储器之间的连接通信；
46.所述处理器执行所述计算机可读程序时实现如上任一所述的图像去噪方法中的步骤。
47.有益效果：与现有技术相比，本技术提供了一种图像去噪方法、存储介质及终端设备，所述图像去噪方法通过图像去噪模型确定待去噪图像的若干特征图，基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，基于所述注意力图，确定所述待去噪图像对应的增强特征图，最后基于所述增强特征图以及所述若干特征图，确定所述待去噪图像对应的去噪图像。本技术通过图像去噪模型确定待去噪图像对应的注意力图，并基于注意力图确定增强特征图，最后基于增强特征图以及若干特征图确定去噪图像，这样可以在获取到携带图像细节信息的注意力图后，图像去噪模型对注意力图中的细节信息进行增强以得到增强特征图，使得根据增强特征图确定去噪图像既可以在去除待去噪图像携带的图像噪声，又可以保留图像细节信息，进而提高了去噪图像的图像质量。
附图说明
48.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本技术提供的图像去噪方法的流程图。
50.图2为本技术提供的图像去噪方法中图像去噪模型的模型结构原理图。
51.图3为本技术提供的图像去噪方法中图像去噪模型中的注意力模块的模型结构原理图。
52.图4为本技术提供的图像去噪方法中图像去噪模型中的增强模块的模型结构原理图。
53.图5为本技术提供的终端设备的结构原理图。
具体实施方式
54.本技术提供一种图像去噪方法、存储介质及终端设备，为使本技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
55.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
56.本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
57.具体实现中，本技术实施例中描述的终端设备包括但不限于诸如具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的移动电话，膝上形计算机或平板计算机之类的其他便携式设备。还应该理解的是，在某些实施例中，所述设备并非便携式通讯设备，而是具有触摸敏感表面(例如，触摸显示屏和/或触摸板)的台式计算机。
58.在接下来的讨论中，描述了包括显示器和触摸敏感表面的终端设备。然而，应当理解的是，终端设备还可以包括诸如物理键盘、鼠标和/或控制杆的一个或多个其他物理用户接口设备。
59.终端设备支持各种应用程序，例如以下中的一个或多个：绘图应用程序、演示应用程序、文字处理应用程序、视频会议应用程序、盘刻录应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件由于程序、即时消息收发应用程序、锻炼支持应用程序、照片管理应用程序、数据相机应用程序、数字摄像机应用程序、web浏览应用程序、数字音乐播放器应用程序和/或数字视频播放应用程序等。
coupled device，电荷耦合器件)图像传感器，所述原始图像数据可以为通过摄像装置将捕捉到的光源信号转化为数字信号的原始数据。这样采用原始图像数据作为待去噪图像，可以避免在对原始数据图像进行处理和压缩过程中所产生的图像细节信息丢失，使得待去噪图像中可以保留更多的图像信息，这样可以使得对待去噪图像进行去噪后的得到去噪图像可以携带保留更多的图像信息，提高去噪图像的图像质量。
70.此外，在实际应用中，由于待去噪图像为原始图像数据，从而所述图像去噪模型在获取到待去噪图像后，对待去噪图像进行颜色通道分离，并将颜色通道分离得到的图像作为待去噪图像。其中，所述颜色通道分离指的是按照所述待去噪图像颜色顺序将待去噪图像进行颜色通道分离。例如，所述待去噪图像为h*w*1的原始图像数据，并且待去噪图像颜色顺序为rgbg，其中，h表示第一图像的高，w表示第一图像的宽，1表示第一图像的颜色通道数据。那么所述待去噪图像通过颜色通道分离后可以生成h/2*w/2*4的图像a，并将图像a作为待去噪图像，其中，h/2表示图像a的高，w/2表示图像a的宽，4表示图像a的颜色通道数据。这里将4个颜色通道分别记为第一颜色通道1、第二颜色通道2、第三颜色通道3以及第四颜色通道4，其中，第一颜色通道存储r数据，第二颜色通道存储g数据，第三颜色通道存储b数据，第四颜色通道存储g数据。
71.进一步，所述图像去噪模型为经过训练的网络模型，其中，所述图像去噪模型的训练过程可以是在处理所述待去噪图像的图像处理设备(例如，配置有摄像头的手机)执行的；也可以是在其他外部设备中执行。当所述图像去噪模型的训练过程在其他外部设备中执行时，其他设备将所述图像去噪模型训练完成后，将该图像去噪模型对应的文件移植到图像处理设备中，以使得图像处理设备配置有该图像去噪模型。此外，在本实施例的一个实现方式中，所述图像处理设备可以将所述图像去噪模型作为一个功能模块(记为图像去噪功能)，该图像去噪功能用于去除图像携带的噪声，以得到去噪图像。可以理解的是，当图像处理设备获取到待去噪图像时，图像处理设备启动该图像去噪功能，并将该待去噪图像作为该图像去噪功能的输入项，以通过该图像去噪功能对应的图像去噪模型确定该待去噪图像的去噪图像。其中，所述去噪图像为所述图像去噪模型的输出项，用于作为待去噪图像对应的去除噪声后的图像。
72.进一步，所述去噪图像的信噪比大于待去噪图像的信噪比，其中，所述信噪比指的是图像中正常图像信息与噪音信息的比值，一般采用db表示，图像的信噪比越高表明图像的噪音越少。例如，对于待去噪图像a，待去噪图像a对应的去噪图像为去噪图像a，当待去噪图像a的信噪比为50db时，去噪图像a的信噪比大于50db，如，60db等。
73.进一步，所述若干特征图为所述图像去噪模型基于待去噪图像确定，若干图像中的各特征图的图像尺寸不同。例如，若干特征图包括特征图a、特征图b以及特征图c，那么特征图a的图像尺寸、特征图b的图像尺寸以及特征图c的图像尺寸互不相同，如，特征图a的图像尺寸为224*224，特征图b的图像尺寸为112*112，特征图c的图像尺寸为56*56。
74.在本实施例的一个实现方式中，所述图像去噪模型包括下采样模块，所述下采样模块包括若干级联的下采样单元，若干下采样单元与若干特征图一一对应，以通过各下采样单元确定各自对应的特征图。可以理解的是，若干下采样单元的数量与若干特征图的数量相同，并且对于若干特征图中的每张特征图，若干下采样单元中均存在一个下采样单元，该下采样单元的输出项为该特征图。由此，所述图像去噪模型确定待去噪图像的若干特征
图具体包括：目标下采样单元基于待去噪图像确定待去噪图像对应的第一特征图，其中，所述目标下采样单元为按照级联顺序位于最前的下采样单元；目标下采样单元将特征图输入候选下采样单元；候选下采样单元基于该第一特征图，确定待去噪图像对应的第二特征图，其中，候选下采样单元为按照级联顺序位于目标下采样单元之后且与目标下采样单元相邻的下采样单元；将所述候选下采样单元作为目标下采样单元，将第二特征图作为第一特征图，继续执行候选下采样单元基于该第一特征图，确定待去噪图像对应的第二特征图的步骤，直至候选下采样单元为按照级联顺序位于最后的下采样单元，以得到待去噪图像对应的若干特征图，其中，若干特征图包括第一特征图以及若干第二特征图。
75.进一步，所述若干下采样单元依次级联，按照级联顺序相邻的两个下采样单元中前一下采样单元的输出项为后一下采样单元的输入项，并且每个下采样单元的输出项均作为待去噪图像对应的一张特征图。由此，按照级联顺序相邻的两个下采样单元中，前一下采样单元输出的特征图的图像尺寸大于后一下采样单元输出的特征图的图像尺寸。此外，所述若干下采样单元中各采样单元的模型结构相同，这里以一个下采样单元为例加以说明。下采样单元包括卷积层和激活函数，所述卷积层的步长为2，所述激活函数可以为relu激活函数，通过relu激活函数能够更好的增强模型的泛化能力。
76.举例说明：如图2所示，所述下采样模块包括三个下采样单元，分别记为第一下采样单元、第二下采样单元以及第三下采样单元，所述第一下采样单元、第二下采样单元以及第三下采样单元均包括步长为2的卷积层以及relu激活函数。其中，所述第一下采样单元与所述第二下采样单元相连接；第二下采样单元与第三下采样单元相连接，第一下采样单元的输出项为特征图a、第二下采样单元的输出项为特征图b以及第三下采样单元的输出项为特征图c，那么特征图a、特征图b以及特征图c为待去噪图像对应的三个特征图，其中，特征图a为第二下采样单元的输入项，特征图b为第三下采样单元的输入项，特征图c为用于后续确定注意力图。
77.当然，在实际应用中，所述按照级联顺序位于最前的下采样单元的输入项可以为待去噪图像，也可以是基于待去噪图像确定的特征图像。例如，如图2所示，所述按照级联顺序位于最前的下采样单元的输入项为基于待去噪图像确定的特征图像。可以理解的是，所述图像去噪模型包括卷积模块，所述卷积模块的输入项为待去噪图像，卷积模块的输出项为卷积特征图，该卷积特征图为按照级联顺序位于最前的下采样单元的输入项。其中，卷积模块中的卷积层的步长为1，这样通过卷积模块确定的卷积特征图可以保留待去噪图像的原始图像信息。
78.s20、所述图像去噪模型基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，其中，所述目标特征图为若干特征图中图像尺寸最小的特征图。
79.具体地，所述图像编码模块内嵌入注意力机制，所述注意力图为基于图像特征图通过注意力机制确定得到的，通过利用与人眼类似的注意力机制，实现对特征图中的噪声特征进行增强，使得基于注意力机制处理后特征图中的纹理信息、颜色信息以及图像细节将被增强，这样可以便于后续将噪声特征去除，减少去噪图像中的残留图像噪声，提高了去噪图像的图像质量。
80.进一步，在本实施例的一个实现方式中，所述图像去噪模型包括注意力模块，所述注意力模块包括第一注意力单元和第二注意力单元；所述图像去噪模型基于所述若干特征
图中目标特征图，确定所述待去噪图像对应的注意力图具体包括：
81.所述第一注意力单元基于所述目标特征图，确定所述待去噪图像对应的第一注意力图；
82.所述第二注意力单元基于所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述目标特征图，确定所述待去噪图像对应的注意力图。
83.具体地，所述第一注意力单元和所述第二注意力单元级联，所述第一注意力单元的输出项为所述第二注意力单元的输入项，其中，所述第一注意力单元嵌入基于图像注意力机制，可以从图像中的图像特征关注待去噪图像，保留待去噪图像中的纹理信息；第二注意力单元嵌入基于空间注意力机制，可以从空间方向关注待去噪图像，保留待去噪图像中的纹理信息以及颜色信息。由此，由所述注意力图像通过第二注意力图和目标特征图得到的可知，注意力图在保存待去噪图像的颜色信息和纹理特征的同时，可以通过目标特征图学习到待去噪图像的图像细节，使得注意力图像可以保存待去噪图像的纹理信息、颜色信息以及图像细节。
84.在本实施例的一个实现方式中，如图3所示，所述第一注意力单元包括第一卷积单元，第一全局平均池化层和第一融合单元；所述第一注意力模块基于所述目标特征图，确定所述待去噪图像对应的第一注意力图具体包括：
85.所述第一卷积单元基于所述目标特征图，确定所述待去噪图像对应的第一特征图；
86.第一全局平均池化层基于所述第一特征图，确定所述待去噪图像对应的第三注意力图；
87.所述第一融合单元基于所述第三注意力图以及所述第一特征图，确定所述待去噪图像对应的第一注意力图。
88.具体地，所述第一卷积单元与所述第一全局平均池化层级联，所述第一全局平均池化层与所述第一融合单元级联，并且所述第一卷积单元与所述第一融合单元连接。由此，所述第一卷积单元的输入项为目标特征图，第一卷积单元的输出的第一特征图分别输入第一全局平均池化层和第一融合单元，所述第一全局平均池化层输出的第三注意力图输入第一融合单元，通过第一融合单元将第一全局平均池化层输出的第三注意力图和第一卷积单元输出的第一特征图进行融合，以得到第一注意力图。
89.所述第一卷积单元包括第一卷积层、第一激活函数层以及第二卷积层，所述第一卷积层、第一激活函数层以及第二卷积层依次级联，其中，第一卷积层的输入项为目标特征图，第二卷积层的输出项为第一特征图。第一卷积层与第一激活函数层相连接，并其自身的输出项输入第一激活函数层，通过第一激活函数层将第一卷积层的输出项稀疏化。在本实施例的一个具体实现方式中，第一激活函数层可以嵌入relu函数，通过relu函数将第一卷积层的输出项中的像素值为负值的像素点的像素值转换为0，这样可以对于第一卷积层的输出项进行稀疏化，使得后续可以更好地学习纹理特征。
90.所述第一全局平均池化层用于选取第一特征图中关于纹理信息的最突出特征，以学习到待去噪图像的纹理信息。其中，所述第一全局平均池化层的输入项为第一卷积单元的第一特征图，第一全局平均池化层的输出项为第三注意力图。
91.所述第一融合单元用于将第一特征图中的像素点和第三注意力图中的像素点进行点乘，以得到第一注意力图，其中，第一特征图的图像尺度与第三注意力图的图像尺度相同。例如，第一特征图的图像尺度为56*56*64，那么第三注意力图的图像尺度为56*56*64。此外，所述第一全局平均池化层和所述第一融合单元之间布置有卷积单元a和激活函数层a，所述卷积单元a包括卷积层a、激活函数层b以及卷积层b，所述卷积层a、激活函数层b以及卷积层b依次级联，其中，卷积层a的输入项为第一全局池化层的输出项，卷积层b的输出项为第一融合单元的输入项。卷积单元b与激活函数层a相连接，并其自身的输出项输入激活函数层a，通过激活函数层a将卷积单元b的输出项中各像素点的像素值转换至0-1之间(包括0和1)。在本实施例的一个具体实现方式中，所述激活函数层a可以嵌入sigmoid函数，通过sigmoid函数将卷积单元b的输出项中各像素点的像素值转换至0-1之间；激活函数层b可以嵌入relu函数，通过relu函数将卷积层a的输出项中的像素值为负值的像素点的像素值转换为0，这样可以对于卷积层a的输出项进行稀疏化，使得后续可以更好地学习纹理特征。
92.进一步，在本实施例的一个实现方式中，如图3所示，所述第二注意力单元包括第二全局平均池化层、全局最大池化层、第二卷积单元以及第二融合单元；
93.所述第二全局平均池化层基于第一注意力图，确定所述待去噪图像对应的第四注意力图；
94.所述全局最大池化层基于第一注意力图，确定所述待去噪图像对应的第五注意力图；
95.所述第二卷积单元基于所述第四注意力图和所述第五注意力图，确定所述待去噪图像对应的第二特征图；
96.所述第二融合单元基于所述第二特征图以及所述第一注意力图，确定所述待去噪图像对应的第二注意力图，并基于所述第二注意力图和所述第一注意力图，确定所述待去噪图像对应的注意力图。
97.具体地，所述第二全局平均池化层和全局最大池化层的输入项均为第一注意力图，并且第二全局平均池化层和全局最大池化层均与第二卷积单元相连接，所述第二卷积单元与所述第二融合单元相连接。其中，所述第一全局平均池化层用于选取第一特征图中关于纹理信息的最突出特征，以学习到待去噪图像的纹理信息，所述全局最大池化层用于关注待去噪图像的整体信息，并对待去噪图像的背景信息敏感，以选取待去噪图像的颜色信息。这样通过第二全局平均池化层和全局最大池化层可以学习到待去噪图像的纹理信息和颜色信息，可以提高图像的去噪效果。
98.所述第二卷积单元包括拼接层、卷积层和第二激活函数层，所述拼接层、卷积层和第二激活函数层依次级联，并且所述拼接层分别与第二全局平均池化层和全局最大池化层相连接，所述第二激活函数层与第二融合单元相连接，所述拼接层的输入项为所述第二全局平均池化层输入的第四注意力图和全局最大池化层输入的第五注意力图，并且所述拼接层将第四注意力图和第五注意力图按照通道拼接，其中，所述第四注意力图的图像尺寸与第五注意力图的图像尺寸相同。此外，所述第二激活函数层可以嵌入sigmoid函数，通过sigmoid函数将卷积层的输出项中各像素点的像素值转换至0-1之间。
99.所述第二融合单元包括第一融合层和第二融合层，第一融合层的输入项为第一注意力图和第二卷积单元输出的第二特征图，所述第二融合层的输入项为第二特征图和目标
特征图。其中，所述第一融合层用于将第一注意力图的像素点和第二特征图的像素点进行点乘，以将第一注意力图和第二特征图进行融合，所述第二融合层用于将第二特征图和目标特征图进行相加，以得到注意力图。
100.进一步，在本实施例的一个实现方式中，为了增加注意力图中的纹理信息和颜色信息，所述注意力模块包括若干模型结构相同的注意力模块，若干注意力模块依次级联，并且若干模块中按照级联顺序位于最前的注意力模块的输入项为目标特征图，位于最后的注意力模块的输出项为所述待去噪图像对应的注意力图，相邻两个注意力模型中前一注意力模块输出的注意力图为后一个注意力模块的输入项。例如，若干注意力模块包括注意力模块a、注意力模块b和注意力模块c，注意力模块a、注意力模块b和注意力模块c依次级联，注意力模块a的输入项为目标特征图，注意力模块b的输入项为注意力模块a输出的特征图，注意力模块c的输入项为注意力模块b的输出项，注意力模块c的输出项为待去噪图像对应的注意力图。可以理解的是，注意力模块a输出的注意力图为注意力模块b对应的目标特征图，注意力模块b的输出的注意力图为注意力模块c对应的目标特征图。此外，在本实施例的一个具体实现方式中，若干注意力模块包括6个注意力模块。
101.s30、所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图。
102.具体地，所述增强特征图为基于注意力图确定的，所述增强特征图中保存待去噪图像的纹理信息和颜色信息，同时所述增强特征图中的待去噪图像的图像细节被增强。这样在候选进行上采样的过程中，可以有效的学习到待去噪图像的图像细节，提高图像去噪效果。在本实施例的一个实现方式中，所述增强特征图可以通过增强模块获取的。相应的，所述图像去噪模块包括若干级联的增强模块，按照级联顺序位于最前的增强模块的输入项为注意力图，增强模块的输出项为增强特征图，通过增强模块对注意力图中的图像细节进行增强，以得到增强特征图。
103.基于此，所述图像去噪模块基于所述注意力图，确定所述待去噪图像对应的增强特征图具体包括：
104.所述若干增强模块中按照级联顺序位于最前的增强模块基于所述注意力图，确定所述待去噪图像对应的第一增强特征图，位于最后的增强模块基于所述注意力图，确定所述待去噪图像对应的第二增强特征图，其中，相邻两个增强模块中前一增强模块的输出项为后一个增强模块的输入项；
105.所述图像去噪模型基于所述第一增强特征图和所述第二增强特征图，确定所述待去噪图像对应的增强特征图。
106.具体地，所述若干增强模块依次级联，若干增强模块中按照级联顺序相邻的两个增强模块，前一个增强模块输出项为后一个增强模块的输入项；位于最前的增强模块的输入项为注意力图，位于最后的增强模块输出的第二增强特征图和位于最前的增强模块输出的第一增强特征图用于确定增强特征图。由此，所述图像去噪模型包括融合模块，所述融合模块的输入项为第一增强特征图和第二增强特征图，所述融合模块用于将第一增强特征图和第二增强特征图按照通道拼接，并将拼接得到的拼接图作为增强特征图，这样增强特征图中包括最前的增强模块输出的第一增强特征图和最后的增强模块输出的第二增强特征图，在使得增强特征图中的图像细节被增强的同时，还可以包括更多的图像细节信息。
107.举例说明，若干增强模块包括增强模块a、增强模块b和增强模块c，增强模块a、增强模块b和增强模块c依次级联，增强模块a的输入项为注意力图，增强模块b的输入项为增强模块a的输出项，增强模块c的输入项为增强模块b的输出项，增强模块c的输出项和增强模块a的输出项的融合图为待去噪图像对应的增强特征图。
108.在本实施例的一个实现方式中，如图4所示，所述增强模块包括若干级联的增强单元以及卷积单元，若干增强单元中按照级联顺序相邻的两个增强单元，前一个增强单元的输入项和前一个增强单元的输出项的融合图为后一个增强单元的输入项；位于最前的增强单元的输入项为增强模块的输入项，位于最后的增强单元的输出项和输入项为卷积单元的输入项，所述卷积单元的输出项与最前增强单元的输入项的融合图为所述增强模块的输出项。这样通过将增强单元的输入项和输出项进入短连接，可以增加输出项中的图像细节，从而可以提高增强模块输出的增强特征图中的图像细节。基于此，在通过增强模块输出增强特征图后，将该增强特征图与注意力图进行融合，使得在增强图像细节信息、纹理信息以及颜色信息，可以减少下采样过程中对图像细节的损失。在本实施例的一个具体实现方式中，所述增强单元包括两个级联卷积单元，每个卷积单元均包括卷积层和激活函数层，卷积层与激活函数层相连接。
109.s40、所述图像去噪模型基于所述增强特征图、所述若干特征图以及待去噪图像，确定所述待去噪图像对应的去噪图像。
110.具体地，所述去噪图像为通过所述图像去噪模型去除所述待去噪图像的噪声所得到的输出图像，其中，去噪图像为图像去噪模型的输出项，并且所述去噪图像的信噪比高于所述待去噪图像的信噪比。例如，待去噪图像的信噪比为50db，去噪图像的信噪比为60db等。
111.在本实施例的一个实现方式中，所述图像去噪模型在去除注意力模块和增强模块后，可以为unet的编解码结构，所述图像去噪模型可以包括上采样模块图像去噪模型中的下采样模块作为编码结构，上采样模块作为解码结构，并且下采样模块与上采样模块相对应，其中，下采样模块与上采样模块相对应指的是上采样模块包括的上采样单元数量与下采样模块包括的下采样单元的数量相同，并且上采样单元与下采样单元一一对应。
112.基于此，所述图像去噪模型基于所述增强特征图、所述若干特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像具体包括：
113.所述上采样模块基于所述增强图像以及若干特征图，确定所述待去噪图像对应的上采样特征图；
114.所述图像去噪模型基于所述上采样特征图以及所述待去噪图像，确定所述待去噪图像对应的去噪图像。
115.具体地，所述上采样模块包括若干级联的上采样单元，若干上采样模块与若干特征图一一对应，若干上采样单元中按照级联顺序相邻的两个上采样单元，前一个上采样单元输出项以及后一个上采样单元对应的特征图为后一个上采样单元的输入项；位于最前的上采样单元的输入项为增强特征图及其对应的特征图，位于最后的上采样单元的输出项和待去噪图像确定所述待去噪图像对应的去噪图像。此外，所述上采样单元为像素重组(pixelshuffle)，其中，pixelshuffle用于将一个h
×
w的低分辨率输入图像(low resolution)，通过sub-pixel操作将其变为rh
×
rw的高分辨率图像(high resolution)，其
中，r为上采样步长，所述sub-pixel操作具体为对于图像尺度为h
×w×
1的低分辨率输入图像a，对低分辨率输入图像a进行卷积操作得到图像尺度为h
×w×
r2的特征图，并将特征图的r2各通道的通道图进行拼接，以得到图像尺度为rh
×
rw
×
1的高分辨率图像。
116.为了进一步说明本实施例中的图像去噪模型，下面以一个具体实施例对图像去噪模型进行说明。在本实施例中，如图2所述，所述图像去噪模型包括第一卷积单元100、下采样模块200、六个级联的注意力模块300、六个级联的增强模块400、融合模块500、第二卷积单元600、上采样模块700以及第三卷积单元800，所述第一卷积单元100和下采样模块200相连接，所述下采样模块200与按照级联顺序位于最前的注意力模型300相连接，按照级联顺序位于最后的注意力模块300与按照级联顺序位于最前的增强模块400相连接，按照级联顺序位于最前的增强模块400和按照级联顺序位于最后的增强模块400均与融合模块500相连接，所述融合模块500与所述第二卷积单元600相连接，所述第二卷积单元600与所述上采样模块700相连接，所述上采样模块700与所述第三卷积单元800相连接，所述第三卷积单元800的输出项与第一卷积单元100的输入项相加后得到去噪图像。
117.进一步，所述第一卷积单元包括卷积层和激活函数，其中，卷积层的步长为1，激活函数为relu函数。下采样模块包括3个下采样单元，3个下采样单元的模型结构相同，均包括卷积层和激活函数，其中，卷积层的步长为2，激活函数为relu函数；相应的，上采样模块包括3个上采样单元，3个上采样单元中按照级联顺序前两个上采样单元的模型结构相同，均包括pixelshuffle单元和卷积层，其中，pixelshuffle单元的采样系数为2，按照级联顺序最后一个上采样单元包括pixelshuffle单元，其中，pixelshuffle单元的采样系数为2。
118.所述第二卷积单元包括第一卷积块和第二卷积块，融合模块与第一卷积块连接，第一卷积块与第二卷积块连接，第二卷积块的输出项与第二卷积块的输出项相加后作为上采样模块的输入项。所述第三卷积单元包括卷积层和激活函数，其中，卷积层的步长为1，激活函数为relu函数。此外，注意力模块的模型结构与上述步骤s20中的注意力模块的模型结构相同，增强模块的模型结构与上述步骤s30中的增强模块的模型结构相同，这里不再赘述，具体可以参数步骤s20和步骤s30的说明。
119.进一步，在本实施例的一个实现方式中，在确定所述图像去噪模型的模型结构后，所述图像去噪模型的训练过程可以包括：
120.获取训练图像集；
121.基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。
122.具体地，所述训练图像集包括若干训练图像组，每组训练图像组包括若干训练图像，并且每组训练图像组中的各训练图像对应的去噪图像相同。可以理解的是，所述训练图像集包括若干训练图像组，每个训练图像组中的若干训练图像中任意两个训练图像，记为第一图像和第二图像，第一图像的图像尺寸与第二图像的图像尺寸相等，并且所述第一图像和第二图像对应相同的图像场景，其中，所述第一图像和第二图像对应相同的图像场景指的是第一图像携带的图像内容与第二图像携带的图像内容的相似度达到预设阈值，所述第一图像的图像尺寸与第二图像的图像尺寸相同，以使得当第一图像和第二图像重合时，第一图像携带的物体对第二图像中与其对应的物体的覆盖率达到预设条件。其中，所述预设阈值可以为99％，所述预设条件可以为99.5％等。
123.在本实施例的一个实现方式中，所述获取训练图像集具体包括：
124.获取若干拍摄场景；
125.对于每个拍摄场景，获取该拍摄场景对应的若干候选图像，其中，若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同；
126.将所述若干候选图像进行融合，以得到融合图像；
127.将所述若干候选图像作为一训练图像组，并将所述融合图像作为该训练图像组中各融合图像对应的去噪图像，以得到训练图像集。
128.具体地，若干拍摄场景中任意两个拍摄场景不同，对于每个拍摄场景，获取到的若干候选图像中任意两个候选图像的图像尺寸相等，并且两个候选图像对应相同的图像场景，并且若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同。其中，曝光时长为是指从快门打开到关闭的时间间隔，摄像装置镜头的光圈叶片在时间间隔内可以将物体的影响留在在底片上留下影像，并且当摄像装置的曝光时长长时，进入光圈内的光较多，从而可以减少图像携带的噪音，从而曝光时长不同的两个候选图像中，曝光时长长的候选图像的信噪比大于曝光时长短的候选图像的信噪比高。例如，若干训练图像组中每个训练图像组均包括150张训练图像，150张训练图像中各张训练图像对应的曝光时长互不相同，如，将150张训练图像按照曝光时长排序得到训练图像序列中，训练图像序列中相邻两张训练图像中，后一训练图像的曝光时长比前一训练图像的曝光时长多0.1ms，并且第1张训练图像的曝光时长为0.1ms，那么第2张训练图像的曝光时长为0.2ms，第3张训练图像的曝光时长为0.3ms，第4张训练图像的曝光时长为0.4ms，...，第150张训练图像的曝光时长为15ms。
129.此外，由若干候选图像中至少存在两个候选图像，该两个候选图像对应的曝光时长不同可知，若干候选图像中至少存在两个候选图像携带图像噪声不同。从而在获取到若干候选图像后，将若干候选图像进行融合，将融合得到的融合图像作为若干候选图像中每个候选图像对应的去噪图像，其中，所述将若干候选图像进行融合可以为以按照拍摄顺序处于第一位的候选图像为基础图像，将其他候选图像按照拍摄顺序依次融合至基础图像，以得到融合图像。此外，在本实施例的一个实现方式中，若干候选图像为若干张连续图像，若干连续图像可以在图像采集设备处于连拍状态下拍摄得到的连续图像，或者是，连续触发图像采集设备拍摄得到的连续图像等。
130.进一步，在本实施例的一个实现方式中，在获取到训练样本图像集后，可以通过训练图像集对预设网络模型进行训练，以得到所述图像去噪模型。相应的，所述基于所述训练图像集对预设网络模型进行训练，以得到所述图像去噪模型具体包括：
131.将训练图像集中的训练图像输入预设网络模型，通过预设网络模型输出所述训练图像对应的预测去噪图像；
132.确定所述预测去噪图像以及训练图像对应的去噪图像的均方差，并将所述均方差作为所述训练图像对应的损失值；
133.基于所述损失值对所述预设网络模型进行训练，以得到所述图像去噪模型。
134.具体地，所述预设网络模型的模型结构与图像去噪模型的模型结构相同，其区别在于预设网络模型的模型参数与图像去噪模型的模型参数不同，预设网络模型的模型参数为初始模型参数，图像去噪模型的模型参数为经过训练的模型参数。例如，预设网络模型包括下采样模块、若干注意力模块、若干增强模块以及上采样模块，所述下采样模块用于提取
训练图像对应的若干特征图，若干注意力模块用于训练图像对应的注意力图，若干增强模块用于训练图像对应的增强特征图；上采样模块用于确定待去噪图像对应的去噪图像。其中，所述预设网络模型中的下采样模块、若干注意力模块、若干增强模块以及上采样模块可以参照图像去噪模型中的下采样模块、若干注意力模块、若干增强模块以及上采样模块的模型结构的说明，这里就不在一一赘述。
135.进一步，所述损失值为述预测去噪图像以及训练图像对应的去噪图像的均方差。可以理解的是，在对预设网络模型进行训练时，将训练图像输入预设网络模型后，预设网络模型确定训练图像对应的预测去噪图像，并基于该预测去噪图像以及训练图像对应的去噪图像确定损失值。其中，所述损失值的计算公式可以为：
[0136][0137]
其中，n为每个训练图像组中的训练图像数量，observed
t
为去噪图像，predicted
t
为预测去噪图像。
[0138]
进一步，在本实施例的一个实现方式中，基于所述损失值对所述预设网络模型进行训练是可以采用adam方法对预设网络模型的模型参数进行优化，预测网络模型的初始参数可以化选用xavier初始化方式，初始化学习速率为10-4
,学习率采用多项式衰减方式，迭代次数为6000个epoch，batchsize大小为1。
[0139]
进一步，对所述预设网络模型进行训练指的是对预设网络模型的模型参数进行训练，得到图像去噪模型指的预设网络模型的训练情况满足预设条件。其中，所述预设条件包括所述预设条件包括损失值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像去噪模型的精度来确定，这里不做详细说明，所述预设次数可以为预设网络模型的最大训练次数，例如，6000次等。由此，在计算得到损失值后，判断所述损失值是否满足预设要求；若损失值满足预设要求，则结束训练；若损失值不满足预设要求，则判断所述预设网络模型的训练次数是否达到预测次数，若未达到预设次数，则根据所述损失值对所述预设网络模型的网络参数进行修正；若达到预设次数，则结束训练。这样通过损失值和训练次数来判断预设网络模型训练是否结束，可以避免因损失值无法达到预设要求而造成预设网络模型的训练进入死循环。
[0140]
进一步，由于对预设网络模型的网络参数进行修改是在预设网络模型的训练情况未满足预设条件(即，损失值未满足预设要求并且训练次数未达到预设次数)，从而在根据损失值对所述预设网络模型的网络参数进行修正后，需要继续对预设网络模型进行训练，即基于预设的预设网络模型，将训练图像组中的各训练图像输入预设网络模型，通过预设网络模型输出各训练图像对应的预测图像。其中，在继续执行将训练图像组中的各训练图像输入预设网络模型时，输入预设网络模型的各训练图像为未作为输入项输入过预设网络模型的训练图像。例如，训练图像集中所有训练图像组均具有唯一批次标识(例如，图批次编号)，第一次训练输入的训练图像组为批次标识与第二次训练输入的训练图像组的批次标识不同，如，第一次训练输入的训练图像组的图像编号为1，第二次训练输入的训练图像组的图像编号为2，第n次训练输入的训练图像组的图像编号为n。当然，在实际应用中，由于训练图像集中的训练图像组的数量有限，为了提高评价网络模型的训练效果，可以依次将训练图像集中的训练图像组输入至预设网络模型以对预设网络模型进行训练，当训练图像
集中的所有训练图像组均输入过预设网络模型后，可以继续执行依次将训练图像集中的训练图像组输入至预设网络模型的操作，以使得训练图像集中的训练图像组按循环输入至预设网络模型。此外，在继续执行依次将训练图像集中的训练图像组输入至预设网络模型的操作，可以对训练图像集中各训练图像组的输入顺序进行调整，以得到调整后的训练图像集，并基于调整后的训练图像集中的训练图像组输入至预设网络模型。
[0141]
综上所述，本实施例提供了一种图像去噪方法，所述图像去噪方法通过图像去噪模型确定待去噪图像的若干特征图，基于所述若干特征图中目标特征图，确定所述待去噪图像对应的注意力图，基于所述注意力图，确定所述待去噪图像对应的增强特征图，最后基于所述增强特征图以及所述若干特征图，确定所述待去噪图像对应的去噪图像。本技术通过图像去噪模型确定待去噪图像对应的注意力图，并基于注意力图确定增强特征图，最后基于增强特征图以及若干特征图确定去噪图像，这样可以在获取到携带图像细节信息的注意力图后，图像去噪模型对注意力图中的细节信息进行增强以得到增强特征图，使得根据增强特征图确定去噪图像既可以在去除待去噪图像携带的图像噪声，又可以保留图像细节信息，进而提高了去噪图像的图像质量。
[0142]
基于上述图像去噪方法，本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上述实施例所述的图像去噪方法中的步骤。
[0143]
基于上述图像去噪方法，本技术还提供了一种终端设备，如图5所示，其包括至少一个处理器(processor)20；显示屏21；以及存储器(memory)22，还可以包括通信接口(communications interface)23和总线24。其中，处理器20、显示屏21、存储器22和通信接口23可以通过总线24完成相互间的通信。显示屏21设置为显示初始设置模式中预设的用户引导界面。通信接口23可以传输信息。处理器20可以调用存储器22中的逻辑指令，以执行上述实施例中的方法。
[0144]
此外，上述的存储器22中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0145]
存储器22作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令或模块。处理器20通过运行存储在存储器22中的软件程序、指令或模块，从而执行功能应用以及数据处理，即实现上述实施例中的方法。
[0146]
存储器22可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器。例如，u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
[0147]
此外，上述存储介质以及终端设备中的多条指令处理器加载并执行的具体过程在上述方法中已经详细说明，在这里就不再一一陈述。
[0148]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。